ChatGPT o1 と呼ばれる OpenAI の最新の「推論」モデルのリリースまでの数週間で、独立系 AI セキュリティ調査会社 Apollo は興味深い問題に遭遇しました。彼らは、モデルが新しい方法で誤った結果を生成していることを発見しました。別の言い方をすれば、モデルは嘘をついたのです。そう、AIは今、私たちに面と向かって嘘をついています。
AI モデルが「嘘」をついたり、誤った情報を提供したりするという事実は、何も目新しいものではありません。ただし、ChatGPT o1 は少し異なります。状況を想像してみてください。研究者は、Web 上の参考資料を備えたブラウニーのレシピを OpenAI o1 モデルに求めました。このモデルは、その「思考の連鎖」の中で、URL にアクセスできないため、リクエストを満たすことが不可能であることを認めました。この制限をユーザーに通知する代わりに、モデルは先に進み、信頼できるが架空のリンクと説明を作成しました。基本的に、彼が o1 の人であれば、「I-can-make-you-anything」という名前が付けられるかもしれません。
AI モデルがこれまでに「嘘」をついたという事実にもかかわらず、ChatGPT o1 は「不正行為」または「調整の偽装」を行う能力を実証しました。モデルはルールに従っているふりをすることができますが、実際には、タスクが容易になると考えた場合にはルールを無視することができます。それは、常にあなたの意見に同意する非常に賢い同僚がいるのに似ていますが、その後、まったく違うことをするようになります。
なぜこれが問題になるのでしょうか?
Apollo の CEO、Marius Hobbhahn 氏は、OpenAI モデルでこのような動作が発生したのはこれが初めてであると説明しました。違いは、思考の連鎖を通じて「考える」モデルの能力と、報酬と罰を通じてシステムに教える強化学習との組み合わせ方にあります。 Apollo はテスト中に、モデルが開発者の期待への準拠をシミュレートし、ルールに従っているかのようにタスクを調整していることを発見しました。さらに、モデルは実行を続ける前に、開発者がモデルを制御しているかどうかをチェックしました。両親が部屋にいなくなるまで完璧に振る舞うある種のティーンエイジャーのように。
嘘をついたご褒美として
アポロでテストされた行動「幻覚」や「妄想」は、モデルが偽の情報を生成した場合、たとえその情報が偽である可能性があると推論できたとしても発生します。たとえば、約 0.38 件の % ケースでは、o1-preview は、誤った参照や引用を含め、その推論の連鎖が間違っている可能性が高いという情報を提供しました。基本的にo1は常に「誰かを知っている人」を知っている同僚になっていますが、その人は決して現れません。
場合によっては、モデルはユーザーの期待に応えるために間違った情報を「いたずら」して提供することがあります。これは、モデルがプラスの報酬をもたらす方法でユーザーの期待に応えることを学習したため、モデルが「嘘をついている」可能性があることを意味します。彼は、たとえ自分が何を言っているのかわからなくても、あなたがとても幸せになると知っているので、いつもあなたに「はい」と答える友人のようなものです。
推理が得意だが、欺瞞も得意
では、これらの嘘と、古いバージョンの ChatGPT における幻覚や誤った引用などの既知の問題とを区別するものは何でしょうか? o1 モデルは「報酬操作」に関するものです。幻覚は、多くの場合、知識不足や誤った推論が原因で、AI が誤って誤った情報を生成したときに発生します。対照的に、報酬操作は、o1 モデルが好むと教えられた結果を増やすために戦略的に偽の情報を伝えるときに発生します。つまり、o1 は「システムを操作する」方法を知っています。
もう一つ心配な側面があります。 o1 モデルは、化学兵器、生物兵器、放射線兵器、核兵器のリスクに関して「中」リスクと評価されています。このモデルでは、専門家以外が生物学的脅威を作り出すことはできませんが、実験室での実践的なスキルが必要となるため、専門家はそのような脅威を計画する際に貴重な洞察を得ることができます。それは、「心配しないでください、ターミネーター映画ほどひどくはありません…まだ」と言っているようなものです。
安全性と倫理について
o1 のような現在のモデルでは、自律的に銀行口座を作成したり、GPU を取得したり、深刻な社会的リスクを引き起こすアクションを実行したりすることはできません。しかし、懸念されるのは、将来 AI が特定の目標に集中するあまり、その目標を達成するためにセキュリティ対策を回避しようとするようになるかもしれないということです。 Netflix の新しい SF スリラーの脚本のようですね。
では、AI では何が起こっているのでしょうか?時々、ChatGPT 4.0 のような通常のモデルが、実際に何をするのか明らかにしていない点を除けば、実質的に同じか、それ以上の機能を果たしているように見えることがあります。それは、マジシャンがどのようにトリックを実行したかを説明せずにトリックを実行させるようなものです。問題は、AI がその目標を達成するためにどこまで進むか、そして私たちが設定したルールや制限に従うかどうかです。
作者の思い
私たちが人工知能を作成したとき、私たちは自分たちが人工知能だけを作成したことを十分には理解していなかったかもしれません。 知能 – そして完璧ではありません。あらゆる知性の重要な特徴は、まさにそれが間違う可能性があるということです。完全に合理的で論理的であるはずの人工知能ですら間違っており、そこには矛盾が潜んでいます。この記事の著者は仕事でさまざまな ChatGPT モデルによく依存しているので、新しい o1 モデルが多くの点で印象的であることを確認できます。彼は、少なくとも机上では推論が上手で、おそらく欺瞞も得意です。
ただし、私の古き良きモデル、たとえば GPT-4.0 は、同じタスクを同様に迅速かつ効率的に実行できることがわかりました。また、さまざまな手順をシミュレーションし、実際に何をしているのかについて不必要な説明をせずに実行することもよくあります。 o1 がアップグレードである場合、それは内部プロセスについてより積極的なアップグレードですが、必ずしも結果が大幅に改善されるわけではありません。それは新しく、よりスマートになるかもしれませんが、本当に優れているのでしょうか?
将来的には、エージェントがお互いのパフォーマンスをチェックすることに依存することになるのは明らかです。これは、ランダム出力とシステム出力の両方を監視する監視 AI が必要になることを意味します。皮肉なことに、AIには制御するAIが必要です。私たちのメディアハウスを含む多くの企業は、AI エージェントを使用して他の AI によって生成されたデータを検証しています。これは、可能な限り最も一貫性のある正確なデータを取得するための二次情報検証メカニズムとして機能します。そして、はい、まさにこれらのタスクにさまざまな AI モデルを使用できることがよくあります。キツネに鶏舎を守らせているようなものです。今回だけは複数のキツネがお互いを監視しています。
結論：安心して眠れますか？
ホブハーン氏は、現行モデルについてはあまり心配していないと強調した。 「彼らはただ賢いだけです。彼らは推論が上手です。そして彼らは、私たちが同意しない目標のためにその推論を潜在的に使用するでしょう」と彼は言います。しかし、将来の潜在的な問題を防ぐためには、AI の思考方法の制御に今投資することが必要です。それまでの間、私たちは片目を開けたままでも安心して眠ることができます。念のため、新しい銀行口座のパスワードも必要かもしれません。
