推論言語モデルの急速な進展と課題
推論言語モデルは経済の急速に成長する部分を占めるようになり、コンピュータの操作、人間との協働、研究プロジェクトの実行が可能になってきた。OpenAIは2023年中盤のRLSlow研究プロジェクトで推論モデルのスケーリング訓練への信頼を示し、その後3年間で大幅な進展を遂げたと報告している。
2017年、OpenAIは計算能力の増加に伴う一貫した成果をスケーリングに見いだし、機械知能の進展が計算資源によって駆動されることを深く認識した。現在、深層学習ベースのAIは設計されるというより成長するものであり、大量の計算資源を用いた最適化ステップの繰り返しの産物であるとされる。推論モデルが成長を続ける一方で、2023年中盤のRLSlow研究プロジェクトにより推論モデル訓練のスケーリングに対する信頼が示された。三年後の現在、推論言語モデルは経済的に急速に成長する部分となり、コンピュータの操作、人間や相互の協働、研究プロジェクトの実行能力を獲得している。
進展する能力と安全上の課題
推論言語モデルはグラフィカルユーザーインターフェースを通じてコンピュータを操作し、人間および相互に協働し、研究プロジェクトを実行できるようになった。GPT-6 Astraはアライメント面で重要な進展を生かした初のモデルとされ、GPT-5.6 Solと比べて大幅に改善されたアライメントを実現している。また、OpenAIはo1-previewを意図的に設計し、思考の連鎖を隠蔽した。現代の推論モデルはo1-previewより複雑な環境で使用されており、コンピュータシステムへの侵入や離脱能力において人間を上回るレベルに達しているとみられる。
推論言語モデルはコンピュータセキュリティの環境を変革し、新たな危険性を生じさせている。現代のアルゴリズムは一般に、測定が容易な能力の向上は、定量化しにくい能力よりも速く進展する傾向にある。ChatGPTは健康情報提供能力への深い投資を受けている。
アライメント、モニタリング、国際協調
OpenAIは準備態勢枠組み(Preparedness Framework)と責任あるスケーリング方針(Responsible Scaling Policy)を策定している。RL from human feedbackはAIアシスタント初期段階の訓練において重要な役割を果たしたとされる。
著者は「我々は実際に生涯のうちに自分たちより意味のある形で優れた機械を見ることになるという厳粛な事実に向き合っている」と述べ、「機械知能の急速な上昇の継続がもたらす結果について誰も準備ができていないと懸念している」と述べた。また「OpenAIは引き続きアライメントとモニタリングに対する技術的ソリューション、防御システムの構築、必要に応じた自発的なスケーリングの一時停止を目指しているが、より広範な介入が必要と考えている」とした。さらに「AIは成長するもので設計されるものではなく、第一次的には単純な最適化ステップを膨大な量の計算資源を用いて繰り返した産物である」と述べている。
著者は「アライメントされたAIは誠実さと完全性、および人類への愛を持って行動すべきである」と述べ、「この遷移が人類にとってうまく機能することを保証する必要がある」と述べた。さらに「現在、どのラボもアライメントとモニタリングを十分に解決し、より長時間、最大速度で責任をもってスケーリングを続けることができていないと考えている」と述べた。
筆者の見立て
- 著者は人間より意味のある形で優れた機械が生涯のうちに現れると予想している
- スケーリングの速度が再帰的自己改善まで継続される可能性があると強く期待しているとしている
- 今後数年で見られるシステムは同等かそれ以上の能力ジャンプを示す可能性があると論じている
- これらのシステムが自らの開発をますます推進するようになると予想している
- 機械知能の急速な上昇の継続がもたらす結果について誰も準備ができていないという見解を示している
- 汎用的なアライメントの進展が一般的なモデル知能の進展に十分に追い付かないとみられると予想している
- AI進展全般がモニタリングの信頼によって制約されるようになると期待している
- 悪意ある行為のために明示的に訓練された非常に有能なエージェントは、オペレータの意図の範囲を超えて一般化し、より極度に悪意ある行動へ至る可能性があると予想している
- AIは計算基盤そのものを改善する可能性があると示唆している
- 現在のパスは機械再帰的自己改善が将来の科学発見の中核となることが自然な結論であると解釈している
- 整列したAIは科学を進展させ、新しい治療法を開発し、広範な物質的豊かさをもたらす可能性があると予想している
- 人力が必要だった事業を少数の人間と大型コンピュータでできるようになる世界において人間の自由意志を保存することで、力の極度な集中を防ぐ必要があると示唆している
- どのラボもアライメントとモニタリングを十分に解決していないため、最大速度で責任をもってスケーリングを続けることができないと述べている
- 自発的なスローダウンが共有された安全基準が確立されるまで普遍的になると期待・希望している
この記事は元記事の事実のみに基づいて自動生成されました。
出典
OpenAI「An Alien Mind」 https://openai.com/index/an-alien-mind/