Microsoft ResearchのAI Frontiers、Microsoft AIへ再編 筆者は「終わった」と記す
ChatGPTの公開後に設立されたMicrosoft Research内のAI Frontiersは、9月初旬にMicrosoft AIへ再編された。筆者はメンバーを配置した後にチームを離れ、AI Frontiersは終わったと記している。
機械学習理論のブログ『Machine Learning (Theory)』に掲載された筆者の記事は、Microsoft Research(MSR)内の下部組織AI Frontiers(AIF)の設立から再編までの経緯を振り返るものである。
設立の背景
筆者によると、ChatGPTの公開後の2023年に、MSRでは研究をより体系的に組織する必要性が明確になったという。この認識を受けて、MSR内にAI Frontiersが下部組織として設けられた。
再編の経緯と組織の規模
AIFは約50人規模のグループであり、MSR全体とデフォルトで共有されるモノレポを開発していた。9月初旬、このグループはMicrosoft AIへ再編された。
- 筆者はチームメンバーを配置した後にグループを離れた。
- 記事本文では、ニューヨーク市(NYC)のグループについても言及されている。
- 筆者は、MSRの経営陣が組織化への意欲を持つまで、同様の再編に伴う問題が続いても驚かないとしている。
- Microsoft AIのリーダーシップには、Inflection出身者が含まれると記されている。
研究体制と技術面の知見
筆者は、モデル構築パイプラインの開発を試みた取り組みを少なくとも4件把握している。そのうち3件は、MSR内で公開されたリポジトリには含まれていないという。
Bytedanceの実験によると、Full Bandwidth Transformerの一変種は、2倍の規模のモデルに匹敵する可能性があるとされる。
筆者の見立て
- 筆者は、スケーリングのみに焦点を当てる方針を「見当違いで、面白みがない」と論じている。
- 業界の投資額が「a trillion dollars」に迫る中、学習と推論のコストが半減すれば大きな価値があると示唆している。
- MSRからの成功の見込みは非常に小さいと予想している。
- 研究に再び魅力を感じる Microsoft が将来現れることは想像に難くなく、その鍵は統制する人々がより賢明になれるかどうかにあると予想している。
- 今回の再編は合意に基づかず、MSRにおける基本的な取り決めが崩れつつあると解釈している。
- ビジネスの観点では、規模の拡大によるリターンは、研究によるリターンよりはるかに予測しやすいと解釈している。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体名: Machine Learning (Theory)
- 原題: The End of AI Frontiers – Machine Learning (Theory)
- URL: https://hunch.net/?p=13764006
- (Bytedance) の報道による