Thinking Machines Lab、マルチモーダル対応の大規模言語モデル「Inkling」をリリース
Thinking Machines Lab は、975B パラメータを持つ Mixture-of-Experts トランスフォーマーモデル「Inkling」をオープンウェイツで公開した。41B の活性パラメータを備え、1M トークンのコンテキストウィンドウに対応し、45 trillion トークンの多様なデータで事前学習されている。
Inkling は Thinking Machines Lab が発表した Mixture-of-Experts トランスフォーマーで、975B の総パラメータと 41B の活性パラメータを備えている。最大 1M トークンのコンテキストウィンドウをサポートし、テキスト、画像、オーディオ、動画を含む 45 trillion トークンのデータで事前学習されている。
モデルの仕様と構成
Inkling は MoE（Mixture-of-Experts）設計を採用し、各層ごとに 256 個のルーティングエキスパートと 2 個の共有エキスパートを備えている。トークンあたり 6 個のルーティングエキスパートが活性化する。ルーターは sigmoid ベースの設計を採用し、補助損失なしの負荷分散バイアスを用いている。
モデルは 5:1 の比率でスライディングウィンドウと全体注意層を交互配置し、8 個の KV ヘッドで構成されている。また相対位置埋め込みを採用し、Rotary Positional Embedding（RoPE）は使用していない。キー・バリュープロジェクション後および残差ブランチ出力に短い畳み込みを適用している。
マルチモーダル機能と学習方法
Inkling はテキスト、画像、オーディオに対応したマルチモーダル機能を搭載し、制御可能な思考努力（controllable thinking effort）の機能を備えている。学習には Muon オプティマイザー（大型行列重みに使用）と Adam（その他のパラメータに使用）のハイブリッド戦略が採用された。強化学習（RL）トレーニングは 30M 以上のロールアウトにスケールされている。NVIDIA GB300 NVL72 システムで学習され、SFT ブートストラップには Kimi K2.5 などのオープンウェイツモデルで生成された合成データが使用された。
軽量版と利用可能性
Inkling-Small という軽量版も発表され、12B の活性パラメータを備えている。Inkling は Tinker プラットフォーム上でのファインチューニング用に利用可能である。
Thinking Machines Lab は「人間の意志と判断を拡張する AI を構築することが当社の使命である」と述べている。また「Inkling は今日利用可能な最強のモデルではない。しかし、マルチモーダル機能、効率的な思考、Tinker でのファインチューニング利用可能性という組み合わせは、カスタマイズのための良いオープンウェイツベースとなる」としている。同社は「Inkling は単なる始まりに過ぎず、今後も構築していくモデルファミリーの最初のリリースである」と述べている。
同社は「第一版として、Inkling は将来の研究に向けた堅牢なマルチモーダル基盤を確立している。その後のイテレーション段階でモデルと学習パイプラインを拡張するにつれて、マルチモーダル機能は継続して改善すると予想している」としている。
筆者の見立て
- 異なるユーザーはベンチマークで優れるだけでなく、非常に異なるワークフローに適応できるモデルを必要としていると論じている
- 百万回実行される際のモデルおよびより長いワークフロー内での使用において、コストとレイテンシが重要であると解釈している
- オープンウェイツモデルにとってセーフティが重要であると論じている
- 将来のモデルは事前学習、ポストトレーニング、RL 全体の計算スケールをさらに推し進めるだろうと予想している
この記事は元記事の事実のみに基づいて自動生成されました。
出典
Thinking Machines Lab「Inkling: Our Open-Weights Model」https://thinkingmachines.ai/news/introducing-inkling/