--- source_url: https://reflection.ai/blog/introducing-beam source_title: "Introducing Beam: Reflection’s 501B open-weight model — Reflection" source_site: "Reflection" hero_image: https://cdn.sanity.io/images/sp40emik/production/771cfe201a3d24d7a340c3372e6a1654ec1a6e42-1800x1013.png tags: large-language-models,open-source,reinforcement-learning generated_at: 2026-10-05T20:01:17.371Z model: claude-haiku-4-5 --- # Reflectionが501Bパラメータの疎なMoE言語モデル「Beam」を発表 Reflectionは、コーディングとエージェント タスク向けに最適化された疎なMixture-of-Experts言語モデル「Beam」を発表した。501億のパラメータを持つこのモデルは、今月中にApache 2.0ライセンスでリリースされる予定である。 ## モデルの仕様と訓練方法 Beamは501億のパラメータを備え、うち23億がアクティブなパラメータである。同社は多様で厳選された高品質なトークン23.8兆個を使用してプリトレーニングを実施した。このトークンはウェブおよびプロプライエタリなライセンス取得データセットから取得されている。 Beamの訓練には10.5KのNVIDIA GB300 GPUを使用した4週間の高コンピュート強化学習が実施され、100万回を超えるロールアウトが生成された。プリトレーニングは6,144個のNVIDIA GB300 NVL72 GPUからなるクラスタで4週間以内に完了し、プリトレーニング終盤で92.3%のグッドプット率を達成した。さらに訓練中盤に有効なコンテキスト長を1M トークンに拡張された。 ![Beam訓練の概要](https://reflection.ai/_next/image?url=https%3A%2F%2Fcdn.sanity.io%2Fimages%2Fsp40emik%2Fproduction%2Fa1eaeb697bc76c102921faa54104245d24a89b0c-1200x675.png%3Fw%3D3840%26fit%3Dmax&w=3840&q=75) ## インフラストラクチャと運用 訓練中、1.3億個のサンドボックスが訓練とグレーディングに使用された。強化学習用には主に合成データパイプラインを通じて100万近くの環境が構築された。最大170Kの並行サンドボックスが実行中にサポートされ、10億を超えるサンドボックス作成リクエストが処理された。 推論フリートへの新しいウェイト配布は約12秒の中央値で実現され、訓練ジョブを終了することなく71回の推論インシデントに対応した。障害後の推論キャパシティの回復には中央値で8分を要し、経過サービスGPU分のシェアとしてのロストキャパシティは0.02%であった。 ![インフラストラクチャ配置の詳細](https://reflection.ai/_next/image?url=https%3A%2F%2Fcdn.sanity.io%2Fimages%2Fsp40emik%2Fproduction%2F421fc4392ddd11099de35443077d3a84506c82d4-1200x675.png%3Fw%3D3840%26fit%3Dmax&w=3840&q=75) ## 性能と最適化 Beamはコーディングとエージェント タスク向けに設計され、推論効率において優れた性能を発揮するとされている。推論ベンチマークでは、推論コンピュートの使用量がGLM-5.2比で3～4倍少ないと報じられている。プリトレーニング完了時の最も負荷の高いエキスパートの負荷は平均の1.04倍であり、ほぼ均一なエキスパート利用を実現した。 データ品質の処理では、インターネットトークンの95%が除去され、従来の手法では見落とされたはずの1.8兆個の高品質トークンが保持された。キュレーションされたウェブコードトークンは全体の87%を占める。 ## リリース予定 Beamは現在最終的なレッドティーミングと評価の段階にあるとされている。ウェイト、テクニカルレポート、モデルカード、および開発者アーティファクトは今月中にリリースされる予定である。ライセンスはApache 2.0となる。 *この記事は元記事の事実のみに基づいて自動生成されました。* ## 出典 Reflection、「Introducing Beam: Reflection's 501B open-weight model — Reflection」、https://reflection.ai/blog/introducing-beam