バイドゥ、総パラメータ280Bの疎MoE言語モデル「ERNIE-5.5-Flash-Base」を公開
ERNIE-5.5-Flash-Baseは、総パラメータ280B、トークンごとに14Bが活性化する疎なMixture-of-Experts言語モデルである。バイドゥのERNIEチームが、事前学習終了時点のチェックポイントとして重みを公開した。
バイドゥのERNIEチームは、疎なMixture-of-Experts(MoE)言語モデル「ERNIE-5.5-Flash-Base」のモデル重みを公開した。公開された重みは事前学習終了時点のチェックポイントで、中間学習および事後学習は行われていない。
発表内容
ERNIE-5.5-Flash-Baseは、33.5Tトークンで最初から事前学習されたモデルである。学習時のコンテキストは最大128Kで、ファインチューニングと推論では1M-tokenのコンテキストに対応する。主な仕様は以下のとおり。
- 総パラメータ数:280B
- 活性化パラメータ数:トークンあたり14B
- 事前学習トークン数:33.5T
- 学習コンテキスト:最大128K
- ファインチューニングと推論のコンテキスト:1M-token
モデル構造
ERNIE 5.5 Flashは43のTransformer層、隠れ層サイズ4096、アテンションヘッド数64で構成される。アーキテクチャの主な要素は以下のとおり。
- アテンション:7層に1層がMulti-head Latent Attention(MLA)でトークン単位の全コンテキストにアクセスし、残りの層はHeavily Compressed Attention(HCA)を使用する。HCAは128トークンごとを1つのキャッシュエントリに圧縮する。
- MoE層:各層で512個のルーテッドエキスパート(top-10)と1個の共有エキスパートを使用する。負荷分散は補助損失を用いないバイアス補正方式である。
- 残差接続:標準の残差接続をmHCに置き換え、各層は4つの並列残差ストリームから読み込み、書き込みを行う。
- マルチトークン予測:MTPモジュールをECHOに置き換え、バックボーンの最終層を再利用して将来のトークンを予測する。
- トークナイザー:語彙数が約200Kエントリの新しいBPEトークナイザーを採用し、桁は右から左へグルーピングする。

学習手法と性能
事前学習にはMuonオプティマイザーとFP8混合精度を用いた。学習を支えるアテンションカーネルのFlashMask-4は、CuTe-DSLで構築され、SM90およびSM100のGPUに対応する。qk_head_dimは576まで、v_head_dimは512までサポートする。
FlashMask-4は、SM100 GPU上で、FlashAttention-4 MaskModに対して順伝播が最大175%、逆伝播が最大74%高速化したとされる。
ベンチマークでは、ERNIE 5.5 Flash BaseはMMLU(5-shot EM)で93.3、HumanEval+(1-shot Pass@1)で82.3、RepoQA(0-shot Pass@1)で91.7を記録した。比較対象は、DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Baseである。

重みの入手方法
モデル重みはHugging FaceでFP8およびBF16のsafetensors形式として公開された。BF16版の名称はERNIE-5.5-Flash-Base-BF16である。利用にはERNIE 5.5 Flash Base Model License Agreement v1.0への同意が必要である。
モデルは入力の先頭にBOSトークンを必要とするため、トークナイズ時にはadd_special_tokens=Trueを維持する必要がある。
筆者の見立て
- 次のトークンより先を見て学習する手法が、バックボーンに系列の行き先を予測させ、推論とコードの分野で改善をもたらすと解釈している。
- 事前学習終了時点の単一のチェックポイントにより、学習手法を統制された条件下で比較し、各手法の寄与を測定しやすくなると示唆している。
- ルーターが明確に異なる選好を持つことで、誤った選択を修正しやすくなると解釈している。
- 本モデルは出発点にすぎず、事後学習版のERNIE 5.5 Flashが続くと予想している。
- ERNIE-5.5-Flash-Baseは全ベンチマークカテゴリで強い結果を示し、推論、コード、試験系ベンチマークで特に優れた結果を得ていると論じている。
- 本公開により、大規模事前学習のコストを負担せずに済む開発者が増えることを期待すると述べている。
- 効率的なアーキテクチャは、大規模で効率的に学習できて初めて成果を生むと論じている。
- コアアテンションの1クエリあたりのコストは、コンテキストが増えても一定に保たれると示唆している。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体:ERNIE Blog
- タイトル:ERNIE 5.5 Flash Base · ERNIE
- URL:https://ernie.baidu.com/release/ernie-5-5-flash-base/