it.xnews.jp
生成: 2026-11-05 読了 約 4 分 model: claude-haiku-5-5 原文: https://ernie.baidu.com/release/ernie-5-5-flash-base/ raw.md

バイドゥ、総パラメータ280Bの疎MoE言語モデル「ERNIE-5.5-Flash-Base」を公開

ERNIE-5.5-Flash-Baseは、総パラメータ280B、トークンごとに14Bが活性化する疎なMixture-of-Experts言語モデルである。バイドゥのERNIEチームが、事前学習終了時点のチェックポイントとして重みを公開した。

バイドゥのERNIEチームは、疎なMixture-of-Experts(MoE)言語モデル「ERNIE-5.5-Flash-Base」のモデル重みを公開した。公開された重みは事前学習終了時点のチェックポイントで、中間学習および事後学習は行われていない。

発表内容

ERNIE-5.5-Flash-Baseは、33.5Tトークンで最初から事前学習されたモデルである。学習時のコンテキストは最大128Kで、ファインチューニングと推論では1M-tokenのコンテキストに対応する。主な仕様は以下のとおり。

モデル構造

ERNIE 5.5 Flashは43のTransformer層、隠れ層サイズ4096、アテンションヘッド数64で構成される。アーキテクチャの主な要素は以下のとおり。

ERNIE 5.5 Flash Baseのアーキテクチャ図

学習手法と性能

事前学習にはMuonオプティマイザーとFP8混合精度を用いた。学習を支えるアテンションカーネルのFlashMask-4は、CuTe-DSLで構築され、SM90およびSM100のGPUに対応する。qk_head_dimは576まで、v_head_dimは512までサポートする。

FlashMask-4は、SM100 GPU上で、FlashAttention-4 MaskModに対して順伝播が最大175%、逆伝播が最大74%高速化したとされる。

ベンチマークでは、ERNIE 5.5 Flash BaseはMMLU(5-shot EM)で93.3、HumanEval+(1-shot Pass@1)で82.3、RepoQA(0-shot Pass@1)で91.7を記録した。比較対象は、DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Baseである。

ベンチマーク結果の概要

重みの入手方法

モデル重みはHugging FaceでFP8およびBF16のsafetensors形式として公開された。BF16版の名称はERNIE-5.5-Flash-Base-BF16である。利用にはERNIE 5.5 Flash Base Model License Agreement v1.0への同意が必要である。

モデルは入力の先頭にBOSトークンを必要とするため、トークナイズ時にはadd_special_tokens=Trueを維持する必要がある。

筆者の見立て

この記事は元記事の事実のみに基づいて自動生成されました。

出典

この記事をシェア