
高速で並列な粗から細へのテキスト生成手法「Next-Concept Modeling」
研究者らは、テキストを粗いレベルから細かいレベルへ段階的に生成する二段階フレームワーク「Next-Concept Modeling(NCM)」を提案した。NCMは、各レベル内のコードを並列に予測することで、高速なテキスト生成を実現する手法である。
arXivに投稿された論文「Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation」は、拡散モデル(DLM)や自己回帰型言語モデルの代替となる、並列で高速なテキスト生成手法を提案している。論文は9 Oct 2026付で、cs.CL、cs.AI、cs.LGの分野に投稿された。
提案手法の概要
NCMは、粗いものから細かいものへと生成を進める二段階の枠組みである。まず、multiscale residual VQ-VAEがテキストを離散コードの階層に符号化する。その後、transformerが一度に一つのレベルずつ生成し、同じレベル内のすべてのコードを並列に予測する。
ベンチマーク結果
論文は、LM1B、OpenWebText、XSum、Sudokuの各ベンチマークで、拡散モデルおよび自己回帰型のベースラインと比較した結果を報告している。主な結果は以下のとおりである。
- LM1Bでは、同程度のパラメータ規模において、最も強力なDLMベースラインより優れた生成パープレキシティを示し、21 times faster で動作した。
- OpenWebTextでは、最も強力なDLMと競合する性能を示し、10 times faster で動作した。
- XSumでは、最も強力なDLMのROUGE-Lと同等の値を示し、31 times faster であった。
- Sudokuの推論タスクでは、すべての難易度で自己回帰型および拡散型のベースラインを上回り、より少ない関数評価回数で動作した。
筆者の見立て
- 並列サンプリングは、推論が支配的な計算ワークロードになりつつあるため、ますます重要な利点になっていると論じている。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体: arXiv.org
- 原題: Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
- URL: https://arxiv.org/abs/2610.14162