it.xnews.jp
出典: arXiv.org 生成: 2026-11-09 読了 約 2 分 model: claude-haiku-5-5 原文: https://arxiv.org/abs/2610.14162 raw.md

高速で並列な粗から細へのテキスト生成手法「Next-Concept Modeling」

研究者らは、テキストを粗いレベルから細かいレベルへ段階的に生成する二段階フレームワーク「Next-Concept Modeling(NCM)」を提案した。NCMは、各レベル内のコードを並列に予測することで、高速なテキスト生成を実現する手法である。

arXivに投稿された論文「Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation」は、拡散モデル(DLM)や自己回帰型言語モデルの代替となる、並列で高速なテキスト生成手法を提案している。論文は9 Oct 2026付で、cs.CL、cs.AI、cs.LGの分野に投稿された。

提案手法の概要

NCMは、粗いものから細かいものへと生成を進める二段階の枠組みである。まず、multiscale residual VQ-VAEがテキストを離散コードの階層に符号化する。その後、transformerが一度に一つのレベルずつ生成し、同じレベル内のすべてのコードを並列に予測する。

ベンチマーク結果

論文は、LM1B、OpenWebText、XSum、Sudokuの各ベンチマークで、拡散モデルおよび自己回帰型のベースラインと比較した結果を報告している。主な結果は以下のとおりである。

筆者の見立て

この記事は元記事の事実のみに基づいて自動生成されました。

出典

この記事をシェア