JEPAによるPlatonic Representation Hypothesisの証明と改善

Randall Balestriero による論文は、Joint-Embedding Predictive Architectures（JEPA）を用いてPlatonic Representation Hypothesisを定理として証明し、その改善を示した。

Platonic Representation Hypothesisは、異なるモダリティで学習したモデルがスケールに伴い同じ表現に収束すると予想する仮説である。本論文は2026-10-29にarXiv.orgで公開され、この仮説を理論として定式化し、検証結果と応用例を報告している。

理論の証明

論文は、Platonic Representation Theoremを証明したとされる。この定理によれば、任意の数のモダリティで個別に学習されたJEPAは、正のペアがgood viewsであり、それ以外の不整合が有界であるとき、1つの回転（one rotation）を除いて同じ表現を学習する。

論文は、次トークン予測が、単一文書の部分からなるbad viewsを持つJEPAであることも示している。

検証と性能

この理論は、145k captionsから940M web imagesのテキストまでの範囲で検証された。論文はさらに、整合性のスケーリング則を発見し、これがseed noiseの範囲内で未観測の実行を予測すると報告している。

主な結果は以下のとおりである。

• good viewsは、同じコーパス上で同じ整合性に到達するのに、次トークン予測と比べて42 times fewer training samples（42倍少ない学習サンプル）で済むと報告されている。
• 109MパラメータのテキストJEPAは、DINOv2とCLIPの画像エンコーダ、およびCLIPのテキストエンコーダとの整合性において、72Bパラメータまでの評価対象となったすべての言語モデルを上回った。
• 1つの回転から構成された画像キャプショナーは、COCOでCIDEr .838を記録した。
• 最新のペアなしベンチマークでは、テキストJEPAが8Bパラメータまでの言語モデルによるゼロショット精度をすべて上回った。ImageNet-100のtop-5精度は、言語モデルの最大56%に対し、64%であった。

筆者の見立て

• 次トークン予測は、Platonic表現に至る極めて非効率な経路であると論じている。
• 正の視点（positive views）は、規模の拡大だけでなく、Platonic表現を構築する要因であることを示唆している。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

• 媒体名: arXiv.org
• 原題: Proving and Improving the Platonic Representation Hypothesis with JEPAs
• URL: https://arxiv.org/abs/2610.39302