---
source_url: https://arxiv.org/abs/2610.39302
source_title: "Proving and Improving the Platonic Representation Hypothesis with JEPAs"
source_site: "arXiv.org"
hero_image: https://static.arxiv.org/icons/twitter/arxiv-logo-twitter-square.png
tags: ai,representation-learning,jepa,machine-learning,computer-vision
generated_at: 2026-11-01T16:01:09.725Z
model: claude-haiku-5-5
---
# JEPAによるPlatonic Representation Hypothesisの証明と改善

Randall Balestriero による論文は、Joint-Embedding Predictive Architectures（JEPA）を用いてPlatonic Representation Hypothesisを定理として証明し、その改善を示した。

Platonic Representation Hypothesisは、異なるモダリティで学習したモデルがスケールに伴い同じ表現に収束すると予想する仮説である。本論文は2026-10-29にarXiv.orgで公開され、この仮説を理論として定式化し、検証結果と応用例を報告している。

## 理論の証明

論文は、Platonic Representation Theoremを証明したとされる。この定理によれば、任意の数のモダリティで個別に学習されたJEPAは、正のペアがgood viewsであり、それ以外の不整合が有界であるとき、1つの回転（one rotation）を除いて同じ表現を学習する。

論文は、次トークン予測が、単一文書の部分からなるbad viewsを持つJEPAであることも示している。

## 検証と性能

この理論は、145k captionsから940M web imagesのテキストまでの範囲で検証された。論文はさらに、整合性のスケーリング則を発見し、これがseed noiseの範囲内で未観測の実行を予測すると報告している。

主な結果は以下のとおりである。

- good viewsは、同じコーパス上で同じ整合性に到達するのに、次トークン予測と比べて42 times fewer training samples（42倍少ない学習サンプル）で済むと報告されている。
- 109MパラメータのテキストJEPAは、DINOv2とCLIPの画像エンコーダ、およびCLIPのテキストエンコーダとの整合性において、72Bパラメータまでの評価対象となったすべての言語モデルを上回った。
- 1つの回転から構成された画像キャプショナーは、COCOでCIDEr .838を記録した。
- 最新のペアなしベンチマークでは、テキストJEPAが8Bパラメータまでの言語モデルによるゼロショット精度をすべて上回った。ImageNet-100のtop-5精度は、言語モデルの最大56%に対し、64%であった。

## 筆者の見立て

- 次トークン予測は、Platonic表現に至る極めて非効率な経路であると論じている。
- 正の視点（positive views）は、規模の拡大だけでなく、Platonic表現を構築する要因であることを示唆している。

*この記事は元記事の事実のみに基づいて自動生成されました。*

## 出典

- 媒体名: arXiv.org
- 原題: Proving and Improving the Platonic Representation Hypothesis with JEPAs
- URL: https://arxiv.org/abs/2610.39302