Pi、最小限で高性能な設計

TL;DRのテキスト

Databricks が数百万行のコードベースでのベンチマーク調査を実施し、Pi ハーネスが Claude Code や Codex より低コストで最高のパス率を達成。Shopify が Pi 拡張の pi-autoresearch を構築し、ユニットテストで 300 倍高速化を報告した。

Databricks ベンチマーク結果

Databricks は「Benchmarking Coding Agents on Databricks' Multi-Million Line Codebase」と題したベンチマーク調査を実施した。同社のエンジニアチームが定期的に実行するタスクに基づいた独自ベンチマークである。Opus 4.8 xhigh で実行時、Pi は Claude Code および Codex より有意に低いコストで最高の総合パス率を達成した。

Databricks は 「ハーネスはモデルが呼ばれる方法であり、劇的にコストと品質に影響する」と述べた。同社の報告によると、「同じモデルと同じ思考努力を異なるハーネスで実行した場合、タスクあたりのコストは大幅に異なる（場合によって 2 倍以上）一方、品質は変わらなかった」という。さらに 「Pi はターンあたり約 3 倍少ないコンテキストを送信し、コンテキストをより効率的に管理し、より厳密な作業セットを保ち、より少ないランで タスクを完了した」と報告している。

Databricks は 「多くの場合、Pi のようなシンプルなハーネスが当社のワークロードで最高のパフォーマンスを発揮した」と結論づけた。

Pi の設計思想

Pi はデフォルトで 4 つのツールのみを備えている。Pi のシステムプロンプトとツール定義は 1,000 トークン未満に収まる。これは最小限の設計から高性能を実現する設計哲学を反映している。

Shopify による pi-autoresearch の実装

Shopify エンジニアリングは、自動最適化ループ向けの Pi 拡張として pi-autoresearch を構築した。同社は複数の性能改善を報告している。ユニットテストは 「300 times faster」となり、React コンポーネントマウントは 20% 高速化された。加えて複数プロジェクト全体でビルド時間が削減され、pnpm パフォーマンスも改善された。

関連動向

Anthropic は最近、Claude Code のシステムプロンプトを 80% 削減した。これは業界全体で効率的なハーネス設計への関心が高まっていることを示唆している。

筆者の見立て

• ほとんどの作業は基本機能で実行でき、より多くが必要な場合はカスタムビルドできるという解釈を示唆している。
• より強力でより高価なモデルと高性能ハーネスの組み合わせが、その逆の構成より安価である可能性を示唆している。
• Pi は安価で最小限でありながら高性能であることを実現できることを示唆している。
• Pi のコンテキスト規律はローカルモデルにとって特に有利だという見方を示している。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

Earendil「Pi, Minimal and Performant | EARENDIL」https://earendil.com/posts/pi-autoresearch-and-databricks/ (Shopify の pi-autoresearch GitHub リポジトリの報道による)