Mesh LLM：P2P メッシュネットワーク上の分散 AI 計算

iroh が、複数マシンの GPU とメモリをプールし OpenAI 互換 API として公開する「Mesh LLM」を発表。中央集約型クラウドプロバイダに頼らない分散モデル実行を可能にする。

iroh は、複数マシンの GPU とメモリをプール化し、単一の OpenAI 互換 API として公開する「Mesh LLM」を発表した。本システムは、マシンの GPU でローカル実行、モデルが読み込まれたピアへのルーティング、複数マシンへの分割パイプライン実行から最適な方式を自動選択する。

システムの特徴

Mesh LLM はノードの ID と公開鍵として iroh エンドポイントを使用し、QUIC 接続に対してホールパンチング、NAT トラバーサル、リレーフォールバック機能を備える。プロトコルは QUIC の ALPN ネゴシエーションを採用し、mesh-llm/1、mesh-llm-control/1、skippy-stage/2 の 3 つの ALPN を使用する。システムは異なるリージョンで動作する 2 つの iroh リレーを運用している。

カタログと利用形態

カタログには half-a-billion-parameter から 235B mixture-of-experts モデルまで、40+ のモデルが含まれている。ユーザーは約 18 MB の軽量ソフトウェアをインストールして、公開メッシュに参加するか、プライベートデプロイメントを構成できる。iroh は本番環境で数十万台のデバイスで動作しており、オープンソースで提供される。

拡張予定

今後、iroh の Swift SDK を基盤とするモバイルアプリの提供を予定している。また、他のクライアントもメッシュに参加できるよう、新興エージェント標準である ACP に対応する計画がある。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

iroh.computer「Mesh LLM: distributed AI computing on iroh」https://www.iroh.computer/blog/mesh-llm