Black Forest Labs、mimic roboticsと協力し産業用ロボット向けFLUX-mimicを発表

Black Forest LabsはFLUX 3を活用したビデオ・アクション モデル「FLUX-mimic」をmimic roboticsと共同開発し、Audi工場での実運用を開始した。同モデルはロボット制御と映像生成を統合し、柔軟材料の扱いなど従来ロボットでは困難な作業を実現する。

Black Forest Labsはmimic roboticsに対してFLUX 3への早期アクセスを提供し、協力してFLUX-mimicを開発した。FLUX-mimicはFLUX 3のバックボーンを基盤とした動画・アクション モデルで、画像、映像、音声の生成とロボット制御を統合する。

訓練データと計算効率

FLUX 3は数千万時間の一般的な映像コンテンツと数十万時間の人間およびロボット操作タスクに特化した映像で訓練されている。FLUX 3の訓練において、映像予測は全計算コストの95%以上を占める。一方、720p映像と音声の場合、音声はトークン全体の0.5%未満にとどまる。

訓練課程にアクション予測を追加した際、テキスト・映像生成およびイメージ・映像生成の人間評価は最初10%まで低下したが、3500ステップ後には映像生成タスクの品質を完全に回復しながらアクション予測も可能になった。

Audi工場での運用実績

FLUX-mimicはAudi生産施設に導入され、試験運用されている。適用されている作業は以下の通りである：

• 構造化トレイへの部品キッティング
• 電子制御ユニットの狭い取付部への挿入
• コンポーネントの組み立て
• 柔軟な素材の取り扱い

Audi Production LabのChristoph Schneider氏は「mimic、Black Forest Labsとのパートナーシップを通じて、FLUX-mimicの試験と導入を進めている。従来ロボットでは不可能だった複雑な軟質物体操作タスクをロボットが解決できることを確認した。従業員の支援、効率向上、生産・ロジスティクス運用における柔軟な自動化の拡大に大きな影響をもたらす可能性がある。物理AIの最前線を推し進め、これらの革新を実運用環境で検証することは、mimic、Black Forest Labsのような先駆的企業とのパートナーシップが不可欠である」と述べた。

応答速度と性能

FLUX-mimicバックボーン は単一のNVIDIA RTX 5090 GPUで入力から世界表現までを80ms未満で実行できる。自己完結型ロボット システム全体の応答時間は101msである。mimic-videoペーパーによると、動画・アクション モデルはビジョン・言語・アクション モデルと比較して最大10倍のサンプル効率を実現するとされている。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

Black Forest Labs「FLUX 3 x mimic: The Next Generation of Video-Action Models」https://bfl.ai/blog/flux-3-mimic (mimic-videoペーパーの報道による)