EmbeddingGemma 2を音声認識に転用したMac向けアプリ
Embedding Gemma Transcribeは、Googleの埋め込みモデルEmbeddingGemma 2を音声からテキストへの変換に用いたMac向けアプリである。処理はすべてMac上で完結し、音声がMacの外に出ることはない。作者らは、このアプリを無料で公開した。
Embedding Gemma Transcribeは、Googleの埋め込みモデルEmbeddingGemma 2を音声認識に用いるMac向けアプリである。対応環境はmacOS 14以上かつApple Silicon搭載のMacで、現在のバージョンはv1.6である。
発表内容
作者らは、EmbeddingGemma 2を音声からテキストへ変換するモデルに転用した。EmbeddingGemma 2は、テキスト、画像、音声、動画を一つの共有空間に配置するマルチモーダルな埋め込みモデルであり、音声エンコーダーは変更されていない。ベースモデルは、もともと音声認識用に学習されたものではない。
利用方法は二つある。音声ファイルを読み込ませるか、Right Optionキーを押しながら話して離すと、任意のアプリに文字起こしを入力できる。モデルは初回起動時に715 MBがダウンロードされる。
処理の仕組み
小型のリーダーが、音声の短い区切りごとにそれをモデルのテキスト空間へ移す。約229,000の英単語の中から最も近い単語が選ばれ、区切りごとの単語を並べて文字起こしが作られる。句読点と大文字は、小型の追加モデルが付与する。
学習対象はリーダーのみである。8×H100を用い、オープンライセンスの英語音声で2時間未満の学習を行った。アプリはMacのNeural Engine上で動作する。
性能と精度
作者らが示した速度は、次のとおりである。
- Embedding Gemma Transcribe: 基本モデルのM3 MacBook Air（8 GB）のNeural Engine上で288×リアルタイム（1時間を12.6秒で処理）
- IBM Granite Speech 5.0 Turbo: 同じM3 MacBook Air上のGPU（MLX）で約150×リアルタイム（1時間を25.7秒で処理）。作者らの測定による
- NVIDIA Parakeet TDT 0.6B v3（FluidAudio）: Neural Engine上で、M4 Proでは156×リアルタイム、M5 Proでは335×リアルタイム
- Phonon-2（Parakeet v3の微調整版、FluidAudio）: Neural Engine上で、M5 Proでは480×リアルタイム
Parakeetおよび Phonon-2の数値は、FluidAudioが公表したベンチマークに基づく。これらは、より新しく大きいMacと異なる音声によるものである。
単語誤り率は現時点で約5%である。主要な音声認識モデルの2〜3%と比べると高い水準にある。
筆者の見立て
- 掲載された速度比較は、異なるMacと音声を用いたものであり、厳密な同条件の順位付けではなく大まかな目安だと解釈している。
- 作者らは、より良く学習させたリーダーによって、主要な音声認識モデルとの誤り率の差を縮められると予想している。
- 作者らは、その差を縮めることが次の改良段階になると予想している。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 出典媒体: 不明（eg2.haku.sh）
- 原題: Embedding Gemma Transcribe
- URL: https://eg2.haku.sh/
- (FluidAudio) の報道による