OpenJevはブラウザで動作するローカルAIモデル判定ツール
OpenJevは、ユーザーのGPU上でバックエンドなしにローカルで判定モデルを実行できるブラウザベースのツールを提供している。直接ロジット読み込みとトークン単位のJSON生成という2つの推論方式の性能差を比較できる。
OpenJevは、ブラウザ内で直接実行される決定モデルを提供するインタラクティブツールを立ち上げた。ユーザーはQwen3 0.6B（639 MB）、MiniCPM5 2B（1.56 GB）、Qwen3.5 4B（3.01 GB）の3つの量子化モデルから選択でき、自身のGPU上で2つの推論方式の性能差を測定できる。
モデルと推論方式
OpenJevはMiniCPM5 2Bをデフォルトで選択しており、電話やより小さいデバイスではQwen3 0.6Bへの切り替えが可能だ。直接ロジット読み込みと、同じ分布をトークン単位で書き出すトークン単位のJSON生成という2つの推論方式が比較できる。モデルの重みはHugging Faceから取得され、ブラウザキャッシュに保持される。
プライバシーとローカル実行
ユーザー入力はページから外に出ることがない。デモは量子化されたGGUFビルドをwllamaを通じて使用する。初回ロードはモデル選択、ネットワーク、GPUに応じて数分かかる可能性がある。より大きなモデルはロード速度が遅くなったり、ローカットエンドデバイスではフィットしない可能性がある。
パフォーマンス結果
複数のベンチマークでモデル性能が測定されている。Qwen3 0.6BはAuthoredで44.0%、Perturbedで52.8%、TypeSafeで40.7%のスコアを記録した。MiniCPM5 2BはAuthoredで68.6%、Perturbedで69.3%、TypeSafeで63.7%だ。Qwen3.5 4BはAuthoredで81.3%、Perturbedで76.6%、TypeSafeで84.5%を達成した。TypeSafeサブセットは102行で構成されている。
筆者の見立て
- 直接スコアは調整されたコンフィデンスではなく、モデルが推奨する可能性のあるすべての答えを含まないと解釈されている
- ローカルモデルはいずれもJev公開パフォーマンスと一致することを主張していないと解釈されている
この記事は元記事の事実のみに基づいて自動生成されました。
出典
OpenJev「OpenJev in your browser」https://openjev.com/（GitHub repo、Hugging Face、Jev の報道による）