
llmspeed、購入前にローカルLLMの推論速度を推定できるサイト
ローカルLLMの推論速度を購入前に確かめられるサイト「llmspeed」が公開されている。ハードウェアとモデルごとに推定値を閲覧でき、プロジェクトはGitHubでオープンソースとして公開されている。
llmspeedは、ローカルLLMの推論速度の推定値をハードウェア別とモデル別に閲覧できるサイトである。
掲載されているハードウェアとモデル
サイトには、メモリ容量を含む次のようなハードウェアが掲載されている。
- NVIDIA RTX 3090 24GB
- AMD Ryzen AI Max+ 395 128GB (Strix Halo)
- NVIDIA RTX 5090 32GB
- Mac Studio M5 Ultra 512GB
- NVIDIA RTX PRO 6000 96GB
モデルとしては、Qwen 3.6/3.8 27B、GLM-5.3 Flash、GPT-OSS 20B、Gemma 4 26B A4B、GPT-OSS 120B、Llama 3.1 8B などが掲載されている。
推定値の算出方法
サイトによると、推定値は単一デバイス上で短いプロンプトを処理した場合を前提としている。実測値はr/LocalLLaMAやlocalscore.aiなどのコミュニティベンチマークに由来するとされる。それ以外の数値は、類似した構成から導出されたか、スペックから予測されたものとされる。
オープンソースでの公開
llmspeedはGitHubでオープンソースとして公開されている。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体名: llmspeed
- 原題: llmspeed — feel local LLM speed before you buy
- URL: https://llmspeed.dev/
- (r/LocalLLaMA、localscore.ai) の報道による