ブラウザで小規模言語モデルを評価できる「MicroLLM lab」

TL;DR: State of Utopia が公開した「MicroLLM lab」は、ブラウザ環境で135Mパラメータなどの小規模言語モデルの性能をテストできるプラットフォーム。速度はtok/s（tokens per second）で、精度はテストの正答率で測定し、データはユーザーのマシン上に留まる。

State of Utopia が公開した「MicroLLM lab」は、ブラウザ上で小規模言語モデル（tiny LLMs）を直接評価できるラボ環境である。このインターフェースでは、135Mパラメータモデルといった軽量なモデルの実行性能を測定できる。

性能測定の仕組み

このラボではモデルの性能を2つのメトリクスで計測する。速度は tok/s（tokens per second）で測定され、持続的なデコード（sustained decode）での スループットを記録する。精度は客観的なテストの正答率（pass rate）で評価される。測定結果はユーザーのマシン上に留まり、外部に送信されない。

カスタムベンチマークの作成

ユーザーはJavaScript でベンチマークを自由に作成・実装できるインターフェースが用意されている。この機能により、特定のユースケースに合わせたテストを柔軟に設計することが可能である。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

State of Utopia「MicroLLM lab — tiny LLMs, Q4, in your browser」 https://stateofutopia.com/experiments/microllmlab/