
ID解決の結果を審査するLLMと判定モデルの検証、4x低コストの手法を提示
Hightouchは、ID解決の結果を評価するためにLLMと判定モデル(JevとGPT-6 Luna)を検証した。両モデルは標準状態で88.8%〜97.3%の精度を示した。検証には、pseudopeopleで構築した1,000件のIDからなるベンチマークが用いられた。
Hightouchは、ID解決で過剰に統合されたアイデンティティ(over-merges)を検出する役割として、LLMと判定モデルを使う手法を検証した。精度、速度、コストをフロンティアモデルと比較している。
検証の方法
Hightouchは、ID解決の結果を採点するためのベンチマークを構築した。使用したのは、ワシントン大学(University of Washington)のInstitute for Health Metrics and Evaluationが提供するツール、pseudopeopleである。
ベンチマークの1,000件のうち、半数は노이ズを含む記録を持つ1人の人物であり、残りの半数は過剰統合のケースである。
精度とコストの比較
判定モデルは、標準状態で88.8%〜97.3%の精度を示した。易しいテストではLunaがJevより高い精度を示し、精度が最大となる閾値はJevが60%、Lunaが70%とされた。
判定モデルは、Claude Opus 5.5と比べて最大90×安価で、10×以上高速である。1,000件あたりのコストは$0.05〜$0.10で、1件の回答時間は0.15秒である。
主な結果は次のとおりである。
| 構成 | テスト | 精度 | 1,000件あたりのコスト |
|---|---|---|---|
| Claude Opus 5.5 | 易しいテスト | 99.0% | $3.86 |
| ハイブリッドJev | 易しいテスト | 98.8% | $0.88 |
| Claude Opus 5.5 | 難しいテスト | 95.1% | $5.39 |
| ハイブリッドJev | 難しいテスト | 95.3% | $2.94 |
| ハイブリッドLuna | 難しいテスト | 91.6% | $1.15 |
ハイブリッドJevは、Jevで判定したのち、30〜90%のケースをOpusに回す構成である。難しいテストでは、ハイブリッドJevの精度が95.3%で、Opus単独の95.1%を上回った。処理時間は、Opus単独の2.6秒に対し、ハイブリッドJevは1.56秒である。
ハイブリッド構成について、元記事ではフロンティアモデル並みの精度を4x以上低いコストで実現したと報じられている。
人手評価との比較
人手による判定は、1時間あたり約50件のIDしか処理できない。過剰統合の発生率を±1%未満の誤差で推定するには、1,000件を超えるサンプルが必要とされる。
- 人手による判定は、1時間あたり約50件である。
- 過剰統合率を±1%未満で推定するには、1,000件を超えるサンプルが必要である。
- LLMは、仮定の10万件のIDを数秒で評価できるとされる。
信頼度の較正
元記事では、Jevの信頼度はLunaより較正されていると記されている。Lunaの誤りの多くは高い信頼度で出されており、この点が難しいデータセットでの弱点とされる。
「Calibration matters! Whereas Luna works better out of the box, its overconfidence prevents success on harder datasets.」
筆者の見立て
- 較正の重要性と、Lunaの過信が難しいデータセットでの成功を妨げていると解釈している。
- ハイブリッド手法は有用であり、この領域に限らないと予想している。
- ハイブリッドJevが任意の問題の難易度に対応できる点は非常に価値があると論じている。
- 難しいケースに応じて支出を動的に増やすシステムは素晴らしいと論じている。
- ハイブリッドJevの利点は追加コストに見合うと論じている。
- Lunaの過信が、ハイブリッド構成での平凡な性能につながっていると解釈している。
- Lunaの過信のため、ハイブリッド構成での恩恵は小さいが、Jevはこれを活用できるはずだと予想している。
- ハイブリッドJevは、ハーネスやプロンプトを変更せずに、難しいデータでより多くのケースをOpusに送っていると解釈している。
- ハイブリッド手法はJevの精度をLunaより上に引き上げ、Opus単独に近い精度を得られるが、類似の性能ではハイブリッドLunaより高コストだと解釈している。
- 判定モデルは実際には推論しておらず、そのため文脈を与えても効果がないと推測している。
- Lunaは、フロンティアモデルに近い性能をそのごく一部のコストで実現していると論じている。
- 必要に応じて支出を自動的に拡大する仕組みが望ましいと論じている。
- コスト意識の高い利用者や、ケースが易しいと分かっている場合は、ハイブリッドLunaを選ぶ可能性があると予想している。
この記事は元記事の事実のみに基づいて自動生成されました。
出典
- 媒体名: Hightouch
- 元タイトル: LLM Judges for Identity Resolution at 4x Lower Cost | Hightouch
- URL: https://hightouch.com/blog/llm-judges-identity-resolution