it.xnews.jp
生成: 2026-11-07 読了 約 4 分 model: claude-haiku-5-5 原文: https://hightouch.com/blog/llm-judges-identity-resolution raw.md

ID解決の結果を審査するLLMと判定モデルの検証、4x低コストの手法を提示

Hightouchは、ID解決の結果を評価するためにLLMと判定モデル(JevとGPT-6 Luna)を検証した。両モデルは標準状態で88.8%〜97.3%の精度を示した。検証には、pseudopeopleで構築した1,000件のIDからなるベンチマークが用いられた。

Hightouchは、ID解決で過剰に統合されたアイデンティティ(over-merges)を検出する役割として、LLMと判定モデルを使う手法を検証した。精度、速度、コストをフロンティアモデルと比較している。

検証の方法

Hightouchは、ID解決の結果を採点するためのベンチマークを構築した。使用したのは、ワシントン大学(University of Washington)のInstitute for Health Metrics and Evaluationが提供するツール、pseudopeopleである。

ベンチマークの1,000件のうち、半数は노이ズを含む記録を持つ1人の人物であり、残りの半数は過剰統合のケースである。

ベンチマーク構成の図

精度とコストの比較

判定モデルは、標準状態で88.8%〜97.3%の精度を示した。易しいテストではLunaがJevより高い精度を示し、精度が最大となる閾値はJevが60%、Lunaが70%とされた。

判定モデルは、Claude Opus 5.5と比べて最大90×安価で、10×以上高速である。1,000件あたりのコストは$0.05〜$0.10で、1件の回答時間は0.15秒である。

主な結果は次のとおりである。

構成テスト精度1,000件あたりのコスト
Claude Opus 5.5易しいテスト99.0%$3.86
ハイブリッドJev易しいテスト98.8%$0.88
Claude Opus 5.5難しいテスト95.1%$5.39
ハイブリッドJev難しいテスト95.3%$2.94
ハイブリッドLuna難しいテスト91.6%$1.15

ハイブリッドJevは、Jevで判定したのち、30〜90%のケースをOpusに回す構成である。難しいテストでは、ハイブリッドJevの精度が95.3%で、Opus単独の95.1%を上回った。処理時間は、Opus単独の2.6秒に対し、ハイブリッドJevは1.56秒である。

ハイブリッド構成について、元記事ではフロンティアモデル並みの精度を4x以上低いコストで実現したと報じられている。

人手評価との比較

人手による判定は、1時間あたり約50件のIDしか処理できない。過剰統合の発生率を±1%未満の誤差で推定するには、1,000件を超えるサンプルが必要とされる。

信頼度の較正

元記事では、Jevの信頼度はLunaより較正されていると記されている。Lunaの誤りの多くは高い信頼度で出されており、この点が難しいデータセットでの弱点とされる。

「Calibration matters! Whereas Luna works better out of the box, its overconfidence prevents success on harder datasets.」

筆者の見立て

この記事は元記事の事実のみに基づいて自動生成されました。

出典

この記事をシェア