---
source_url: https://forum.level1techs.com/t/why-your-local-llm-feels-dumber-than-it-is/253917
source_title: "Why your local LLM feels dumber than it is"
source_site: "Level1Techs Forums"
source_published_at: 2026-08-16T01:51:53+00:00
hero_image: https://level1techs.us-east-1.linodeobjects.com/original/4X/d/8/7/d87c01532439840126d90ea94abfdfcf6501f42f.png
tags: llm,quantization,inference
generated_at: 2026-08-23T04:01:04.483Z
model: claude-haiku-4-5
---
# ローカルLLMの精度を左右する実装選択—注意機構とKVキャッシュ量子化の実測比較

Level1Techs Forumsのユーザー Wendell による技術分析では、Qwen3.6-27Bモデルで異なる注意機構バックエンド、KVキャッシュ量子化スキーム、重み量子化手法を比較し、実装固有の選択がトークン選択や機能呼び出しにどう影響するかを実測した。

RTX PRO 6000 Blackwell GPU上の精密ベンチマーク実験により、同じモデルでも KV キャッシュの量子化方式や重み量子化によってトークン生成が大きく異なり、特定の量子化手法では機能呼び出しが失敗することが判明した。

## 注意機構バックエンド比較

Qwen3.6-27B は64層の密結合モデルで、3層の Gated DeltaNet/線形注意層と1層の全注意層が繰り返される構成である。全注意層は16層のみが注意機構バックエンド選択可能で、Gated DeltaNet パスは固定されたままだ。

実験では公式 BF16 チェックポイントを RTX PRO 6000 Blackwell GPU（テンソル並列度1）で使用し、FlashAttention 2、Flash Inference、Triton Attention の3つの全注意バックエンドをテストした。Eager実行、CUDA グラフ無効化、プレフィックスキャッシング無効化、2k トークンチャンクド プリフィル、MTP 無効化の設定で実施。全語彙ロジットを BF16 で32トークンごとにキャプチャし、FP64 で分布比較を計算した。

最初の数千トークンでは全バックエンドが次トークンで合意していたが、プロンプト後半では Triton をベースラインとして選択した場合でも不一致が生じた。同じ注意機構バックエンド使用時は、隠れ状態の全ての位置でロジットがビット単位で一致した。

## KV キャッシュ量子化の影響

Turnstone lab ワークストリームから約100k トークンのコンテキスト（Prompt 2）を使用し、機能呼び出しを含むワークロードで検証した。8k トークン窓での計測で、250サンプルプローブを用いてトークンフリップ率を測定。

BF16 KV キャッシュは機能呼び出しテスト中に問題を起こさなかった。一方 int4 KV キャッシュ量子化では機能呼び出しエラーが発生し、int8 KV キャッシュはテスト中にエラーから回復したものの、約40k トークン付近で KV キャッシュ量子化の効果が顕著になり始め、NVFP4 は88k トークンコンテキストで約50%のトークンフリップに到達した。

## 重み量子化スキーム間の忠実度差

実験では複数の量子化手法を比較した。INT8 W8A16（TheHouseOfTheDude）は異常に良好な忠実度を示した。一方 NVFP4（208層の静的 FP8 W8A8 ターゲット、144の GDN 投影、193の W4A16 ターゲット、グループサイズ16）と AWQ（グループサイズ32）の W4A16 は機能呼び出しを正しく閉じられず、Cisco コマンド構文を損なった。FP8（128×128ブロック単位の E4M3 FP8 重み、動的 FP8 活性化量子化）と INT8（キャリブレーションデータセット無し）は正しい機能呼び出しを完了できた。

FP8 版では DeepGemm は自動無効化された。vLLM が E8M0 スケール形式をこのアーキテクチャで精度低下の原因と判断したため。AWQ キャリブレーションデータセットは STEM と Agentic として開示されている。

## 筆者の見立て

- 注意機構バックエンド間の不一致はプロンプトコンテンツによってクラスター状に現れ滑らかに増加しないこと、および各 CUDA タイルが形状・ジオメトリで選択されることから、基本的なモデル差ではなく CUDA タイル選択の違いを反映していると解釈している
- 次トークン確率が十分に変わると、モデル出力が顕著に発散することを示唆している
- INT8 W8A16 の異常に良好な忠実度は、W8A16 と非量子化 GDN 投影を組み合わせることで説明がつくと解釈している
- 温度を低く設定するとQwenが THINK 出力ループに逃げられなくなることから、設定の重要性を示唆している
- 今後の実験で、同一重みに対する異なるフused GEMM の影響を探索する予定であり、精度とスピードのトレードオフを検討する必要があると予想している

*この記事は元記事の事実のみに基づいて自動生成されました。*

## 出典

Level1Techs Forums「Why your local LLM feels dumber than it is」
https://forum.level1techs.com/t/why-your-local-llm-feels-dumber-than-it-is/253917