Qwen 3.8 27Bは優れているが、過度な推論に陥りやすいのが課題
TL;DR: Alibabaの新しいオープンソースモデル「Qwen 3.8 27B」は27Bパラメータの高性能なビジョン対応LLMだが、デフォルト設定で「xhigh」の推論努力レベルが有効になっており、処理速度が大幅に低下する問題がある。Simon Willisonの実測では、推論を無効化することで大幅な高速化が可能だ。
Alibabaの Qwen研究ラボがリリースした 「Qwen 3.8 27B」は、Apache 2 ライセンスの 27Bパラメータ視覚対応言語モデルである。Simon Willison氏が 128GB RAM搭載の M5 Max MacBook Pro および NVIDIA DGX Spark上でテストを実施し、その性能と課題を詳細に報告した。
デフォルト設定の推論レベルが過度
Qwen 3.8 27Bはデフォルトで 「xhigh」の推論努力レベルが有効になっており、以下の3段階の選択肢が用意されている：
「xhigh (default): for complex tasks demanding thorough analysis
medium: balancing accuracy and speed
low: efficient reasoning optimizing for speed and cost」
ペリカンのSVG生成タスクにおいて、推論を有効にした場合、22,276個の推論トークンを使用して 3,223個の出力トークンを生成するまでに 21分を要した。同じプロンプトで推論を無効化したところ、3,715個のトークンを 137秒（約2分以上）で生成でき、大幅な高速化が実現された。
ローカル実行の性能ボトルネック
LM Studioでの計測では、Qwen 3.8 27Bは 15-30トークン/秒の速度を達成した。一方、OpenAI 5.6 Solは 74トークン/秒、OpenAI 5.6 Lunaは 184トークン/秒に達している。Willison氏は llama.cpp作成者の Georgi Gerganov氏のツイートに基づき、マルチトークン予測（Multi-Token Prediction）アーキテクチャを試験実装した結果、draft-mtp サーバーが LM Studio デフォルト GGUF比で約 72%のパフォーマンス向上を実現することを確認した。
同モデルは 17GB Q4_K_Mで量子化された GGUF形式で配布され、llama-server での直接実行も可能である。最大コンテキスト長は 262,144トークンで、LM Studio のデフォルト設定 8,192トークンより大幅に大きい。
実用的なユースケース検証
Willison氏は SVG生成、画像アノテーション、HTMLツール生成、コーディングエージェント統合など複数のユースケースで同モデルをテストした。Piという称されるコーディングエージェントは Qwen 3.8 27Bを使用するよう構成されている。自報告によるベンチマークでは、Qwen 3.6 27Bおよび閉鎖モデルの Qwen 3.7-Plus（本年5月時点での最高性能モデルの一つ）との比較で性能向上が報告されており、独立したベンチマークの評価が注目される。
筆者の見立て
- xhigh推論の過度な設定は評価対象としており、「特にコンシューマーハードウェア環境では実用的な実行方法ではない」と論じている
- マルチトークン予測技術を中心とした最適化が今後数週間で急速に進展することを予想している
- MLXコミュニティも同様の高速化技術を開発する可能性があると指摘している
- ローカルモデルの進化について「この1年の進捗は驚異的」と評価し、1年前のモデルが高性能な専有モデルと競合していたのに対し、現在はノートパソコンで実行可能になったと解釈している
- このモデルが日常的に使用できる段階に達していない主要な制約は性能であると指摘している
- Qwen 3.8 27Bの最大の意義は、デジタルセンターグレードのハードウェアに高額投資せずとも実用的なモデル実行が可能であることを示唆していると論じている
この記事は元記事の事実のみに基づいて自動生成されました。
出典
Simon Willison's Weblog, "Qwen 3.8 27B is excellent, but it defaults to wildly overthinking things", https://simonwillison.net/2026/Aug/16/qwen-38-27b/ (Artificial Analysis と llama.cpp 作成者 Georgi Gerganov 氏のツイート による報道)