LLMsの効果的な利用には、プロンプト技法よりも領域専門知識が重要

LLM (大規模言語モデル) を使いこなすために最も大切なのは、プロンプト技法ではなく、対象分野の専門知識であるという議論が提起されている。数学者 Terence Tao と ChatGPT の対話を例に、専門知識がいかにモデルとの対話を深め、有効性を高めるかが示されている。

2010年代には、CSS の記述といった技術的なギャップがあれば、有能な同僚に頼るか、インターネット上で自分の問題に対する正確な回答を見つけることを祈るしかなかった。しかし今日では、誰もが LLM にタスクを委譲することで、それなりの CSS を書くことができるようになった。

専門知識とモデル操作の関係

Terence Tao は最近発見された Jacobian Conjecture の反例について ChatGPT と対話したとされる。この対話で注目されるのは、Tao のやり取りの特徴である。メッセージは非常に簡潔で、要点に絞られており、モデルの出力は筆者が数学についてモデルと対話する際よりも一層簡潔になっているという。専門知識により、Tao はモデルの応答が誤っているように見えたときに反論し、自ら複数の飛躍や提案を行い、モデルの次のステップに関するアドバイスをほぼ受けないのである。

専門知識を示すことで、Tao はモデルを「素人に説明モード」ではなく「数学者と対話モード」へと導いているとみられる。

領域知識がもたらす利点

自分のコードベースについて優れた理論を持つなら、全く馴染みのない場合と比べて、LLM をより強く押し進めることができる。システム設計の問題は、一般的な原則ではなく具体的な詳細によって支配されており、この領域固有の理解がモデルの活用を左右する。

多くのタスクにおいて、ボトルネックはモデルではなく人間であり、その理由は人間が正確にどのような解決策を望むのかをモデルに伝達することが難しいからである。モデルから情報を引き出すには、非常に優れた人間が必要とされている。領域知識を持つなら、同じ LLM から、自分が望む方向に強く舵を取ることで、より大きな価値を得ることができるのである。

筆者の見立て

• 領域専門知識の有用性は、モデルがさらに強力になったとしても、人間の専門知識が今後も有用であり続けることを示唆している。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

seangoedecke.com, "LLMs reward expertise", https://www.seangoedecke.com/llms-reward-expertise/