Kimiが2.8兆パラメータの オープンモデル「Kimi K3」を発表

Kimiは2.8兆パラメータの大規模言語モデル「Kimi K3」を発表した。ネイティブなビジョン機能と100万トークンのコンテキストウィンドウを備えており、オープンソースの3T級モデルとしては世界初とされている。

Kimi K3は2.8兆パラメータを備え、Kimi Delta AttentionおよびAttention Residualsに基づいて構築されたモデルである。ネイティブなビジョン機能と1百万トークンのコンテキストウィンドウを搭載する。Kimiは過去12ヶ月間のうち9ヶ月間、オープンモデルサイズの上限をKimiモデルで保持してきた。

Kimi K3はKimi.com、Kimi Work、Kimi Code、およびKimi APIで本日から利用可能であり、完全なモデルウェイトは2026年7月27日までにリリースされる予定である。

アーキテクチャと技術的特性

Kimi K3は896名の専門家のうち16名をアクティブにするStable LatentMoEフレームワークを用いてMixture of Expertsのスパース性をスケーリングしている。定量化認識トレーニングはMXFP4ウェイトおよびMXFP8アクティベーションを使用して適用されている。さらに、Per-Head Muonによる注意ヘッドの最適化、Sigmoid Tanh Unit（SiTU）およびGated MLA、Quantile Balansingによる専門家の割り当てなど複数の最適化手法が採用されている。

Kimi K2との比較では、これらの構造的変更により全体的なスケーリング効率においてはおよそ2.5倍の改善が実現されたと報じられている。起動時にはデフォルトで最大思考努力（max thinking effort）を使用するが、その後のアップデートで低努力および高努力モードが導入される予定である。

推論能力と応用事例

Kimi K3は通常1～2週間かかる天体物理学の研究タスクを約2時間で完了した。20以上の論文のレビューおよび検証、300以上の状態方程式の評価、3000行以上のPythonコードの生成を伴うタスクである。

また、Kimi K3は48時間の自律実行でNangate 45nmライブラリのオープンソースEDAツールを用いてチップを設計した。設計されたチップは4 mm²のサイズで、100 MHzのタイミング閉鎖周波数で動作し、シミュレーション上8700トークン/秒のデコードスループットを維持する。1.46百万個の標準セル、0.277 MB SRAMおよびINT4 MAC配列を備える。

Kimi K3はAI ASIC産業研究の120回以上の再帰的自己改善ラウンドを通じてインタラクティブなウェブサイトを構築した。その過程で2800以上のウェブサーチ取得および1100以上のターミナルデータプルを実行し、87四半期決算報告書および99原本PDFにわたる11000ページ以上をカバーしている。

重力波分析では20以上の並行サブエージェントを使用し、7つの科学的ビジュアライゼーション、2つのテーブル、10以上の論文からの文献統合を含む成果を生成した。さらに、Kimi K3は自身のアーキテクチャに関する3Blue1Brown風のモーショングラフィクス解説動画を作成し、56個のソースクリップから映像を編集し、モーションマッチング編集およびフレーム精度のビート同期を実現している。

ベンチマーク性能とAPI価格

Kimi K3はDeepSWEベンチマーク67.5点、Program Bench 77.8点、Terminal Bench 2.1で88.3点を記録した。FrontierSWEでは81.2点、SWE Marathonでは42.0点、GDPval-AA v2ではEloスコア1668.01を達成している。BrowseCompは91.2点、DeepSearchQAは95.0のf1スコア、Toolathlon-Verifiedでは73.2点となった。

Kimi APIの価格設定はキャッシュヒット入力で$0.30/MTok、キャッシュミス入力で$3.00/MTok、出力で$15.00/MTokenである。Kimiはコーディングワークロードにおいてキャッシュヒット率が90%を上回ることを報告している。

一方、Kimi K3の全体的な性能はClaude Fable 5およびGPT 5.6 Solといった最も強力なプロプライエタリモデルには依然及ばないとされている。

プラットフォーム対応と利用方法

Kimi K3はiOS、Android、HarmonyOS上で利用可能である。Kimi Workのデスクトップアプリケーションはバージョン3.1.0以降でKimi K3に対応し、Kimi Codeでは/modelコマンドを使用してKimi K3を選択できる。Kimiはさらに企業向けにKimi Enterpriseを提供し、エンタープライズグレードのデータプライバシーおよびメンバー管理を実現している。

この記事は元記事の事実のみに基づいて自動生成されました。

出典

Kimi『Kimi K3 Tech Blog: Open Frontier Intelligence』https://www.kimi.com/blog/kimi-k3