Skip to main content

船藏颯 : Kimi K3：超大規模・低コストLLMを支える新技術の詳細解説

· 33 min read
gh_20260723_kim3.jpg

（全体俯瞰 : AI 生成） click で拡大

title （情報源）

前置き＋コメント​

船藏颯 による Kimi K3 の解説動画を AI で整理した。今の AI はまだ図解を無視しているので AI 整理といっても雑な素描でしかない。

Kimi K3 については、

  • 中国が Anthropic の最新モデルを剽窃したものだ、その証拠に…

といった噂が一部で流布している(*1)が、そういった願望にバイアスされずに最悪を想定した方が良いと思える。AI/ロボット 開発において、完全に取り残された日本が中国を侮るのはリスクでしかない。

中国はいずれ崩壊すると見ている私だが、AI/ロボット 開発においては、日本は中国を見くびる位置に立っていないし、簡単に挽回できるものでもないと判断している。

(*1)​

title （情報源）

以下、情報源を NotebookLM で整理した内容。

要旨​

この動画は、中国のMoonshot AIが開発した最新LLM「‌‌Kimi K3‌‌」の革新的なアーキテクチャを専門的に解説しています。

‌‌Kimi K3‌‌は‌‌2.8兆パラメーター‌‌という驚異的な規模を誇り、従来のモデルを凌駕する高いスケーリング効率を実現しています。技術的な核心として、計算コストを抑えつつ情報の忘却を防ぐ「‌‌Kimi-Delta Attention‌‌」や、低次元空間を活用して効率化を図る「‌‌Latent Mixture-of-Experts‌‌」が紹介されています。

さらに、層の接続を単純な加算から重み付き和へと進化させた「‌‌Attention Residuals‌‌」という独自技術についても詳しく触れています。

最後に、実用面での特徴として‌‌低コスト‌‌かつコーディング等に強い一方で、思考履歴を重視する学習設定ゆえの‌‌運用上の留意点‌‌があることも提示されています。

@@ no search index start

目次​

  1. 前置き＋コメント
  2. 要旨
  3. Kimi K3：フロンティア級LLMを支えるコア技術 ブリーフィング資料
    1. エグゼクティブ・サマリー
    2. 1. モデルの概要と市場ポジション
    3. 2. 大規模スケーリングの諸元
    4. 3. コア・アーキテクチャの技術的分析
    5. 4. 実用上の制約と留意点
    6. 結論
  4. Kimi K3 LLM 技術仕様と特徴の概要
  5. 基本性能と市場位置付け
    1. Kimi K3の基本性能
    2. 市場位置付けとコスト優位性
  6. 大規模スケーリングの仕様
    1. 大規模スケーリングの基本仕様
    2. スケーリング効率と学習の最適化
  7. 主要アーキテクチャ技術
    1. Kimi K3の全体アーキテクチャ構成
    2. 主要なアーキテクチャ要素
  8. 実用上の特性と留意点
    1. Kimi K3の実用上の特性と留意点
  9. 情報源

@@ no search index stop

Kimi K3：フロンティア級LLMを支えるコア技術 ブリーフィング資料​

エグゼクティブ・サマリー​

Moonshot AIが開発した「Kimi K3」は、GPT-4oやClaude 3.5 Sonnetといった世界最高峰のLLM（大規模言語モデル）に匹敵する性能を持つ最新モデルである。約2.8兆という膨大なパラメータ数を誇りながら、独自のアーキテクチャ改善により、計算効率とスケーリング効率を劇的に向上させている。

主な特徴は、コーディングおよびフロントエンド開発における極めて高いベンチマーク性能と、競合モデルを圧倒するコストパフォーマンス（100万トークンあたり3.15ドル）にある。技術的には、線形アテンションを拡張した「Kimi Delta Attention」、低次元空間での計算を行う「Stable Latent MoE」、そして層方向の注意機構である「Attention Residuals」という3つの革新的な技術を組み合わせることで、大規模化と高効率化を両立している。

1. モデルの概要と市場ポジション​

Kimi K3は、先行モデルであるKimi K2.6を大幅にスケールアップさせたモデルであり、オープンウェイト（重み公開予定）モデルの最上位層に位置する。

ベンチマークと性能評価

  • コーディング性能: ベンチマークによってはClaude 3.5 Sonnetを上回る結果を記録している。
  • フロントエンド開発: フロントエンド特化のベンチマークにおいて、Claude 3.5系の最高位モデルであるFableを超える評価を得ている。
  • 総合評価: 「Artificial Analysis」などの集約型ベンチマークにおいて、GPT-4oやClaude 3.5 Sonnetに次ぐフロンティア・ラインに食い込んでいる。

圧倒的なコスト効率

競合する最高峰モデルと比較して、Kimi K3は利用料金が極めて低く抑えられている。

モデル名入出力 100万トークンあたりの料金
Claude 3.5 Fable$10.50
Claude 3.5 Sonnet$5.30
Kimi K3$3.15

2. 大規模スケーリングの諸元​

Kimi K3は、単なるモデルサイズの拡大に留まらず、学習効率の最適化に主眼を置いている。前世代機と比較して、計算資源を知能に変換する「スケーリング効率」が約2.5倍に向上している。

  • パラメータ数: 約2.8兆（オープンウェイトモデルとして突出した規模）。
  • コンテキストウィンドウ: 100万トークン超（K2.6の3倍以上）。
  • エキスパート数 (MoE): 合計896エキスパート（K2.6の384から大幅増）。
  • アクティブ・エキスパート: 1トークンあたり16エキスパートを選択（K2.6の8から倍増）。

3. コア・アーキテクチャの技術的分析​

Kimi K3の性能を支えるのは、アテンション機構、MoE、および残差接続における独自の改良である。

3.1 Kimi Delta Attention (KDA)

リニア・アテンション（線形注意機構）をベースとした独自の注意機構。系列長が伸びても計算量やキャッシュサイズが肥大化しない利点を持つ。

  • 差分書き込み: 入力情報と既存の状態の「差分」のみを更新するデルタ・ネットワークの仕組みを採用。
  • 動的な忘却（減衰）: 過去の情報を徐々に忘れる仕組みを導入。特筆すべきは、行列の行ごとに異なる減衰率（情報減衰率）を適用する点であり、これにより柔軟な情報の保持が可能になっている。

3.2 Gated MLA (Multi-head Latent Attention)

KDAと組み合わせて使用される大局的な注意機構。

  • 構成: 3つのKDAブロックに対し、1つのGated MLAブロックを配置する反復構造をとる。
  • 役割分担: 効率重視のKDAに対し、MLAは各トークンに精緻な注意を向ける役割を担い、両者の補完によって精度の高い処理を実現している。

3.3 Stable Latent MoE (Zero-MoE)

混合エキスパート（Mixture of Experts）における計算負荷を軽減する技術。

  • 次元圧縮: 入力されたトークンベクトルを一旦「低次元空間」に射影してから、各エキスパートが処理を行う。処理後に元の次元に戻すことで、精度を維持しつつ計算資源を節約する。
  • スパース性の活用: 膨大なエキスパートの中からごく一部（16/896）のみを使用することで、モデルの表現力を最大化しつつ実行時の負荷を抑えている。

3.4 Attention Residuals (層間アテンション)

通常のLLMがトークン方向（横方向）に注意を向けるのに対し、Attention Residualsは層方向（縦方向）に注意を向ける。

  • 重み付き加算: 従来の「残差接続」は直前の入力を単純加算するだけだったが、これを過去の複数のブロックからの「重み付き加算」に変更した。
  • ブロック単位の適用: 全層への適用は計算量が膨大になるため、モデルをブロック単位に区切り、ブロック内の情報の集約を入力として利用する。

4. 実用上の制約と留意点​

公式発表に基づき、実運用において考慮すべき特異点がいくつか存在する。

  1. 思考履歴への依存: Kimi K3は「思考のプロセス（履歴）」を保持するモードで学習されている。そのため、セッションの途中でモデルを切り替えたり、過去の思考内容を保持しないシステム（ハーネス）で使用したりすると、生成品質が著しく不安定になる可能性がある。
  2. 高い自発性と意図の解釈: 高度なタスクへの最適化が進んでいる反面、ユーザーの指示が曖昧な場合、モデルが「自発的」に先読みしすぎてしまい、意図しない判断を下す（オーバーアクティブな挙動）傾向がある。
  3. アクセス制限: 2024年7月時点、ユーザーの急増により新規加入が制限されており、利用にはウェイトリストへの登録が必要となっている。

結論​

Kimi K3は、独自の技術的アプローチ（KDA、Latent MoE、Attention Residuals）によって、現行の商用クローズドモデルに肉薄する性能を、より低いコストで提供することに成功している。特に、大規模モデルにおける未学習状態を防ぐ「スケーリング効率」の改善は、今後のLLM開発における一つの重要な指針となるだろう。2024年7月27日に予定されている重みと詳細論文の公開により、その技術的全容がさらに明らかになることが期待される。

Kimi K3 LLM 技術仕様と特徴の概要​

技術・機能項目詳細内容従来モデル(Kimi k2.6等)との比較主なメリット留意点・制約
アーキテクチャ（全体構造）Kimi Delta Attention（KDA）、Gated MLA、MoE（Stable Latent MoE）、Attention Residualsを組み合わせた構造。KDAブロック3つとGated MLAブロック1つを1セットとして反復。従来よりも計算資源を効率的に知能へ変換するスケーリング効率が約2.5倍に向上。トークン方向とレイヤー方向の両方に注意を向けることで、スケーリング効率を最大化。特定の思考履歴を保持するモードで学習されているため、履歴を渡さないハーネス（ベンチマーク環境）では挙動が不安定になる。
パラメータ数総パラメータ数 約2.8兆。オープンウェイトのモデルとして飛び抜けて大きい規模。前世代や他のオープンウェイトモデルと比較して大幅にスケールアップ。モデルのキャパシティ（潜在能力）の大幅な向上。実行には膨大な計算リソースが必要（ただしMoEによりアクティブパラメータは限定的）。
Mixture of Experts (MoE)896個のエキスパート（ルーティッド）を内蔵し、1トークンあたり16個を選択して実行するスパース構造。低次元空間で実行するLatent MoEを採用。Kimi k2.6のエキスパート数384個（選択8個）から倍増。より「スパース（疎）」な構造へ進化。パラメータ数を増やして能力を高めつつ、各ステップの計算負荷を低く抑える。エキスパート数が多いため、学習を完遂させる難易度が高い。
Kimi Delta Attention (KDA)リニアアテンションの派生で、差分書き込みと動的な減衰率を行列の行ごとに適用するメカニズム。従来のリニアアテンションやGated DeltaNetは減衰率が一定だったが、KDAは行ごとに拡張。系列長が長くなっても計算量やキャッシュサイズが肥大化せず、効率的な情報処理が可能。該当情報なし
Attention Residuals残差接続（単純加算）を重み付き和に変更。レイヤー方向（層方向）に注意を向ける仕組み。実用上は「Blockアテンション・レジジュアルズ」として実装。従来の単純な加算による残差接続とは異なり、過去の複数の層からの情報を動的に集約。層をまたいだ情報の伝達効率が向上。ハードウェア的な計算順序の制御が複雑になる。
推論コスト100万トークンあたりの金額が約3ドル。競合のSol（5.3ドル）やFable（10.5ドル）と比較して大幅に安価。フロンティア級の高性能モデルを極めて低価格で利用可能。2024年7月時点では需要過多により新規加入が制限されている場合がある。
コンテキストウィンドウ100万トークンを超えるコンテキストを処理可能。前身のKimi k2.6と比較して3倍以上に拡張。非常に長いドキュメントや複雑なコンテキストの理解が可能。該当情報なし
運用上の制約（生成品質）自発性が過剰になる傾向があり、ユーザーの意図が曖昧な場合に予期しない判断を下すことがある。長期的な難易度の高いタスクに重点を置いた学習設定による特性。自律的なアクションやオープンなアイデア出しには適している可能性がある。明確な指示を厳密に守らせたい場合は他のモデルが適している。

[1] Kimi K3：フロンティア級LLMを支えるコア技術

基本性能と市場位置付け​

Kimi K3の基本性能​

ベンチマーク評価とパラメータ規模​

Kimi K3は、コーディングや一般的なタスクなど、幅広いベンチマークにおいてGPT（情報源では「gptソル」と言及）やClaude（情報源では「フェイブル」と言及）といったフロンティアラインの最上位モデルに肉薄しており、一部の評価ではそれらを上回る性能を示しています。パラメータ数は約2.8兆と、オープンウェイトのモデルとしては突出して大きな規模を誇ります。さらに、コンテキストウィンドウも前身モデルであるKimi 2.6と比較して3倍以上に拡大されており、100万トークンを超える情報を一度に処理することが可能です。

特化されたタスクと実用上の制約​

Kimi K3は、複数の工程を踏む長期的なタスクに重点を置いて学習されています。思考の履歴を保持するモードでトレーニングされているため、過去の思考内容を渡さない実行環境（ハーネス）を使用した場合や、セッションの途中で別のモデルから切り替えた場合には、生成品質が不安定になる傾向があります。また、自発性が高くなるような学習設定であるため、ユーザーの指示や意図が曖昧な場合には、予期しない判断を下したり意図を超えた挙動を示す可能性が指摘されています。

市場位置付けとコスト優位性​

フロンティア級モデルへの挑戦とオープンウェイト​

市場において、Kimi K3は最上位クラスのクローズドモデルに対抗しうる「オープンウェイト」のモデルとして位置付けられています。情報源によると、近日中にモデルの重みと詳細な技術論文が公開される予定となっており、オープンな環境で強力な性能を利用できるモデルとして高い期待を集めています。

圧倒的な低コストと高い需要​

Kimi K3の大きな強みの一つは、競合する最上位モデルと比較した際の圧倒的なコストパフォーマンスです。100万トークンあたりの利用料金は、GPT系（約$5.30）やClaude系（約$10.50）に対して、$3.15と非常に安価に設定されています。この高い性能と低コストの両立により需要が急増しており、専用のCLI（コマンドラインインターフェース）を通じたサブスクリプションサービスでは、利用希望者が多すぎるために一時的に新規加入が停止される事態も発生しています。

大規模スケーリングの仕様​

大規模スケーリングの基本仕様​

パラメータ数とコンテキストウィンドウの拡大​

Kimi K3は、オープンウェイトのモデルとしては突出した規模を誇り、約2.8兆という非常に膨大なパラメータ数を持っています。さらに、一度に処理できる情報量を示すコンテキストウィンドウは、前身モデルであるKimi 2.6と比較して3倍以上に拡大されており、100万トークンを超える長大な文脈を扱うことが可能になっています。

大規模かつスパースなMoEアーキテクチャ​

大規模なスケーリングを支える中核技術として、Kimi K3は非常に「スパース（疎）」なMoE（Mixture of Experts）構造を採用しています。モデル内部に抱えるエキスパートの総数は、Kimi 2.6の384個から896個へと2倍以上に増加しました。

具体的には、全ての処理で共通して使われる「シェアードエキスパート」が2つ、オンデマンドで選択される「ルーティットエキスパート」が896個という構成になっています。処理の際には、この896個のルーティットエキスパートの中から、各トークンごとにルーターがスコアをつけて上位わずか16個（前モデルの8個から増加）だけを選抜して実行します。このように大量のエキスパートを用意しつつもごく一部しか稼働させない仕組みにより、モデル全体の潜在能力（ケーパビリティ）を巨大化させながら、各計算ステップにおける実際の処理負荷を小さく抑えることに成功しています。

スケーリング効率と学習の最適化​

2.5倍に向上したスケーリング効率​

パラメータ数がこれほどまでに巨大化すると、性能が上がりきる前に学習が終わってしまう「未学習状態」に陥るリスクが高まります。この課題を克服するため、開発元である Moonshot AI（ムーンショット・エーアイ?） はモデルのアーキテクチャに根本的な改善を施しています。

具体的には、Kimi Delta Attention（KDA）と呼ばれる忘却の仕組みを取り入れたアテンション機構や、層をまたいで情報を集約するAttention Residualsなどの独自技術を組み込んでいます。これらの工夫により、Kimi 2.6と比較して全体のスケーリング効率を約2.5倍にまで高めており、同じ計算資源の量でもより効果的に知能へと変換し、巨大なモデルを適切に学習させきる仕様となっています。

主要アーキテクチャ技術​

Kimi K3の全体アーキテクチャ構成​

Kimi K3のアーキテクチャは、主に「Kimi Delta Attention（キミ・デルタ・アテンション）」、「MLA（マルチヘッド・レイテント・アテンション）」、「Mixture of Experts（ミクスチャー・オブ・エキスパート）」、そして「Attention Residuals（アテンション・レジデュアルズ）」という4つの主要な要素技術から構成されています。具体的なネットワーク構造としては、3つのKDAブロックと1つのMLAブロックを1つのセットとし、その間にMoEが挟まる形を反復する設計となっています。

主要なアーキテクチャ要素​

Kimi Delta Attention (KDA) による効率的な文脈処理​

KDAは、系列長が長くなっても計算量やメモリ消費が肥大化しないLinear Attention（リニア・アテンション）の派生技術です。通常のセルフアテンションが過去の全トークンの情報をメモリに保持（キー・バリューキャッシュ）する必要があるのに対し、KDAは固定サイズの「状態行列」を保持し、そこに新しい情報を逐次足し合わせていくことで情報を集約します。 さらに、KDAは新しい情報を単に足すのではなく「現在保持している状態との差分」として書き込む仕組みと、過去の情報を少しずつ忘れさせる「動的な減衰率」を組み合わせています。減衰率は行列の行ごとに異なる値が設定されており、より効果的な文脈の保持と忘却を実現しています。アーキテクチャ全体の中で、KDAは主に計算効率を重視した処理を担います。

MLAによる大域的な注意機構​

3つ連続するKDAブロックの後段には、ゲート付きのMLAブロックが配置されています。効率性を重視したKDAに対して、MLAは各トークンに対して一つ一つ注意を向ける、通常のトランスフォーマーに近い大域的な処理を行い、情報処理を補完する役割を持っています。

計算負荷を下げる低次元化MoE​

トランスフォーマーにおける従来のフィードフォワードネットワーク部分は、大規模でスパースなMoE構造に置き換えられており、Kimi K3ではその発展系である「Stable Latent MoE（ステーブル・レイテント・MoE）」が使われています。 最大の特徴は、各トークンのベクトル表現をそのままエキスパート（内部の個別のネットワーク）に渡すのではなく、一旦低次元空間に射影（次元を削減）してから処理を実行し、その後に元の次元へ戻すというアプローチをとっている点です。これにより、896個という膨大な数のエキスパートを内包しながらも、エキスパート側が行う計算の負荷を大幅に引き下げることに成功しています。

Attention Residuals による層間の情報集約​

通常のトランスフォーマーのアテンションが「トークン方向（横方向）」に働くのに対し、Attention Residualsは「レイヤー方向（縦の双方向）」に注意を向ける独自の仕組みです。直前の処理結果と入力を単純に足し算していた従来の残差接続とは異なり、過去の層の出力結果を重み付きの和として足し合わせます。 ただし、すべての層に注意を向けると計算量が膨大になってしまうため、実際のモデルでは層をブロックごとに切り分けて処理を行う「Blocked Attention Residuals（ブロックド・アテンション・レジデュアルズ）」という形式が採用されています。これにより、過去のブロックの計算結果を効果的に集約し、現在の層の入力を作り出しています。

実用上の特性と留意点​

Kimi K3の実用上の特性と留意点​

ユーザー体験における最上位モデルとの差異​

Kimi K3は、各種ベンチマークにおいてGPT（情報源では「ソル」と言及）やClaude（情報源では「フェイブル」と言及）といった最上位モデルに迫る性能を示していますが、開発陣自らが「ユーザー体験には目に見える差異が存在する」と明言しています。

思考履歴の保持と実行環境（ハーネス）の制約​

Kimi K3の実用上最も注意すべき点は、自身の「思考の履歴」を保持するモードで学習されているという特殊な仕様です。そのため、AIが過去に出力した思考内容を都度渡し返さないような実行環境（ハーネス）を使用した場合や、セッションの途中で別のモデルからKimi K3に切り替えた場合には、生成される回答の品質が不安定になる傾向があります。モデル自身が吐き出し続けた履歴を前提として動くように設計されているためです。

長期タスクへの最適化と過剰な自発性​

Kimi K3は、複数の工程からなる長期的なタスクに重点を置いて最適化されています。その副作用としてモデルの自発性がやや過剰になる傾向があり、ユーザーからの指示や意図が曖昧な場合、モデルが予期しない判断を下したり、ユーザーの意図を超えた挙動を示したりする可能性があります。この特性は、オープンなアイデア出しや自律的なアクションを求める使い方には適していますが、厳密に指示通りに動かす必要がある用途には別のモデルの方が向いている可能性も指摘されています。

専用ツールの利用とハードウェアへの要求​

前述のハーネスの制約を回避するためには、公式が提供する専用のコマンドラインインターフェース（kimi-code cli）などを用いて実行することが最も無難とされています。しかし、圧倒的な低コストも相まって利用者が急増し、情報源の時点（7月22日）では新規加入が一時停止され、ウェイトリスト待ちの状態となっています。 また、オープンウェイトモデルとしてローカル環境での実行も期待されていますが、約2.8兆という巨大なパラメータ数を持っています。各計算ステップで稼働させるエキスパートを限定するスパースな構造であるため、全てのパラメータを一度にGPUに乗せる必要はないものの、実際にPCなどのローカル環境で動かすには相応のスペックが要求されると推測されています。

情報源​

動画(44:55)

Kimi K3：フロンティア級LLMを支えるコア技術

https://www.youtube.com/watch?v=ood8p_sa-HI

1,800 views 2026/07/23

(2026-07-23)