Kimi K3のオープンウェイトが公開。いよいよ本格的なベンチマークへ

Kimi K3は、すでに7月に発表されたモデルの中でも特に注目を集めていました。今回オープンウェイトが公開されたことで、開発者はさまざまなワークロード、サービングスタック、エージェントアーキテクチャにおけるK3の挙動をより自由に評価できるようになりました。

MoonshotはK3を、総パラメータ数2.8兆、896のエキスパートを備え、トークンごとに16のエキスパートをアクティブ化するMixture-of-Experts（MoE）モデルとして発表しています。ネイティブのマルチモーダル入力と1,048,576トークンのコンテキストウィンドウにも対応しています。こうした仕様により、コーディング、リサーチ、ナレッジワーク、長期的なエージェントワークフローなど、幅広い用途での活用が期待できます。

APIを使った検証

この数日間、GMI CloudではAPIを通じてKimi K3をテストし、推論、クリエイティブ、コーディング、マルチモーダル、エージェント型ワークフローなど、さまざまなユースケースで性能を検証しました。

特に際立っていたのが、長時間にわたるタスクを継続して実行する能力です。複数のテストでは、計画、反復、ツール利用、構造化されたタスクの引き継ぎを必要とする複数ステップの処理を、3〜4時間にわたって継続的に実行しました。

K3は、サブエージェントを統括するオーケストレーターとしても高い性能を発揮しました。大きな目標を個別のワークストリームに分解し、専門的なタスクを割り当て、返された結果をレビューし、追加の反復が必要な箇所を判断できます。そのため、コーディングエージェント、リサーチシステム、あるいはメインエージェントが複数のツールやサブエージェントを統括する業務ワークフローを構築するチームにとって、注目すべきモデルといえます。

また、K3の推論スタイルは、明確な正解が一つに定まらないオープンエンドなタスクにも適しています。探索的なプロンプトや複数の解決アプローチ、創造的な問題解決に対応しながら、長時間にわたるタスクでも一貫性を維持しました。

実用的なマルチモーダル構成

K3はテキストに加えて画像をネイティブに理解でき、ソフトウェアエンジニアリング、ナレッジワーク、高度な推論シナリオに活用できる100万トークンのコンテキストウィンドウを備えています。

GMI Cloudのマルチモーダルテストでは、2つのモデルを組み合わせるワークフローが特に有効でした。K3を長期的な推論とオーケストレーションを担うレイヤーとして使用し、エージェントループ内にGoogle Geminiの画像モデルをビジュアルレビュー担当として組み込みます。

たとえば、エージェントはK3にタスクの計画、実装の生成、想定されるビジュアル結果の評価を行わせることができます。その後、Geminiがレンダリングされた画像、UIスクリーンショット、グラフ、デザイン成果物などを確認します。GeminiからのビジュアルフィードバックをK3に戻すことで、K3は計画や実装を修正し、ワークフローを継続できます。

このアプローチにより、マルチモーダル処理を次のようなフィードバックループとして構築できます。

1. K3がタスクを計画・推論し、コードやコンテンツを作成して処理全体を統括する。

2. Geminiの画像モデルがビジュアル出力を評価する。

3. K3がそのフィードバックを反映し、次のアクションを指示する。

4. 定義した基準を満たすまで、このプロセスを繰り返す。

GMI Cloudのモデルライブラリはモダリティ別に整理されており、言語、推論、ビジョン、画像、音声、動画、3Dモデルを組み合わせて、用途に適したワークフローを構築できます。

K3によるゲーム開発を改善した「ビジュアルエージェントループ」

Kimi K3がゲームロジック、コーディング、反復計画を担当し、専用の画像・ビジョンモデルがビジュアル面を補完しました。このワークフローでは、K3がGeminiまたはGPT Imageにテクスチャ生成を依頼し、それを各シーン要素に適用。その後、複数のアングルから取得したスクリーンショットをビジョンモデルに送り、レビューを行いました。そのフィードバックによって、ライティング、スケール、テクスチャ品質などの問題を特定し、K3が次の反復に向けた修正指示として活用しました。

このループを約80回繰り返すことで、平面的だった初期プロトタイプを、より洗練されたストラテジーゲーム環境へと進化させることができました。これは、適切なビジュアルモデルと組み合わせることで、K3が長時間にわたるクリエイティブワークフローをオーケストレーションできることを示しています。GMI Cloudでは、K3、Geminiの画像モデル、GPT Imageモデルを1つのAPIから利用できます。そのため、複数のプロバイダーを個別に管理することなく、このような自己改善型のマルチモデルループを構築できます。

オープンウェイトで広がる評価の可能性

K3のオープンウェイト公開により、チームは単にモデルの回答品質を比較するだけでなく、より幅広い観点から評価できるようになります。独自のプロンプト、エージェントフレームワーク、推論設定、レイテンシ要件などに合わせて性能を検証できます。

これにより、次のような評価が可能になります。

• 再現性のあるテスト：モデル間で同一のプロンプト、ツール定義、評価ハーネスを使用して、一貫したテストを実施できます。

• エージェントアーキテクチャの検証：同じワークロードを使用し、単一エージェント、スーパーバイザー型エージェント、マルチエージェント構成を比較できます。

• サービング性能の評価：実際に使用予定のスタックで、スループット、同時実行性能、最初のトークンが返されるまでの時間（TTFT）、出力品質を測定できます。

• 柔軟なデプロイ：利用状況、ガバナンス、運用上の目標に応じて、マネージド推論、専用エンドポイント、セルフマネージドのコンピューティング環境を選択できます。

モデルカードや公開ベンチマークは有用な出発点です。しかし、最も価値のある評価は、自社が実際に自動化したい業務においてモデルがどのように動作するかを確認することです。

Kimi K3の公式ウェイトとモデル関連資料はHugging Faceで公開されており、開発者はリリース内容を直接確認し、セルフホスト環境でのデプロイを評価できます。

2.8兆パラメータのアーキテクチャ

K3は、2.8兆の全パラメータをトークンごとに使用するのではなく、Mixture-of-Experts（MoE）アーキテクチャを採用しています。Moonshotによると、K3は896のエキスパートを備え、トークンごとに16のエキスパートをアクティブ化します。これにより、スパース推論を活用しながらフロンティアクラスのモデル容量を実現しています。

100万トークンのコンテキストウィンドウにより、大規模なリポジトリ、長文のリサーチ資料、長期間にわたるタスク履歴を扱う余地が広がります。ただし、実際のアプリケーションで重要となるコンテキスト長、同時実行数、応答時間については、各チームが独自にベンチマークすることが重要です。

開発者がテストすべきポイント

K3を評価する際は、実際の業務をベースにすることが重要です。

まずは、対象を絞ったベンチマークスイートから始めることをおすすめします。

1. コードベースタスク：K3にIssue、受け入れ条件、テストコマンドを与え、実装がテストスイートを通過するか測定します。

2. 長時間稼働するエージェント：明確な成功条件、ツールアクセス、チェックポイント、人によるレビューを設定したうえで、数時間規模のワークフローをテストします。

3. サブエージェントのオーケストレーション：スーパーバイザーエージェントに、リサーチ、実装、レビュー、テストなどを担当する複数の専門エージェントを割り当て、連携品質、再試行回数、完了率を測定します。

4. ロングコンテキスト検索：リポジトリや文書セットを使用し、根拠の品質、制約条件の追跡、一貫性を評価します。

5. マルチモーダルフィードバックループ：K3とビジュアルモデルを組み合わせ、スクリーンショット、デザイン成果物、生成画像、図表、UIの状態などを評価します。

6. 構造化出力：JSON抽出、Function Calling、スキーマ準拠など、下流システムと直接連携するワークフローをテストします。

まずはマネージド推論から

オープンウェイトによって選択肢は広がります。同時に、大規模なGPU環境を自社で構築・運用する前に、フロンティアモデルの評価を始めることも可能になります。

次のようなニーズを持つチームにとって、マネージド推論は有力な選択肢です。

• すぐにテストを開始したい

• 同じワークフロー内で複数のモデルを試したい

• キャパシティプランニングなしで変動するトラフィックに対応したい

• 既存のOpenAI SDKの実装パターンを維持したい

• エンジニアリングリソースをプロダクトやエージェントロジックの開発に集中させたい

GMI CloudはOpenAI互換の推論APIを提供しており、使い慣れたChat Completions形式を維持しながら、幅広いモデルを利用できます。

from openai import OpenAI

client = OpenAI(
base_url="https://api.gmi-serving.com/v1",
api_key="YOUR_GMI_API_KEY",
)

response = client.chat.completions.create(
model="moonshotai/kimi-k3",
messages=[
{
"role": "user",
"content": "Plan a multi-agent workflow for reviewing a pull request."
}
],
)
print(response.choices[0].message.content)

GMI Cloudは専用エンドポイントやGPUインフラにも対応しているため、ワークロードの成熟に伴って、より専用性の高いキャパシティや制御が必要になった場合にも柔軟に対応できます。

成功した成果を測定する

K3の価値は、完了した仕事によって測ることができます。たとえば、Issueの解決、テスト済みのプルリクエスト、調査済みの回答、レビュー済みの成果物、目標を達成したエージェントワークフローなどです。

以下の指標を追跡しましょう。

• タスク完了率

• 成功したタスクあたりのトークン数

• 最初のトークンが返されるまでの時間（TTFT）とタスク全体の所要時間

• エージェントの反復回数

• サブエージェント間の連携品質

• ツール呼び出しと再試行のパターン

• 成功した成果あたりのコスト

• 人によるレビューに要した時間

複雑なタスクを少ない再試行回数で完了し、より優れたオーケストレーションによって人の介入を減らせるモデルは、単純なトークン単価だけで評価したモデルよりも、大きな価値を生み出す可能性があります。

ワークフローを軸に構築する

Kimi K3によって、開発者がオープンウェイトモデルで検証できる領域はさらに広がりました。GMI Cloudによる初期のAPIテストでは、K3の強みは特に、推論負荷の高いタスク、クリエイティブな作業、長時間にわたる処理、マルチエージェントワークフローで発揮されることが確認されています。

開発者が取り組むべきポイントは明確です。

• 実際のタスクでK3をテストする

• 長期的な推論とオーケストレーションを担うレイヤーとして活用する

• ビジュアルフィードバックが有効な場面では、専用モデルと組み合わせる

• 品質、レイテンシ、スループット、完了タスクあたりのコストを測定する

• まずはマネージド推論から始め、需要が予測可能になった段階でインフラを最適化する

GMI CloudでKimi K3を試す

Kimi K3はGMI CloudのOpenAI互換APIから利用できます。すでにGMI Cloudのサーバーレス推論でLLMを利用しているチームであれば、モデルIDを変更するだけでK3をテストできます。まずはGMI Cloud Playgroundで、セットアップ不要でプロンプトを試してみてください。その後、従量課金制のテストにはサーバーレスAPIを利用できます。

セルフホストを検討している場合は、Kimi K3の公式Hugging Faceリポジトリをご確認ください。