GMI Routerの提供を開始：あらゆるプロンプトに最適なAIモデルを自動選択

GMI Cloudは、新機能「GMI Router（ジーエムアイ・ラウター）」の提供を開始しました。GMI Routerは、ベンチマークに基づいて各プロンプトを分析し、コストに対して最も高い品質を発揮するモデルを自動的に選択するルーティングレイヤーです。1つのエンドポイントから3つの最適化モードを利用でき、その基盤にはKVキャッシュを考慮したインフラストラクチャを採用。リクエスト処理の途中でJudgeモデルを呼び出すことなく、軽量なルーティングを実現します。本記事では、GMI Routerが開発された背景と、実際のトラフィックをどのように最適なモデルへ振り分けるのかをご紹介します。

すべてのプロンプトに1つのモデルを使うという課題

コーディングエージェントが行う作業は、1種類だけではありません。同じセッションの中でも、リポジトリの確認、コンテキストの要約、コード生成、ツールの呼び出し、エラーのデバッグ、次のステップの計画など、さまざまなタスクを処理します。しかし、多くのアプリケーションでは、こうしたすべてのリクエストを同じモデルに送信しています。運用はシンプルですが、難易度が大きく異なるタスクに対して、常に同じ高性能モデルのコストを支払うことになります。

現在、多くのチームがこの方法でAI推論を運用しています。高性能なモデルを1つ選び、すべてのトラフィックをそのモデルに送る。シンプルで安全に見え、迅速にサービスを提供できます。しかし、本番環境のアプリケーションは、実際には複数のツールを組み合わせたような動きをします。1つのチャットボットのセッションでも、要約、翻訳、コードのデバッグ、分類、情報抽出、推論など、さまざまな処理が行われます。その中で、最高性能のモデルを必要とするタスクは一部にすぎません。それにもかかわらず、すべての処理を高性能モデルに任せると、必要以上のコストが発生します。より軽量なモデルでも同等の回答品質を実現できるのであれば、そちらを利用する方がコスト効率に優れています。

一方、すべてを低コストのモデルに切り替えると、ユーザー体験を左右する難易度の高いリクエストで品質が低下する可能性があります。つまり、単一モデルに依存すると、簡単なタスクではコストをかけすぎ、難しいタスクでは十分な品質を提供できないという問題が生じます。GMI Routerは、このトレードオフを解消するために設計されています。

判断単位は「プロンプト」

タスクカテゴリーを見ると、プロンプト単位でルーティングするメリットが分かります。そして、どのモデルを選ぶべきかを判断するための詳細な情報は、プロンプトそのものに含まれています。たとえば、「メールアドレスを検証する正規表現を書いて」と「非同期ジョブキューの競合状態を解消して」は、どちらもコーディングに関するプロンプトです。しかし、前者は比較的単純なタスクである一方、後者はより高度なモデルを利用する価値があります。そのため、GMI Routerでは、個々のプロンプトの複雑さ、タスクタイプ、ドメインをもとにモデルを選択します。こうした判断は1日に何千、何万回も発生します。それにもかかわらず、多くのチームでは開発時にモデルを一度選択し、その後も固定して利用しています。

GMI Cloudの内部ベンチマークでも、タスクカテゴリーによってモデルの順位が入れ替わることが確認されています。コーディングで高い性能を発揮するモデルが、エージェント型のプランニング、推論、長文コンテキストなどでも常に最上位になるとは限りません。Routerページのインタラクティブなリーダーボードでは、この違いを実際に確認できます。「Coding」「Reasoning」「Math」などのタブを切り替えると、モデルのランキングが変化します。

GMI Routerは、この判断をリクエストごとに自動で行います。

プロンプトを読み取り最適なモデルへルーティング

GMI Routerは、GMI CloudのAI推論基盤の前段で動作するルーティングレイヤーです。すべてのリクエストを1つのエンドポイントに送信すると、トークン生成が始まる前に軽量な予測処理によって最適なモデルが選択されます。その後、プロンプトはそのまま選択されたモデルで処理され、レスポンスとともに、選択されたモデルの情報がルーティングメタデータとして返されます。

モデルの選択は、人気度ではなく実測データに基づいています。モデルは10以上のベンチマークと追加の評価ソースを用いて評価され、タスクレベルのパフォーマンスプロファイルが作成されています。リクエストを受信すると、次の4つのステップでルーティングを行います。

1. 分析：プロンプトの複雑さ、タスクタイプ、ドメインを分析し、評価データセット内で最も近いプロンプトを特定します。個々のプロンプト単位で判定するため、同じカテゴリーであっても、簡単なリクエストと難しいリクエストが異なるモデルへルーティングされる場合があります。

2. スコアリング：各モデルは参照プロンプトですでに評価されているため、入力されたプロンプトに近いタスクに対する実測品質を参照します。

3. ランキング：実測された品質と各モデルのコストを比較し、選択されたモードに応じて重み付けを行ったうえで、許可されたモデルプール内のモデルを順位付けします。

4. ルーティング：最上位に選ばれたモデルでプロンプトを実行します。

この設計には、本番環境で特に重要な2つの特徴があります。

一方、GMI Routerは事前に計算されたベンチマークを参照するため、必要なのは軽量な予測処理1回のみです。Judgeモデルをリクエストループに含まないことで、現在の測定ではルーティングバックエンドのレイテンシーを約220msに抑えています。

さらに、GMI Routerは、GMI Cloud独自のKVキャッシュを考慮したAI推論インフラストラクチャ上で動作します。AIエージェントでは、システムプロンプト、ツール定義、会話履歴などをターンごとに繰り返し送信します。GMI Routerは、受信した各プレフィックスを、クラスタ間で同期されたグローバルKVインデックスと照合し、最も長く一致するキャッシュを保持しているクラスタへリクエストを送信します。一致したトークンはプリフィル処理を省略できるため、Time to First Token（TTFT）の短縮と、GPUあたりのスループット向上につながります。

その結果、高度なAI性能をより低いコストで利用できます。各プロンプトは、必要な品質基準を満たすモデルの中から、より低コストなモデルへ送信されます。つまり、高性能モデルが本当に必要な場面だけ、その性能に見合ったコストを支払うことができます。

GMI Routerでは、高性能モデルとコスト効率に優れたオープンソース／クローズドソースモデルから技術的に選定されたモデル群を利用できます。さらに、新しいモデルについても継続的に評価を行い、追加を検討しています。モデルプールには、Kimi K3、GPT-5.5、Gemini-3.1-Pro、Claude Opus 4.8、DeepSeek-V4-Pro、GLM-5.2、Qwen 3.7-Max、Hy-3などが含まれます。

GMI Routerの主な仕様

GMI Routerの最適化モードを選択

GMI Routerは常に品質とコストのバランスを考慮します。どちらを優先するかは、選択したモードによって決まります。

• Cost：実用的な品質を維持しながらコストを最小限に抑えます。分類や要約など、大量のリクエストを処理するワークロードに適しています。

• Balanced：コストを抑えながら高い品質を目指します。多くのチームが日常的に利用するモデルを中心に選択するため、一般的な本番トラフィックに適したデフォルトモードです。

• Quality：性能を最大限に重視します。タスクを高い品質で処理できるモデルの中から、より低価格なモデルを選択します。

Qualityモードには、重要な設計思想があります。複数のモデルがあるプロンプトに対して同等の最高品質を実現できる場合、その中で最も低コストなモデルを選択します。そのため、多くのモデルが問題なく処理できる簡単なプロンプトでは、Qualityモードであっても効率的なモデルが選択される場合があります。これは意図された動作です。求めているのは「最高品質の回答」であり、GMI Routerは、その品質を実現できる最も低価格なモデルを選択します。

さらに、ワークスペース単位で2つの設定を利用できます。Allowed Model Poolはワークスペースオーナーが利用可能なモデルを指定する機能です。Auto Modeでは、ワークスペース単位で自動ルーティングのオン／オフを設定できます。これらの設定はセッションをまたいで保持されます。一方、Cost、Balanced、Qualityのモードはリクエストごとに指定できるため、たとえば大量の通常トラフィックにはCostを使用し、重要な処理にはQualityを使用するといった運用が可能です。

キャッシュヒットもモデル選択に反映

GMI Routerでは、表示価格だけではなく、リクエストごとの実効コストをもとにモデルを評価します。プレフィックスがキャッシュに一致した場合、キャッシュ入力料金が適用されるため、同じモデルでもセッションのキャッシュ状態によって実際のコストが変わります。

実効コスト = ヒット率 × キャッシュ入力料金 + (1 − ヒット率) × 通常入力料金 + 出力料金

同じモデルを使い続ければKVキャッシュを維持できますが、モデルを切り替えるとコールド状態から開始することになります。そのため、GMI Routerは、モデルを変更することで得られる品質向上が、キャッシュミスによるコストを上回る場合に切り替えます。各モードでは、このシグナルを次のように利用します。Costはキャッシュを考慮したリクエスト単位の価格を基準に評価します。Balancedはキャッシュ調整後のコストに対する品質を最適化します。Qualityは、品質と価格が同等のモデル間で、キャッシュヒットを最終的な判断材料として使用します。

実測データによる比較

GMI Cloudが10のタスクカテゴリーで実施した内部評価では、次の結果が得られました。

• Qualityモードは、すべてのリクエストをGPT-5.5に送信した場合と比較して、品質スコアが2.4ポイント高く、またタスクあたりのコストを28%削減しました。

• Balancedモードは、Opus 4.8と同等レベルの出力品質を維持しながら、タスクあたりのコストを84%削減しました。

• 品質とコストの比較では、QualityモードがGPT-5.5を常時利用した場合の0.72倍のコストで84.9%のベンチマーク品質を達成しました。GPT-5.5は1.00倍のコストで82.5%でした。一方、Balancedモードは常時Opus 4.8を利用した場合と同じ81.3%の品質を、0.22倍のコストで達成しました。Opus 4.8のコストベースラインは1.38倍でした。

• 複数タスクを処理するチャットボットセッションでは、すべてのメッセージをフラッグシップモデルで処理した場合と比較して、動的ルーティングによりセッション全体のコストを90%以上削減しました。

数値は、GMI Cloud上で提供されるモデルを直接比較した内部ベンチマークに基づく参考値です。実際の結果は、ワークロード、プロンプト長、許可されたモデルプール、ルーティング設定などによって異なる場合があります。

GMI RouterのQualityモードは、モデルプール内の最も高性能な単一モデルを上回るスコアを記録し、Balancedモードはタスクあたり約5分の1のコストでフロンティアモデルに近い品質を実現しています。

公開ベンチマークによる比較

Qualityモードは、5つすべての公開ベンチマークにおいて、単一モデルのベースラインを上回りました。

注目したいのは、Cost列の結果です。Costモードは、大学院レベルの科学問題や数学においてフラッグシップモデルとの差を数ポイント以内に抑えながら、LiveCodeBenchとデータ分析ではOpus 4.8を上回っています。それでいて、ルーティング先にはフラッグシップモデルより大幅に低価格なモデルが利用されています。

こうしたコストメリットの背景はシンプルです。GMI Cloudでは、コンパクトモデルは100万トークンあたり0.10ドル未満から利用できる一方、フラッグシップモデルの出力料金は100万トークンあたり25ドルに達します。モデルを固定すると、この大きな価格差を活用できません。GMI Routerはリクエスト単位でこの差を活用し、通常のプロンプトはコスト効率の高いモデルへ、難易度の高いプロンプトは高性能なモデルへ自動的にルーティングします。

実際に使って分かったこと

正式リリースに先立ち、GMI Cloudチームは実際のトラフィックにおけるルーティングの動作を検証するため、GMI Routerを利用した2つのアプリケーションを構築しました。どちらの検証でも共通して確認できたのは、Costモードが求められる品質を維持しながら、非常に効果的にコストを抑えられるという点です。

1つ目は、1つのセッション内で要約、翻訳、コードのデバッグ、分類、情報抽出、推論などを処理するマルチタスク型チャットボットです。各メッセージについて、フラッグシップモデルのみを利用した場合とのコストをリアルタイムで比較したところ、90%以上のコスト削減が繰り返し確認されました。Costモードによって選択されたコンパクトモデルでも、求められる品質基準を満たしました。要約は自然で、分類は正確に行われ、情報抽出も構造化された形式で返されました。それらを、100万トークンあたり0.10ドル未満のモデルで実現しています。

チャットボットのデモでは、セッション内の各メッセージについて、単一のフラッグシップモデルを利用した場合とのコストと出力速度を比較できます。

2つ目は、クラス全員分のレポートを採点する教育向けAIエージェント「Autograder」です。構造化データの抽出から自由回答の評価まで、性質の異なる処理を含む8ステップのパイプラインを実行します。すべてのステップをOpus 4.8で実行する比較レーンと並べて評価した結果、採点品質を維持しながら、大幅に低いコストで処理できることを確認しました。数週間にわたってGMI Routerを利用した結果、GMI Cloudチームでは、まずCostモードから始め、自社の品質基準に照らして評価し、追加コストに見合うことをデータで確認できたワークロードにBalancedまたはQualityを利用することを推奨しています。

Autograderでは、複数のレポートを一括採点し、パイプラインの各ステップをそれぞれに適したモデルへルーティングします。

GMI Routerを使ってみる

GMI RouterはOpenAI互換クライアントに対応しているため、既存のコードでもベースURLとAPIキーを変更するだけで移行できます。リクエストをAuto Routeエンドポイントへ送信すると、GMI Routerがモデル選択を自動的に行います。

import openai
client = openai.OpenAI(
    api_key="YOUR_GMI_API_KEY",
    base_url="https://console.gmicloud.ai/api/v1/ie/recommendation"
)
response = client.chat.completions.create(
    model="auto",
 messages=[
        {"role": "user", "content": "Write a Python function that deduplicates a list of dicts by key."}
    ],
    extra_body={"mode": "balanced"}
)
print(response.choices[0].message.content)   

実際に回答を生成せず、ルーティングの判断結果だけを確認することもできます。Recommendationsエンドポイントに短いインテントを送信すると、検出されたタスクタイプや選択されたモデルを確認できます。

import requests
r = requests.post(
    "https://console.gmicloud.ai/api/v1/ie/recommendation/recommendations",
    headers={"Authorization": "Bearer YOUR_GMI_API_KEY"},
    json={"intent": "Debug a race condition in an async job queue", "mode": "quality"}
)
print(r.json())  # detected task type and selected model

コードを書く前に、GMI CloudコンソールのRoutingテストページからインタラクティブに試すこともできます。プロンプトを入力すると、選択されたモデルと、プロンプトごとの推定コスト削減額を確認できます。詳細については、GMI Routerのドキュメントをご覧ください：https://docs.gmicloud.ai/inference-engine/gmi-router/gmi-router-overview