H100
Hopper · ベースライン
- メモリ
- 80 GB HBM3
- 推論性能
- 1.0×（ベースライン）
主力モデル。汎用 LLM とマルチモーダル推論向け。ほとんどの本番ワークロードはここから始まります。
より速くリリース。より広くスケール。たった一つの Prime Inference エンドポイントで。
Prime Inference は、専有のシングルテナント GPU、オープンソースモデルにもお客様独自のモデルにも合わせて最適化したランタイム、そしてプロトタイプから本番 SLA まで伴走する GMI のエンジニアリングチームを提供します。
H200 · B300 · Blackwell
NVIDIA 認定ハードウェア
99.9% 稼働率*
本番 SLA
サーバーレスの価格は上限です。専有ならその上限を超えられます。
Prime Inference の予約 GPU 上で最新のオープンモデルをベンチマークしました — B200、B300、GB200 NVL72 でモデルごとにチューニングしたランタイムを使用しています。持続的な負荷では、専有エンドポイントはサーバーレス (MaaS) の定価の半分未満で同じトークン数を処理し、シングルテナントの分離、コールドスタートなし、予測可能なレイテンシを実現します。
~35%
専有がサーバーレスと損益分岐する持続的な稼働率 — これを超えると、すべてのトークンがより安価になります
最大 5.6 倍
フル稼働時のサーバーレス定価と比較した 1 ドルあたりのトークン数 (DeepSeek V4 Pro)
出力 100 万トークンあたりのコスト — Prime Inference vs. サーバーレス
GPU フル稼働時の実効コスト、入力 8K / 出力 1K、FP4
DeepSeek V4 Pro (1.6T)
サーバーレス定価
$1.13
専有 · B200
$0.40
Dynamo + vLLM
-56%専有 · GB200 NVL72
$0.20
Dynamo + SGLang, multi-node
-82%GLM-5.1 (744B)
サーバーレス定価
$0.98
専有 · B200
$0.43
SGLang, FP4
-56%専有 · GB200 NVL72
$0.20
Dynamo + SGLang, multi-node
-80%Kimi K2.7 Code
サーバーレス定価*
$1.01
専有 · H200 node**
$0.46
-54%
- *
- Blended, 8K in / 1K out
- **
- 720K TPM · 43 tok/s per user
サーバーレス (MaaS) 定価
Prime Inference — シングルノード
Prime Inference — GB200 NVL72 スケールアウト
メソドロジー: リクエストあたり入力 8K / 出力 1K トークン、FP4 精度 (H200 では FP8)、フル稼働の予約 GPU、アイドル時間は除外。専有コスト = Prime Inference の予約キャパシティで持続的にフル稼働した場合の 100 万トークンあたりの実効ドル。サーバーレス基準 = 同一モデルの GMI Cloud MaaS 定価。Kimi K2.7 Code については、公開されているサーバーレス定価 (入力 $0.70/M、出力 $3.50/M) を 8K/1K のワークロードでブレンドしています。Kimi K2.7 Code の数値は、8× H200 ノード 1 台での実稼働デプロイメントから測定しています。損益分岐点はトラフィックの形状によって異なります — ご相談いただければ、実際のトークン量に基づいて試算します。
GPU をリース。スループットはあなたのものに。
予約済み容量は実際の本番トラフィックに報い、モデルごとのランタイム最適化が時間とともにその優位性を積み重ねます。
最適化されたランタイム
汎用スタックではなく、モデルごとのカーネル、スケジューリング、ルーティング最適化。モデルを選べば、エンジン部分は私たちが担当します。
デフォルトでウォーム状態
予約済み GPU は重みをプリロードしてウォーム状態を維持。すべてのコールが即座にヒット — コールドスタートの遅延も、ファーストトークンのジッターもありません。
シングルテナント分離
あなたのワークロード専用に予約された GPU。騒がしい隣人も、負荷時の競合も、共用ティアの想定外も発生しません。
独自のモデルを持ち込み可能
オープンソース、ファインチューニング済み、独自のいずれの重みにも対応。Hugging Face、S3、または独自のストレージから読み込み — それを適切に提供するために構築されたランタイム上で。
使用するモデルに最適化
私たちの推論エンジニアが最も多くデプロイされているオープンソースモデルのランタイムを継続的にチューニング — モデルを選んだ瞬間、カーネル作業はすでに完了しています。
本番グレードのエンジン
vLLM、TensorRT-LLM、SGLang を GPU クラスごとに事前最適化。量子化は設定可能。マルチ GPU オーケストレーションにも対応。
ユーザーの近くにデプロイ。
ファーストトークン遅延のためにエンドポイントをリージョンピン、またはデータレジデンシーのためにリージョンロック。
アジア太平洋
東京 · シンガポール · 台湾 — 最も急成長する AI 市場に対応。
北米
米国 西部、東部、中部、南部 — 高スループットの本番トラフィック向け。
ヨーロッパ
EU パートナーデータセンター — レジデンシーとコンプライアンス要件のあるワークロード向け。
トラフィックに合わせてスケール。
保証されたパフォーマンスが必要なときは予約容量、需要が急増したらバースト容量、減少したらドレイン。実際に使った分だけお支払いください。
バースト可能な容量
スパイクは自動的に吸収されます。キューイングなし、手動スケーリングなし、デモやリリース時のリクエスト失敗もありません。
休む分は払わない
閑散時間帯はコストが下がります。実行中のコールを中断することなく、容量がスムーズに縮小されます。
ひとつのグローバルプール
ホームリージョンが容量上限に達した場合、トラフィックは最も近いリージョンから容量を借りて、低遅延とサービス継続性を維持します。
アイデアからライブエンドポイントまで、4 ステップで。
モデルを選び、ハードウェアを選び、デプロイ。プラットフォームがモデルの読み込み、リソースのオーケストレーション、ルーティングを処理 — 選択から稼働中の API まで数分で到達します。
1
モデルを選ぶ
任意のオープンソースモデル、Hugging Face のあらゆるモデル、または独自の重みをアップロード。
2
構成を選ぶ
GPU タイプ、レプリカあたりの GPU 数、レプリカ数、ターゲットリージョンを指定。
3
デプロイ
コンソール、CLI、または API から起動。エンドポイントは数日ではなく数分でライブに。
4
運用とスケール
レイテンシとスループットを監視。トラフィック急増時はバースト、減少時はドレイン。
使いたいモデルにアクセス。
DeepSeek、Kimi、GLM、Llama、NVIDIA など、主要なオープンソースモデルをワンクリックでデプロイ。フロンティア LLM からビジョン、音声、マルチモーダルまで — モデルを選べば、本番エンドポイントが手に入ります。
DeepSeek V4
deepseek-ai
Kimi K3
moonshot-ai
GLM 5.2
z-ai
Llama 4
meta-llama
Nemotron Omni
nvidia
共有推論では足りないワークロード。
予測可能性、スループット、エンジニアリングパートナーシップが、動くプロトタイプを信頼できるプロダクトへと変える本番トラフィックパターン。
コーディングエージェントと開発者ツール
エージェント & コパイロットタスクあたり多数の短いコール。最初のコールのレイテンシがユーザー体験を左右します。ツール利用は速いだけでなく信頼性も必要です。
エージェントフリートごとに安定したエンドポイント · ウォーム容量 · デモやリリース時のコールドスタートなし。
TTS、文字起こし、会話
リアルタイム音声音声はばらつきを許容しません。ウォーム容量上での持続的な WebSocket セッション。短いラウンドトリップのためにリージョンピン。
1 秒未満のファーストバイト TTS · ストリーミングエンドポイント · 共用ティアによるジッターなし。
大規模 RAG とチャット
高スループットハードウェア性能の上限まで活用して、毎日数百万のクエリを維持。長文コンテキストのワークロードでも一貫したテール遅延を確保。
最適化された KV キャッシュ · P95/P99 を制御 · 共用プールでの競合なし。
プライベートかつコンプライアンス対応のデプロイメント
規制対応分離されたランタイム、監査ログ、ゼロリテンション配信。金融、ヘルスケア、公共部門のためのリージョンロック。
EU レジデンシー対応 · シングルテナント分離 · エンタープライズ SLA。
用途に合った GPU を選ぶ。
Hopper、Hopper リフレッシュ、Blackwell、そして Blackwell Ultra — メモリフットプリント、コンテキスト長、フロンティア性能ニーズに応じて選択。
H200
Hopper リフレッシュ
- メモリ
- 141 GB HBM3e
- 推論性能
- メモリと帯域幅で約 1.4×
メモリを多用するワークロード向け — 長文コンテキスト、大きな KV キャッシュ、大きなバッチサイズ。
B200
Blackwell · フロンティア
- メモリ
- 192 GB HBM3e
- 推論性能
- FP4 で最大 ~2.5×
フロンティアモデル、FP4 推論、最大スループット。性能が重要なワークロード向け。
B300
Blackwell Ultra · フロンティア+
- メモリ
- 288 GB HBM3e
- 推論性能
- FP4 で最大 ~4×（B200 の約 1.5×）
GPU あたり最大のメモリ。兆パラメータ級モデル、超長文コンテキスト、最高スループットの FP4 推論向け — B200 では足りないときに。
主要な AI チームに選ばれています
PRIME INFERENCE · 専有
持続的な本番規模のトラフィックに
予約済みのシングルテナント GPU — ノイジーネイバーもコールドスタートもありません
モデルごとに最適化したランタイム: GPU あたり最大 500K TPM（毎分トークン数）
稼働率が上がるほどトークン単価は下がり、1 ドルあたり最大 5.6 倍のトークン数に
99.9%* の稼働率 SLA による予測可能なレイテンシ
カスタムモデルやファインチューニング済みモデルのデプロイ
マルチリージョン**: APAC、北米、欧州
サーバーレス (MAAS)
急激に変動するワークロードや初期段階に
トークン従量課金、コミットメント不要
即時に開始 — プロトタイピングや評価に最適
共有キャパシティ: スループットとレイテンシはプラットフォームの負荷により変動
どれだけスケールしても定価は変わりません
持続稼働率が ~35〜45% を超えると、専有より割高になります
- * 稼働率 SLA は GPU シリーズとデプロイ構成によって決まります。実際にコミットされる SLA は契約により異なりますが、ほとんどの本番デプロイメントは 99.9% の範囲に収まります。
- ** 現在提供中のリージョンです。特定のリージョンが必要なワークロードについては、キャパシティの空き状況に応じて個別に対応いたします。
FAQ
よくあるご質問
あなたの準備ができたら、すぐに。
コンソールから Prime Inference エンドポイントを立ち上げ — または予約容量、カスタムチューニング、トライアルクレジットについて営業までお問い合わせください。