一個端點，
200+ 個模型

程式碼不用改，只換 model ID。在 H200 GPU 上執行對話、視覺與推理任務

curl https://api.gmi-serving.com/v1/chat/completions \
  -H "Authorization: Bearer $GMI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Pro",
    "stream": true,
    "messages": [{"role": "user", "content": "Hello"}]
  }'

可用模型: 200+
資料中心覆蓋範圍: Global
可用性目標: 99.9%

四種上手方式

從你需要的部分開始。每一項都連到對應的參考文件

Inference API

在單一個相容 OpenAI 的端點上執行對話、視覺與推理

API 參考文件

SDK

Python 與 TypeScript 用戶端。可直接替換 OpenAI SDK

SDK 文件

AgentBox

在受管運算資源上部署並執行 agent

開啟 AgentBox

Docs

快速上手指南、參考文件與程式碼範例

閱讀文件

第一個請求

建立金鑰、挑一個模型、讀取串流回應

01
建立金鑰
在 console 中產生 API 金鑰
02
挑一個模型
複製 model id，或用 GET /v1/models 列出所有模型
03
送出請求
呼叫端點並讀取串流回應
04
擴展規模
改用專用端點以取得穩定的延遲表現

python · openai client

# pip install openai
from openai import OpenAI
client = OpenAI(base_url="https://api.gmi-serving.com/v1",
                api_key=GMI_API_KEY)  # from console.gmicloud.ai

stream = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Pro",  # any id from /v1/models
    stream=True,
    messages=[{"role":"user",
               "content":"Summarize this paragraph."}])

for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="")

端點

同一組 base URL 與金鑰，各路由的請求格式完全一致

Base URLhttps://api.gmi-serving.com

POST/v1/chat/completions對話、視覺、工具呼叫，支援串流或一次性回應

POST/v1/responsesOpenAI Responses API

POST/v1/messagesAnthropic Messages API

GET/v1/models列出你的金鑰可用的模型

以 GMI Cloud 打造

這些應用運行在同一組 API 與運算資源上。開啟其中一個看看實際運作

查看所有示範

DeepSeek V4 Pro, GPT 5.5

Model Arena

Compare top LLMs like DeepSeek V4 Pro and GPT 5.5 side by side on real coding, math, and system design prompts, benchmarked live on GMI Cloud's inference API for speed, cost, and output quality.

開啟示範