一套推理引擎平台多種執行模式
透過單一平台支援 LLM、影像、影音與多模態 AI 推理。
統一執行層
以單一執行層支援 LLM、影像、影音與多模態推理，簡化開發與部署流程。
可擴展編排能力
內建批次處理、排程與跨 GPU 叢集擴展能力，支援高效能推理。
API 控制能力
提供自助式 API，具備可預測延遲、用量控制與部署彈性
可投入實際應用的 AI 模型
瀏覽針對延遲、吞吐量與穩定性優化的模型，輕鬆支援規模化 AI 部署。
靈活的 AI 推理部署方式
GMI Inference Engine 可依不同應用需求，靈活分配最合適的部署方式，從無伺服器 API 到專屬 GPU 端點皆可統一管理。
模型微調
根據你的應用場景打造專屬 AI 模型。使用自有資料進行微調，並在同一平台完成部署與管理，在維持一致體驗的同時提升模型表現與準確度。
無伺服器 (Serverless) 與專屬端點 (Dedicated Endpoints)
從無伺服器 API 快速啟用，再依用量付費並自動擴展；隨需求升級至專屬 GPU 端點，實現資源隔離與穩定效能，滿足規模化部署需求。
常見問題與技術支援
快速解決您的疑問：從技術細節到帳務方案，全面支援。
快速啟用模型，隨需求自由擴展
立即啟用模型，或隨需求升級至專屬 GPU 端點，靈活支援從快速測試到規模化部署的各種 AI 工作負載。