在剛落幕的 Tech Week Signapore 中，GMI Cloud 很榮幸與合作夥伴策略 VAST Data 便攜手登上「AI 與數據在實踐劇場」主舞台，帶來主題演講：「從資料到可擴展 AI — 最大化基礎設施有效能的新途徑」
這場由 GMI Cloud 全球業務發展副總裁 Andy Chen 與 VAST Data 數據平台銷售副總裁 Ryan McGinty 共同呈現的演講，完整詮釋了 AI 時代從資料到算力的「新鏈結」，並展示雙方如何在 NVIDIA 支援下，讓 AI 推理不只是更快，而是更聰明、更可擴展。
GMI Cloud：讓多集群 GPU 平台發揮最大效益，推動 AI 推理新紀元
GMI 雲端作為亞太區少數獲得 NVIDIA Reference Platform Cloud Partner 資格的雲端供應商，一直致力於提供 AI 原生、全棧式 GPU 平台服務。Andy 在現場指出：「Inference 是 AI 走入真實世界的關鍵一哩路。」
推理效能不只是速度，更代表成本與效率的平衡。GMI Cloud 的多集群 GPU 架構，正是為了幫助企業在這個關鍵階段突破限制：
- 商業價值：推理才是服務落地的核心。
- 成本控制：每一分鐘的效能都能與回報緊密相關。
- 彈性擴展：透過全球自動擴展（全球自動擴展展），AI 應用可以即時根據負載動態調整資源。
- 智慧流量分配：智能路由根據使用者位置與流量負載分配最適合集群，確保低延遲。
Andy 在簡報中展示了多區域的架構圖 —— 北美、歐洲、亞太的雲集群間能自動調度 GPU 資源，確保推理服務「隨時都在線」。
此外，在最新的 NVIDIA 硬體測試中，GMI 雲端團隊在單台伺服器節點上進行了 8 小時 100 /200 /雙 200 個顯示卡 的吞吐量測試。結果顯示：
👉 B200 的效能是 H200 的 25 倍以上！這意味著最新世代 GPU 不只支撐更複雜的模型，也讓「第一個 Token 的輸出時間（TTFT）」更短、更即時。
Vast Data：從 AI OS 到 KV Cashe，讓資料流動得到更快、更聰明
VAST Data VP Ryan McGinty 則以「AI Operating System」為題，揭示了他們如何從底層重新設計資料架構。
VAST Data 的核心技術 DASE（Disaggregated, Shared-Everything） 架構，能支撐 數十萬顆 CPU/GPU、EB 級資料量 的運算，並維持高達 99.999% 的穩定性。
Ryan 特別介紹了 KV Cache（Key-Value Cache) 在 AI 推理中的革命性貢獻。
這項技術不只是 GMI Cloud 平台效能飛躍的關鍵，更改變了整個推理流程的底層邏輯：
- 延長 GPU 記憶體階層：將 GPU 記憶體擴展至 CPU/NVMe 層級，突破記憶體瓶頸。
- 縮短 TTFT 高達 10 倍：讓第一個 Token 幾乎即時輸出，降低推理延遲與成本。
- 智慧前綴快取：透過 longest-prefix matching 提升快取命中率，減少重複計算。
- 跨集群快取傳輸：透過 Shared Persistent Storage，讓不同地區的集群共享上下文，提高一致性與資源利用率。
當 VAST 的 KV Cache 與 GMI Cloud 的多集群架構結合後，等於打造了一個「會自我優化」的推理平台。無論使用者身處台北、東京或矽谷，都能享受到同樣快速、穩定的 AI 體驗。
從資料到可擴展 AI：共創下一代基礎設施藍圖
GMI Cloud 與 VAST Data 的合作，不只是單純的技術整合，更是一個 從資料 → 模型 → 應用 的完整生態願景。
透過 VAST 的資料層革新與 GMI Cloud 的 GPU 平台優化，雙方共同打造出一條能讓企業「從資料到 AI 實踐」的高速通道。
Andy 在結語中提到：
「我們相信，AI 工廠（AI Factory）不該只是算力集中地，更應該是智慧流動的節點。未來的 AI Infrastructure，將由資料與推理共同驅動。」
隨著 GMI Cloud 不斷推進 AI Factory 計畫，我們期待與更多夥伴一起在亞太地區打造下一代 AI 能源網——讓算力與資料流動如電力般自然，點亮每個創新的瞬間。
.svg){kind=small}
.svg){kind=logo}
