對於任何希望擴展其 AI 策略的企業來說，最佳化 AI 推論至關重要。GMI 雲端上的 NVIDIA NIM (NVIDIA 推論微服務) 旨在實現這一目的 —— 通過為部署和管理 AI 模型提供無縫、可擴展的解決方案。NIM 利用最佳化的推論引擎、網域特定 CUDA 庫和預先建置的容器來降低延遲並提高輸送量。這可確保您的 AI 模型運行更快，更有效率，提供卓越的效能。加入我們展示演示，並深入了解 NVIDIA NIM 在 GMI 雲端上的好處。
使用 GMI 雲端上的 NVIDIA NIM 最佳化人工智慧推論
NVIDIA NIM 是一組優化的雲端原生微服務，旨在簡化生成人工智慧模型的部署。GMI Cloud 的全堆疊平台提供了利用 NIM 的理想環境，因為其強大的基礎架構、存取頂級 GPU 和整合軟體堆疊。
演示視頻
分步指南
登入 GMI 雲端平台
- 創建一個帳戶 或使用先前建立的帳戶登入。
瀏覽至「容器」頁面
- 使用頁面左側的導覽列。
- 按一下「容器」標籤。
啟動新容器
- 點擊位於右上角的「啟動容器」按鈕。
- 從下拉式功能表中選取 NVIDIA NIM 容器範本。
設定您的容器
- 從 NVIDIA NGC 目錄中選擇 Lama 38B NIM 容器範本。
- 選擇硬體資源，例如 NVIDIA H100、記憶體和儲存容量。
- 輸入儲存空間、驗證和容器名稱的必要詳細資訊。
部署容器
- 按一下設定頁面底部的「啟動容器」。
- 返回「容器」頁面以查看新啟動容器的狀態。
- 通過 Jupyter 筆記本圖標連接到容器。
執行推論和最佳化
- 在 Jupyter 筆記本工作區中，新增推論工作的函數。
- 利用預先建置的 NIM 微服務，在您的模型上執行最佳化推論。
- 測試和驗證效能
在 GMI 雲端上使用 NVIDIA NIM 最佳化人工智慧推論的好處
隨時隨地部署
- NIM 的可攜性允許在各種基礎架構中部署，包括本機工作站、雲端環境和內部部署資料中心，從而確保靈活性和控制性。
產業標準 API
- 開發人員可透過符合業界標準的 API 存取模型，從而促進企業應用程式中的順暢整合和快速更新。
網域特定型號
- NIM 包括專為語言、語音、視頻處理、醫療保健等量身定制的網域特定 CUDA 庫和程式碼，確保針對特定使用案例的高準確性和相關性。
最佳化推論引擎
- 利用針對每個型號和硬體設定的最佳化引擎，NIM 提供卓越的延遲和輸送量，降低營運成本並提升使用者體驗。
企業級 AI 支援
- NIM 是 NVIDIA AI 企業的一部分，提供堅實的基礎，具有嚴格的驗證、企業支援和定期安全更新，確保可靠且可擴展的 AI 應用程式。
為什麼選擇 GMI 雲進行 AI 推論優化
無障礙
- GMI Cloud 透過其策略性合作夥伴關係和亞洲資料中心，提供廣泛存取最新的 NVIDIA GPU，包括 H100 和 H200 型號。
易於使用
- 該平台通過專為協調、虛擬化和容器化設計的豐富軟體堆疊，可簡化 AI 部署，並與 TensorRT 等 NVIDIA 工具相容。
性能
- GMI Cloud 的基礎架構已針對高效能運算進行最佳化，對於培訓、推論和微調 AI 模型而言必不可少，確保高效率且具成本效益的營運。
結論
使用 GMI 雲端上的 NVIDIA NIM 最佳化 AI 推論，為企業提供簡化、高效且可擴充的解決方案，用於部署 AI 模型。利用 GMI Cloud 強大的基礎架構和 NVIDIA 的先進微服務，企業可以加速人工智慧部署並實現卓越的效能。
參考文獻
.svg){kind=small}
.svg){kind=logo}
