Llama 3 模型應用指南：70B 與8B 模型最佳化部署

GMI Cloud 提供了一個強大的平台，可簡化培訓、微調和推論，使用者只需點擊幾下即可部署 AI 策略。除了提供即時存取 NVIDIA 的頂級 GPU 之外，我們的服務堆疊還包括與一些頂級開源 LLM（如 Llama 3）的相容性。這篇博客文章將引導您完成在 GMI Cloud 上使用 Llama 3 推論過程，並突出該平台的獨特優勢和 Llama 3 的主要功能。

在 GMI 雲端上使用 Lama 3 進行推論

只需點擊幾下即可開始使用 Llama 3 的分步指南：

1.登入 GMI 雲端平台

• 建立帳戶或使用先前建立的帳戶登入

二.啟動容器

• 使用頁面左側的導覽列導覽至「容器」頁面
• 點擊右上角的「啟動容器」按鈕

三.選擇您的模型範本和參數

• 在第一個下拉菜單中，選擇 Llama 3 作為範本。GMI 雲端提供同時使用 LLLAMA 3 70b 和 8b 型號
• 在「選取硬體資源」區段下，選取要部署的硬體類型，例如 NVIDIA H100。這將自動填入某些參數
• 輸入儲存空間、驗證和容器名稱的詳細資訊

4.連接到 Jupyter 筆記本：

• 返回「容器」頁面，您將能夠看到您剛剛用提供的容器名稱創建的容器
• 點擊 Jupyter 筆記本圖示以連接到您的容器

5.開始測試和推論

• 在 Jupyter 筆記本工作區中，您可以開始使用 Llama 3 進行測試和推論

拉瑪 3 的主要特點：

Llama 3 代表了 Meta 的下一代開源大語言模型，旨在突破 AI 功能的界限。以下是一些使 Llama 3 成為開發人員和研究人員的傑出選擇的一些關鍵功能和規格：

型號變體：

• 型號尺寸：Llama 3 包括具有 8 億（8B）和 70 億（70B）參數的型號，針對廣泛的使用案例量身定制。
• 效能：這些模型在業界基準上展現了最先進的性能，並提供更好的推理能力。

設計與建築：

• 代幣器：使用詞彙量為 128K 代幣的代幣器，從而實現更高效的語言編碼。
• 推論效率：具有分組查詢注意力 (GQA) 以提高推論效率，尤其是在 8B 和 70B 模型中。
• 序列長度：在最多 8,192 個令牌的序列上進行訓練，確保對較長的上下文進行可靠的處理。

訓練資料：

• 規模：預先訓練了超過 15 萬億代幣，比 Llama 2 使用的數據集大七倍。
• 多樣性：包括大部分高質量的非英語數據，涵蓋 30 多種語言。
• 品質：利用進階資料篩選管道來確保最高品質的訓練資料，包括啟發性篩選器、NSFW 篩選器、語義重複資料刪除以及文字分類器。

預先訓練和微調：

• 前訓練：涉及具有詳細的擴充法規進行大規模，以最佳化資料混合和訓練運算，實現超過 95% 的有效訓練時間。
• 微調：結合受監督的微調、拒絕採樣、近距策略最佳化 (PPO) 和直接偏好優化 (DPO)，以提高推理和編碼任務的效能。

信任與安全：

• 安全工具：推出了 Llama Guard 2、程式碼盾和 CyberSec Eval 2 等新工具，以確保負責任的使用和部署。
• 紅色團隊：通過內部和外部紅色團隊努力進行廣泛的安全測試，以減輕濫用相關的風險。

為什麼選擇 GMI 雲

無障礙：

GMI 雲端可確保廣泛存取最新的 NVIDIA GPU，包括 H100 和 H200 型號。利用我們位於亞洲的資料中心，以及與 NVIDIA 作為認證合作夥伴的深厚關係，我們提供無與倫比的 GPU 存取，以滿足您的 AI 和機器學習需求。

易於使用：

我們的平台透過專為協調、虛擬化和容器化設計的豐富軟體堆疊，簡化 AI 部署。GMI 雲端解決方案與如 TensorRT 之類的 NVIDIA 工具相容，並附有預先建置的映像，讓您輕鬆開始使用並有效率地管理 AI 工作流程。

性能：

GMI Cloud 提供訓練、推論和微調 AI 模型的必要高性能運算。我們的基礎設施經過優化，以確保具有成本效益和高效的營運，使您可以最大限度地發揮 Llama 3 這樣的機型的潛力。

治理：

我們提供強大的多租戶安全和控制機制，以確保最高水平的數據安全性和合規性。我們的平台旨在保護您的數據並維持嚴格的治理標準，讓您在擴展 AI 解決方案時可以放心。

GMI Cloud 為您的所有 AI 需求提供全面而強大的環境，使其成為部署 Llama 3 等進階型號的理想選擇。借助我們的整合解決方案，您可以簡化 AI 流程，提高效能，並確保營運的安全性和合規性。

‍