GMI Cloud의 온디맨드 AI 컨테이너 소개: 즉각적인 AI 지원 인프라

AI 워크로드는 빠르게 이동하며 인프라도 빠르게 이동해야 합니다.

개발자, 스타트업, 기업 모두에게 엄격한 프로비저닝 주기를 기다리거나 유휴 리소스에 과도한 비용을 지불하는 것은 불편함 그 이상입니다.이로 인해 혁신이 느려지고, 예산이 소모되며, 기술적 부채가 발생합니다.팀에는 장기 계약이나 엄격한 공급업체 종속에 얽매이지 않는 빠르고 유연하며 비용 효율적인 옵션이 필요합니다.

이것이 바로 온디맨드 AI 컨테이너가 필요한 이유입니다.

‍

기존 인프라의 문제점

대부분의 클라우드 및 베어메탈 인프라는 AI용으로 설계되지 않았습니다.

• 시작 속도가 느림: VM 또는 물리적 시스템을 가동하는 데 몇 분에서 몇 시간이 걸릴 수 있습니다.빠른 작업을 실행하거나 새 버전의 모델을 배포하기만 하면 되므로 시간이 낭비됩니다.
  
• 비용이 많이 들고 낭비: 머신이 유휴 상태일 때도 비용을 지불하며, AI 워크로드는 거의 안정적이지 않습니다.
  
• 공급업체 종속: 장기 계약, 독점 API 또는 단계별 인프라 약정을 강요받지 않고 온디맨드 컴퓨팅만 원하는 팀이 많습니다.

따라서 완전히 사용하지 않는 인프라를 관리하거나 초과 비용을 지불하지 않고도 GPU에 즉시 액세스해야 하는 개발자, 연구원 및 제품 팀에 격차가 생깁니다.

‍

GMI 클라우드 온디맨드 AI 컨테이너 발표

이제 강력한 성능을 제공하는 GMI Cloud의 클러스터 엔진 온디맨드 AI 컨테이너—몇 초 만에 출시되고 탄력적으로 확장되며 유휴 폐기물을 제거하는 GPU에 최적화된 컨테이너
온디맨드 AI 컨테이너를 사용하면 팀은 성능이나 경제성을 희생하지 않고도 AI가 실제로 작동하는 방식, 즉 폭발적이고 실험적이며 예측할 수 없는 방식으로 워크로드를 실행할 수 있습니다.

‍

주요 특징 및 이점

온디맨드 AI 컨테이너의 각 기능은 고객의 요구 사항을 중심으로 설계되었습니다.

속도 — 거의 즉각적인 시작
팀은 더 이상 작업을 실행하기 위해 몇 분 또는 몇 시간을 기다릴 필요가 없습니다.컨테이너는 즉시 가동되므로 빠른 반복, 더 빠른 테스트, 시장 출시 기간 단축이 가능합니다.

탄력성 — 온디맨드 규모 조정
워크로드는 예측할 수 없을 정도로 증가하고 축소됩니다.온디맨드 스케일링을 사용하면 빠른 테스트를 위한 컨테이너 하나이든 대규모 추론 배치의 경우 수천 개의 컨테이너이든, 필요한 만큼만 비용을 지불할 수 있습니다.더 이상 오버프로비저닝이나 활용률 저하는 이제 그만.

글로벌 가용성 — 어디에나 배포
Akamai의 글로벌 입지를 통해 사용자에게 더 가까이 컴퓨팅을 제공하고, 지연 시간을 줄이고, 지역별 데이터 요구 사항을 준수할 수 있습니다.이는 고객에게 실시간으로 서비스를 제공해야 하는 분산 AI 애플리케이션에 특히 중요합니다.

효율성 — 활성 사용량에 대해서만 지불
AI 컨테이너는 사용하지 않을 때 완전히 종료되며 향후 재사용을 위해 중요한 데이터가 공유 스토리지에 저장됩니다.즉, 유휴 GPU 비용이 발생하지 않으므로 전체 인프라 지출을 줄이고 실제 제품 개발을 위한 예산을 확보할 수 있습니다.

AI 최적화 — 추론과 학습 모두에 맞게 조정
스케줄링 및 오케스트레이션은 GPU를 중심으로 설계되었습니다.추론 파이프라인을 배포하든, 교육 작업을 시작하든, 플랫폼을 사용하면 비용당 최대 성능을 얻을 수 있습니다.

개발자 친화적 — API 및 사용자 지정 이미지
개발자가 이미 사용하고 있는 도구를 사용하여 워크플로우에 원활하게 통합할 수 있습니다.자체 이미지를 가져오거나 당사 이미지를 사용하여 몇 초 만에 배포할 수 있습니다.락인이나 전용 래퍼도 없습니다.

‍

작동 원리

무대 뒤에서, GMI 클라우드의 클러스터 엔진 복잡성을 관리합니다.

• GPU, 네트워킹 및 스케줄링을 조정합니다.
  
• 온디맨드 컨테이너는 이러한 복잡성을 추상화하여 인프라가 아닌 모델에 집중할 수 있도록 합니다.
  
• 내장된 텔레메트리는 서드파티 애드온 없이도 옵저버빌리티 및 성능 인사이트를 제공합니다.
  

이 조합을 통해 불필요한 오버헤드 없이 필요한 제어 기능을 얻을 수 있습니다.

‍

대상 및 사용 사례

온디맨드 AI 컨테이너는 유연성을 중시하는 팀을 위해 구축되었습니다.

• 추론 파이프라인 — 제너레이티브 AI 플랫폼, SaaS 스타트업, 생산 트래픽이 급증하는 기업 등 수요가 가변적인 기업에 적합합니다.컨테이너는 급증하는 사용자 활동에 맞춰 즉시 확장됩니다.
  
• 프로토타이핑 및 테스트 — 몇 초 만에 환경을 가동해야 하는 개발자, 연구원 또는 데이터 과학자에게 적합합니다.기다릴 필요도 없고 약정할 필요도 없습니다. 빠른 실험만 하면 됩니다.
  
• 프로덕션 애플리케이션 — 전 세계적으로 규모를 확장하는 기업의 경우 컨테이너는 사용자 증가에 따라 조정되므로 인프라를 고객 수요에 맞게 조정하는 데 필요한 탄력성을 제공합니다.

(교육 워크로드는 예약된 환경이나 전용 환경에서 더 비용 효율적인 경우가 많지만, 온디맨드 컨테이너는 여전히 팀이 소규모 또는 단기간 교육 작업을 지연 없이 시작할 수 있는 유연성을 제공합니다.)

‍

가용성 및 액세스

더 오픈 베타가 오늘 출시되었습니다.

• 지원되는 GPU: 엔비디아 H100/H200
  
• 장기 계약은 없습니다.종속이 없습니다.필요할 때 바로 사용할 수 있는 즉각적인 AI 지원 인프라.

‍