미국 대형 클라우드 사업자가 생성형 AI 서비스의 추론(inference) 비용을 낮추기 위한 신규 GPU·가속기 인스턴스 패밀리를 공개했다. 회사 측은 동일 작업 기준 기존 대비 최대 40% 수준의 비용 효율을 목표로 한다고 밝혔다. 이번 인스턴스는 우선 일부 리전에서 프리뷰 형태로 제공된다.
주요 대상 워크로드와 제공 방식
신규 인스턴스는 LLM 챗봇, 검색 증강 생성(RAG), 실시간 요약 등 추론 집약적인 워크로드에 초점을 맞춘다. 제공 형태는 예약 인스턴스와 온디맨드가 병행되며, 고객 데이터 암호화와 리전 고정 옵션을 강조해 보안 요구가 높은 기업 고객을 겨냥한다.
일정 및 업계 반응
프리뷰 신청은 즉시 가능하며, 일반 공급 시점은 분기 내 공지될 예정이다. 업계에서는 추론 단가 하락이 서비스 가격 경쟁으로 이어질 수 있다고 전망한다. 다만 실제 체감 성능은 모델 크기, 배치 크기, 네트워크 구성에 따라 달라질 수 있어 벤치마크 검증이 필요하다는 지적도 나온다.
“추론 비용 절감은 생성형 AI 서비스의 대중화를 앞당길 수 있는 핵심 요소다. 그러나 실제 효율은 워크로드 특성에 따라 크게 달라질 수 있다.”
전망
클라우드 사업자 간 추론 인프라 경쟁이 심화되면서, 기업들은 비용 효율과 성능을 함께 고려한 인스턴스 선택이 중요해질 전망이다. 신규 인스턴스의 실제 성능과 가격 정책은 일반 공급 시점에 더 명확해질 것으로 보인다.