삼성SDS가 자사 클라우드 서비스인 삼성 클라우드 플랫폼(SCP)을 통해 엔비디아의 최신 GPU ‘B300(Blackwell Ultra)’ 기반 GPUaaS(GPU 구독형 서비스)를 국내 최초로 출시했다고 밝혔다.

이번 SCP B300 GPUaaS 출시는 기업들이 AI 모델 개발 단계를 넘어 실제 서비스 적용을 위한 ‘AI 추론’ 단계로 본격 진입하면서 늘어나는 고성능 컴퓨팅 수요에 대응하기 위한 조치다.

B300 GPU는 12단 HBM3E(고대역폭 메모리)를 탑재해 GPU당 288GB 메모리 용량과 초당 8TB의 대역폭을 제공한다. 삼성SDS에 따르면 이는 H100 대비 메모리 용량은 3.6배, 대역폭은 2.4배 향상된 수준이다.

이로써 대규모 언어 모델(LLM) 구동 시 연산 속도에 비해 상대적으로 느린 메모리 데이터 전송으로 발생하던 병목 현상이 개선돼, AI 추론 성능 향상에 도움이 될 것으로 기대된다.

삼성SDS는 앞서 2021년 A100, 2023년 H100 기반 GPUaaS를 선제적으로 도입하며 클라우드 기반 AI 인프라 운영과 GPUaaS 생태계 확대를 추진해 왔다.

SCP B300 GPUaaS를 도입한 고객은 대용량 메모리를 활용해 거대 AI 모델을 보다 효율적으로 처리할 수 있다. 이에 따라 AI 에이전트, 이미지·영상·코드 생성 및 분석 등 고성능이 요구되는 AI 서비스에서 지연 시간을 줄일 수 있을 것으로 보인다.

또한, 구독형 모델을 통해 필요한 만큼만 사용하고 비용을 지불할 수 있어 초기 투자 부담을 낮추고 비용 효율성을 높일 수 있다. GPU 수급이 어려운 상황에서도 SCP를 통해 엔비디아 최신 아키텍처를 신속히 도입할 수 있으며, 삼성SDS의 보안 역량을 바탕으로 민감한 기업 데이터도 보다 안전한 클라우드 환경에서 처리할 수 있다고 회사 측은 설명했다.

삼성SDS는 올해 3분기 중 별도의 인프라 사용료 없이 사용한 토큰량에 따라 비용을 지불하는 ‘서버리스 추론 서비스’와, 개발자가 코드와 데이터를 입력하면 AI를 자동으로 분산 학습시키는 ‘AI 학습 서비스’도 출시할 계획이다.

이호준 삼성SDS 클라우드서비스사업부장(부사장)은 “SCP가 보유한 자원 최적화와 에너지 절감 등 GPU 효율화 역량을 바탕으로 대기업, 중견·중소기업, 공공 부문 고객에게 국내 최초 B300 GPU 서비스를 제공해 AX 전환을 적극 지원하겠다”고 말했다.

한편 삼성SDS는 민관협력형(PPP) 클라우드 서비스 사업자로서 대구센터에 H100 기반 GPUaaS를 도입했으며, 범정부 초거대 AI 공통 기반 구현과 지능형 업무관리 플랫폼 구축 등 다양한 정부 AI 사업도 수행하고 있다. 

또한, 과학기술정보통신부 주관 고성능 컴퓨팅 지원사업의 클라우드 서비스 제공사(CSP)로서 AI 관련 중소기업, 스타트업, 연구기관, 대학 등 60여 곳에 GPU를 공급하고 있다.

[경제엔미디어=김재호 기자]