추론시장 경쟁사 추격 저지, 어떻게?
엔비디아의 학습·추론 칩 양발 전략?
"HBM 시장 영향은 제한적", 이유는
[서울=뉴스핌] 이홍규 기자 = 엔비디아(NVDA)가 인공지능(AI) 칩 신생기업 그록(Groq)과 라이선스 계약을 체결한 것은 AI 시장의 무게 중심이 '추론'으로 이동하는 흐름에서 주도권을 놓치지 않으려는 포석으로 풀이된다.
◆"추격 허용 않겠다"
엔비디아는 AI 모델 '학습 시장'을 압도하지만 학습을 마친 모델이 사용자 질문에 답하는 '추론 시장'에서는 구글·아마존·브로드컴의 ASIC(주문형반도체)가 빠르게 추격 중이다. 특정 연산에 최적화된 ASIC은 '비용 효율성' 측면에서 엔비디아의 GPU(화상처리장치)를 앞서는 것으로 알려져 있다.
하지만 구글 TPU(텐서처리장치)든 아마존 트레이니엄이든 모두 HBM(고대역폭메모리) 의존한다는 점에서 엔비디아 GPU와 같은 구조적 제약을 공유한다. 그록의 기술은 'HBM'을 쓰지 않고 이른바 '온칩 SRAM(설명 후술)'으로 작동하는 칩이다. 엔비디아가 그록 기술을 확보한 것은 ASIC 경쟁자들도 피할 수 없는 HBM의 데이터 병목을 우회해 추론 시장에서 새로운 선택지를 쥐어보려는 전략으로도 읽어볼 수 있다.
◆LPU 뭐가 다른가
그록의 핵심 기술은 LPU(Language Processing Unit·언어처리장치)다. 그록 측 주장에 따르면 AI 추론에 특화한 이 칩은 대형언어모델(LLM)을 GPU보다 10배 빠르게, 전력은 10분의 1만 써서 구동할 수 있다고 한다.
*그록(Groq)은 일론 머스크의 생성형 AI 모델 Grok(그록)과 이름이 비슷하지만 별개 회사다. 구글에서 TPU 개발을 주도한 조너선 로스가 창립한 회사다. 2016년 상표를 등록한 그록(Groq)은 머스크가 2023년 Grok을 발표하자 상표권 침해를 이유로 이름 변경을 요청한 바 있다.
비결은 메모리 구조다. GPU는 연산회로가 새겨진 다이와 메모리(HBM)가 새겨진 다이를 물리적으로 분리해 기판 위에서 배선으로 연결한다. 연산이 필요할 때마다 데이터가 메모리 다이에서 연산 다이로 왕복해야 하므로 지연시간과 전력 소모가 발생한다. 반면 LPU는 연산회로와 SRAM(정적 RAM) 메모리를 처음부터 같은 실리콘 다이 위에 함께 새긴다. 연산회로와 하나의 다이 위에 나란히 새긴다고 해서 '온칩 SRAM'이라고 한다.
SRAM은 익히 알려진 DRAM(동적 RAM)보다 데이터를 읽고 쓰는 속도가 수배~10배가량 빠르다. 전원만 공급되면 데이터를 스스로 유지하는 '정적' 구조를 갖춰서다. 하지만 DRAM은 데이터 유지를 위해 주기적으로 전기 재충전(리프레시)을 해야 한다. 이 과정에서 지연이 생긴다. SRAM은 이 과정이 필요 없어 즉각 응답이 가능하다.
◆"속도·비용 10배 우위"
그록 측 주장에 따르면 온칩 SRAM의 대역폭은 초당 80테라바이트로, GPU가 쓰는 외부 HBM의 10배에 달한다고 한다. 또 에너지 효율 차이는 더 극적이라고 한다. HBM에서 데이터를 가져올 때 드는 에너지는 온칩 SRAM을 쓸 때의 20배다. 데이터 이동을 칩 내부에서 처리하는 LPU 구조 덕분에 전체 전력 소모는 GPU의 10분의 1 수준으로 준다는 게 그록 측 주장이다.
SRAM은 원래 밀리초 단위 지연조차 허용되지 않는 틈새 분야에서 주로 쓰였다. 오작동 없는 안전성과 극한의 실시간성이 요구되는 군사·항공우주·통신 장비가 전통적 수요처였다. 위성 통신에서는 메모리 데이터 전송·접근 병목이 데이터 손실로 직결되고 미사일 유도장치에서는 밀리초 지연이 명중률을 좌우한다. 그록은 이 고속 메모리 기술을 AI 추론이라는 새로운 대규모 시장에 적용한 셈이다.
◆"이원화 전략"
엔비디아의 그록 기술 라이선스는 AI 연산용 반도체 설계의 '이원화' 전략으로 풀이된다. 대규모 모델 학습에는 기존 블랙웰·루빈 아키텍처의 GPU를 쓰고, 모델의 실시간 추론에는 그록의 LPU 기술을 탑재한 모듈을 배치하는 방식을 생각해 볼 수 있다. '학습용 칩'과 '추론용 칩'을 용도별로 나눠 출시할 수도 있다는 의미다.
물론 물리적 결합 방식의 세부 사항은 공개되지 않았다. 핵심은 엔비디아가 HBM 기반 범용 연산과 대안으로 부상할 수 있는 SRAM 기반 저지연 추론이라는 두 갈래 메모리 패러다임을 모두 손에 쥐어보려 한다는 것이다. 개발자로서는 엔비디아의 CUDA 플랫폼에서 모델을 학습시킨 뒤 같은 생태계 안에서 LPU 기반 추론까지 일괄로 처리할 수 있는 길이 열린다. 이는 고객을 엔비디아 생태계(경제권)에 더 깊이 묶어두는 효과를 낳는다.
◆"HBM 영향? 제한적"
다만 전문가들은 HBM 업체들에 대한 영향은 제한적일 것으로 본다. SRAM은 속도가 빠른 대신 치명적 약점이 있다. 같은 용량을 만들 때 가격이 DRAM보다 수백배 비싸고, 면적당 집적할 수 있는 트랜지스터 수가 훨씬 적다. 그록 LPU 한 개에 탑재된 SRAM이 약 230MB에 불과한 반면 최신 GPU에 장착되는 HBM은 80~192GB인 이유다. 수조개의 파라미터를 가진 초대형 모델을 학습시키려면 여전히 대용량 HBM이 필수다.
LPU의 가치가 AI 산업의 '추론 서비스 확대'가 속도를 낼수록 커지겠지만 그럼에도 HBM 수요를 대체하는 것이 아니라 보완하는 역할에 가까울 것이라는 게 전문가들의 진단이다. 어쨌든 엔비디아가 이번 거래로 학습용 GPU(HBM 결합)와 추론용 LPU(온칩 SRAM)를 모두 갖춘 '양발' 전략을 구사하겠다는 점은 분명해졌다.
bernard0202@newspim.com
