[서울=뉴스핌] 이나영 기자= 래블업이 한국어 질의와 에이전트 작업에서 대규모 언어 모델(LLM)의 답변 속도를 높이는 드래프트 모델 'GLM-5.2-NVFP4-DFlash-ko'를 허깅페이스에 오픈소스로 공개했다고 12일 밝혔다.

이번 모델은 Z.ai의 오픈 LLM인 GLM-5.2를 NVIDIA의 4비트 부동소수점 형식(NVFP4)으로 구동할 때 함께 사용된다. 개발자와 기업은 허깅페이스의 래블업 저장소(lablup/GLM-5.2-NVFP4-DFlash-ko)에서 모델을 내려받을 수 있다.

회사에 따르면 드래프트 모델은 투기적 디코딩에 사용되는 작은 모델로, 다음에 올 토큰 여러 개를 미리 추측한 후 큰 모델이 검증해 통과한 토큰만 받아들이는 방식이다. 최종 판정은 큰 모델이 하므로 답변 품질을 유지하면서 속도를 높일 수 있다. DFlash는 드래프트 모델이 토큰을 여러 개 한 번에 만드는 방식이다.

래블업이 확인한 결과, 영어 데이터로 학습한 기존 드래프트 모델은 한국어 질의와 에이전트 작업에서 추측 적중률이 떨어져 가속 효과가 감소했다. 래블업은 한국어 데이터로 드래프트 모델을 학습해 한국어에서도 가속 효과가 유지되도록 했다. 실제 한국어 에이전트 트래픽으로 측정한 평균 수락 길이(MAL)는 에이전트 작업과 한국어 질의에서 각각 2.71과 2.77로 영어 DFlash 모델의 가속 성능과 거의 같았다.

래블업 신정규 대표는 "드래프트 모델이 영어로 학습돼 있으면 한국어 사용자는 투기적 디코딩의 가속 효과를 온전히 얻기 어려웠다"며 "AI 서비스를 만드는 개발자와 기업이 한국어 환경에서도 가속 효과를 얻을 수 있도록 한글날에 맞춰 한국어 드래프트 모델을 공개한다"고 말했다.

한편 래블업은 Z.ai의 GLM-5.3-Flash용 한국어 드래프트 모델도 개발 중이며, 약 110억 파라미터 규모의 한국어 디퓨전 언어 모델을 학습하고 있다. 학습은 B200 64장 규모의 GPU 클러스터에서 진행 중이며, GPU 자원 일부는 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 '첨단 GPU 활용 지원 사업'으로 지원받았다. 래블업은 10월 13일부터 19일까지 기관투자자 대상 수요예측을 진행할 예정이다.

nylee54@newspim.com