[서울=뉴스핌] 양태훈 기자 = 네이버클라우드는 자사의 인공지능 솔루션인 하이퍼클로바X(HyperCLOVA X)가 한국의 AI 성능 평가 체계인 'KMMLU(Measuring Massive Multitask Language Understanding in Korean)'에서 오픈AI와 구글의 생성형 AI를 상회하는 점수를 달성, 소버린 AI로서의 우수한 성능 경쟁력을 입증했다고 27일 발표했다.
KMMLU는 국내 오픈소스 언어모델 연구팀 '해례(HAE-RAE)'가 주도한 프로젝트로, 인문학, 사회학, 과학기술 등 45개 분야의 전문가 수준 지식을 평가하는 35,030개의 문항으로 구성되어 있다. 이 평가는 AI의 수학적 추론 능력과 같은 보편적 지식과 한국 특화 지식을 평가해 한국 사용자에게 유용한 AI의 성능을 종합적으로 판단한다.
KMMLU는 북미의 기술 기업들이 주로 사용하는 MMLU 지표를 한국어로 적용하여, 한국어 이해 능력을 보다 정확히 평가할 수 있는 기준을 제공한다. 연구에 따르면, 하이퍼클로바X는 오픈AI의 GPT-3.5-Turbo와 구글의 Gemini-Pro를 넘어서는 성능을 보였으며, 특히 한국 특화 지식에서는 오픈AI의 GPT-4보다 높은 점수를 기록했다.
 |
| '하이퍼클로바X' 로고. [사진=네이버] |
네이버클라우드는 이러한 성과를 바탕으로, 하이퍼클로바X를 우수한 성능과 보안을 갖춘 소버린 AI 솔루션으로 발전시켜 나갈 계획이다. 이미 고객사가 데이터 유출 없이 사용할 수 있는 하이브리드 클라우드 서비스 '뉴로클라우드 포 하이퍼클로바X'를 출시했으며, 앞으로 다양한 기업용 솔루션을 선보일 예정이다.
성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 "하이퍼클로바X는 보편적 지식과 한국 특화 문제 해결 능력을 결합한 소버린 AI로 국내외에서 인정받고 있다"며, "국내에서 입증된 소버린 AI의 경쟁력을 바탕으로 글로벌 시장 진출에 속도를 낼 것"이라고 강조했다.
한편, 네이버클라우드는 KMMLU 설계에 참여하며 AI 모델들의 한국어 이해 능력을 객관적으로 평가하는 데 기여했다. 2021년에는 30여 곳의 기업과 대학의 전문가들과 협력하여 한국어 자연어 이해 벤치마크 'KLUE(Korean Language Understanding Evaluation)'를 구축했으며, 국내 언어모델의 신뢰성 향상을 위한 한국어 데이터셋을 공개하기도 했다.
dconnect@newspim.com
