'AI 위험 평가 매트릭스'로 악용 가능성도 차단
문화적 다양성 반영한 소버린 AI로 안전성 체계 고도화
[서울=뉴스핌] 양태훈 기자 = 네이버가 17일 인공지능(AI) 시스템의 잠재적 위험을 인식하고 관리하기 위한 자체 대응 체계인 '네이버 ASF(AI Safety Framework)'를 공개했다. AI 안전성 체계를 설계하고 실천하는 것은 네이버가 국내에서 처음 시도하는 사례다.
네이버는 지난 2021년과 2022년 'AI 윤리 준칙'과 'AI 윤리 자문 프로세스'를 내놓은 바 있다. 이번에 선보인 '네이버 ASF'는 AI 시스템을 개발하고 배포하는 모든 단계의 잠재적 위험성을 관리하는 대응 체계로 AI가 초래할 수 있는 위험을 '통제력 상실'과 '악용'으로 정의하고, 각각의 위험에 맞춰 평가와 관리 방법을 설계한 것이 특징이다.
먼저, 인간이 AI에 미치는 영향력이 약화되는 '통제력 상실' 위험을 완화하기 위해 'AI 위험 평가 스케일'을 통해 AI 시스템의 위험을 주기적으로 평가하고 관리한다. 또, 최고 성능의 AI를 '프런티어 AI'로 규정하고 3개월마다 위험도를 점검하며, 성능이 6배 이상 급증하면 추가 평가도 실시한다.
AI 시스템의 잠재적 위험이라 할 수 있는 '악용' 위험에는 'AI 위험 평가 매트릭스'를 적용해 대응한다. 이는 AI의 용도와 안전 조치 필요 정도에 따라 차등 관리하는 방식으로, 예컨대 생화학 물질 개발과 같이 특수한 목적으로 사용되는 AI는 자격을 갖춘 사용자에게만 제공하고, 안전성이 필수적인 AI는 위험이 해소될 때까지 서비스를 보류한다.
네이버는 ASF를 바탕으로 문화적 다양성을 반영한 글로벌 AI 안전성 체계를 만들어갈 방침이다. 해외에서 소버린 AI를 개발하며 각 지역 문화권의 특성을 고려한 AI 위험 평가 기준을 세울 계획이다. 이미 네이버는 지난해 세계 최고 권위의 자연어처리 학회 중 하나인 'ACL 2023'에서 한국어 기반의 AI 안전성 강화 학습 데이터셋을 다국어로 확장하는 연구를 발표해 주목받은 바 있다.
아울러 네이버는 국내외 유수 연구기관 및 기업들과 적극적으로 협력하며 AI 신뢰성, 안전성 관련 선행 기술 연구를 수행하고 있다. 대표적으로 지난 2021년 설립한 서울대·네이버 초대규모 AI 연구센터(SNU-NAVER Hyperscale AI Center)에서는 '신뢰성 있는 초거대 AI'를 핵심적인 연구 주제로 설정하고 협력 연구를 진행 중이다. 이 외에도 카이스트, 독일 튀빙겐대학교, 캐나다 토론토대학교와도 공동 연구센터를 통해 AI 안전성 기술을 연구하고 있다.
AI 안전성 기술 연구에 대한 네이버의 적극적인 투자는 학술적 성과로도 이어지고 있다. 지난 2022년 컴퓨터공학 공정성 분야 최고 권위 학회 중 하나인 ACM FAccT(ACM Conference on Fairness, Accountability, and Transparency)에서 초거대 AI 윤리를 주제로 워크숍을 개최해 오픈AI, 딥마인드, 구글 등 글로벌 테크 기업을 포함한 전 세계 AI 윤리 관련 연구자 100여 명과 교류했으며, 지난해에는 인간·컴퓨터 상호작용 분야 세계 최고 권위 학회(CHI 2023)에서 AI 안부전화 서비스 '클로바 케어콜' 관련 연구로 '베스트 페이퍼(Best Paper)'에 선정되기도 했다.
올해 들어서는 기존의 언어모델 편향성 측정 벤치마크(Bias Benchmark for Question Answering, BBQ)가 문화적 맥락의 차이 때문에 미국 외의 사회를 기준으로 정확한 평가가 이뤄지기 어렵다는 한계에 착안해 한국어 중심의 편향성 측정 벤치마크 데이터셋 'KoBBQ'를 제안해 글로벌 자연어처리 학회 TACL 2024에 채택됐다. 이 외에도 초대규모 언어모델이 제공하는 답변의 신뢰도를 예측할 수 있는 모델을 제안한 연구 및 AI가 생성하는 콘텐츠가 한국 사회의 보편적 인식과 얼마나 부합하는지를 측정하는 평가 지표를 제안한 연구 등이 최고 권위 AI 학회에 채택되는 등 우수한 연구 성과를 거두고 있다.
최수연 네이버 대표이사는 "네이버는 한국에서 하이퍼클로바X라는 소버린 AI를 개발한 경험을 통해, 문화적·지정학적 상황과 지역적 이해가 AI의 성능뿐만 아니라 안전성에도 영향을 미친다는 점을 실증했다"며, "향후 글로벌 시장에서도 소버린 AI를 개발하면서 네이버 ASF를 지속적으로 개선해나갈 계획이고, 이를 통해 다양한 지역의 문화와 가치를 반영하는 다수의 AI 모델이 안전하게 사용되며 공존하는 지속 가능한 AI 생태계에 네이버가 적극적으로 기여할 것"이라고 강조했다.
dconnect@newspim.com
