[서울=뉴스핌] 송주원 기자 = 숭실대학교는 AI안전성연구센터 최대선 교수 연구팀이 중앙대학교 권준석 교수 연구팀과 공동으로 음성 도용을 통한 립싱크 딥페이크 영상 제작을 방해하는 기술인 'MUTE(뮤트)'를 개발했다고 20일 밝혔다.

연구팀에 따르면 MUTE는 목소리를 보호하는 처리만으로 인공지능(AI)이 생성한 가짜 영상의 입술 움직임과 음성 사이의 일치를 방해하는 기술이다. 연구팀은 이러한 방식으로 립싱크 딥페이크 생성을 방해하는 기술을 개발한 것은 세계 최초라고 설명했다.

이번 연구 성과는 세계적인 AI 국제학술대회인 'NeurIPS 2026'에 채택됐다. 해당 학술대회는 오는 12월 호주 시드니 등에서 개최될 예정이다.

최근 생성형 AI 기술이 빠르게 발전하면서 사진 한 장과 짧은 음성만으로도 실제 인물이 말하는 것처럼 보이는 영상을 제작할 수 있게 됐다. 온라인에 공개된 인터뷰나 강연 영상에서 얼굴과 목소리를 무단으로 추출해 허위 광고나 가짜 뉴스에 악용할 가능성도 커지고 있다.

특히 얼굴과 목소리는 개인을 식별할 수 있는 개인정보에 해당하지만 온라인에 공개된 이후에는 무단 활용을 통제하기 어렵다는 문제가 있다. 기존 딥페이크 탐지 기술이 영상 제작 이후 조작 여부를 식별하는 데 집중했다면 이번 연구는 개인정보가 악용되기 전에 이를 보호하는 데 초점을 맞췄다.

MUTE는 음성이나 영상 파일을 온라인에 공개하기 전에 원본 음성에 사람이 거의 인식하지 못하는 미세한 보호 신호를 삽입하는 방식으로 작동한다. 목소리의 자연스러움은 유지하면서 AI가 해당 음성을 활용해 영상 속 인물의 입술 움직임을 생성하는 과정을 방해하는 원리다.

보호 처리가 적용된 음성으로 립싱크 영상을 제작하면 입술의 움직임과 실제 소리가 일치하지 않는 현상이 나타난다. 이를 통해 시청자가 영상의 부자연스러움을 인식하고 조작 가능성을 의심할 수 있도록 한다.

연구팀이 AI 영상 생성 모델 5종을 대상으로 실험한 결과 MUTE를 적용했을 때 립싱크 정확도는 평균 47.5% 감소했다. 음성의 잡음을 제거하는 정제 과정을 거친 이후에도 보호 효과가 유지되는 것으로 확인됐다.

최대선 교수는 "AI 기술이 발전하면서 딥페이크 악용도 사진이나 목소리의 위조를 넘어, 음성을 바탕으로 실제 인물이 말하는 듯한 정교한 가짜 영상을 만드는 수준으로 진화하고 있다"며 "이에 대응하려면 얼굴과 목소리 같은 개인정보를 공개 전에 보호하는 기술이 필요하다"고 말했다.

이어 "이번 성과는 개인정보 보호 기술이 갈수록 정교해지는 딥페이크 위협에 맞설 수 있음을 보여준다는 점에서 의미가 크다"고 강조했다.

이번 연구는 개인정보보호위원회와 한국인터넷진흥원(KISA)이 지원하는 '딥페이크 억제 기술 개발' 연구개발 과제의 일환으로 진행됐다. 숭실대 연구팀은 2028년까지 음성뿐 아니라 이미지와 영상 보호 기술을 개발해 개인정보를 활용한 딥페이크 제작을 사전에 방지하는 기술을 고도화할 계획이다.

김동현 박사과정은 "이번 연구로 음성 보호만으로도 립싱크 딥페이크를 막을 수 있음을 확인했다"며 "여기에 이미지 보호를 더하면 가짜 영상의 립싱크를 더욱 강하게 훼손해 악용을 어렵게 만들 수 있다"고 밝혔다.

jane94@newspim.com