[세종=뉴스핌] 이경태 기자 = 한국과학기술원(KAIST)은 뇌인지과학과 이상완 석좌교수 연구팀이 마이크로소프트연구소 아시아(Microsoft Research Asia)와 공동으로 사람의 뇌파를 분석해 AI가 스스로 행동을 수정하도록 하는 기술을 개발했다고 10일 밝혔다. 연구팀은 이 기술을 '신경 가치 정렬(Neural Value Alignment, NVA)'이라고 이름 붙였다.

연구 결과는 사이버네틱스 분야 국제 학술지 'IEEE 트랜잭션스온사이버네틱스(IEEE Transactions on Cybernetics)'에 2026년 8월 온라인 게재됐다. 논문 제목은 'Neural Value Alignment: Human–AI Collaboration Under Goal-Action Ambiguity'다.

기존 AI는 사람의 말이나 몸짓 등 겉으로 드러난 행동을 근거로 의도를 추정해왔다. 그러나 같은 행동이라도 목적이 다를 수 있어 AI가 사람의 의도를 잘못 파악하는 경우가 생겼고, 이 경우 사용자가 다시 명령하거나 행동을 고쳐줘야 했다.

연구팀은 사람이 예상과 다른 상황을 마주할 때 뇌에서 무의식적으로 발생하는 예측 오차 신호에 주목했다. 이 신호를 AI가 목표 자체를 잘못 이해했을 때 나타나는 '보상 예측 오차(RPE)'와, 목표는 맞지만 행동 방식이 예상과 다를 때 나타나는 '상태 예측 오차(SPE)'로 구분했다. AI 작업을 지켜보는 사람의 뇌파(EEG)를 측정한 결과 두 오류에서 서로 다른 신호가 나타났으며, 두 오류가 동시에 발생할 때 나타나는 별도의 뇌파 패턴도 확인됐다.

연구팀은 여기에 딥러닝을 적용해 뇌파만으로 사람이 AI 행동을 어떻게 받아들이는지 구분하는 기술을 만들고, 이를 토대로 AI가 실시간으로 행동을 수정하는 알고리즘을 제시했다. SPE가 감지되면 AI는 목표는 맞지만 방법이 잘못됐다고 판단해 행동 방식을 바꾸고, RPE가 감지되면 목표 자체를 다시 파악한다. 시뮬레이션에서는 사람의 목표가 갑자기 바뀌거나 신호 일부가 빠진 상황에서도 기존 방식보다 빠르게 의도 변화에 적응하는 것으로 나타났다.

연구팀은 이번 기술이 피지컬 AI 로봇, 자율주행차, 의료·재활 로봇, 맞춤형 교육 등 사람의 판단과 AI의 행동을 연결해야 하는 분야에 적용될 수 있다고 설명했다. 이번 연구에는 KAIST 뇌인지과학과 박사과정 서흔 학생이 제1저자로, 마이크로소프트연구소 아시아의 얀센 왕, 동치 한, 동쉔 리 박사가 공동 연구진으로 참여했다.

한편 이상완 교수 연구팀과 마이크로소프트연구소 아시아는 AI가 새로운 정보에 빠르게 적응하도록 하는 별도의 공동연구도 진행해, KAIST 박사과정 니클라스 쾨페 학생이 제1저자로 참여한 논문을 지난 6월 국제학회 ICML 2026에서 발표했다. 논문 제목은 'Mitigating Plasticity Loss through Architectural Design in Continual Learning'이다.

이번 연구는 과학기술정보통신부 정보통신기획평가원의 디지털분야글로벌연구지원사업 지원을 받아 수행됐다.

biggerthanseoul@newspim.com