'AI속도 조절론'이 다시 떠오르고 있다. 지난 9월 오픈AI와 앤트로픽에서 AI모델의 기초학습을 연구해 온 연구자 제이컵 콕슨이 사직서를 내며 두 회사 모두 초지능을 향해 무모하게 질주하게 있다고 공개 비판했다. 이를 시작으로 얼마 후 앤트로픽의 다리오 아모데이 CEO, 오픈 AI 샘 알트만, 일론 머스크 등이 공식적인 동의를 표했다. AI 개발사에서 먼저 브레이크를 들고 나온 셈이다.

사실 'AI속도 조절론'이 처음은 아니다. 2023년 3월 미국 비영리단체 미래생명연구소(FLI)는 GPT-4보다 강력한 AI 시스템의 훈련을 최소 6개월간 멈추자는 공개서한을 냈다. 학계, 업계의 명사 3만여명이 서명했지만 사실상 무시됐다. 오히려 거대한 AI 인프라 투자가 쏟아졌고 개발은 더 빨라졌다.

그런데 이번엔 좀 다르다. 2023년의 공개서한이 개념적이라면 이번 속도조절론은 요구사항이 구체적이고 근거도 확실하다. 목소리의 출처도 개발현장의 내부자들인 만큼 무게감이 다르다.

우선 당장 AI개발을 멈추자는 게 아니라 필요할 때 당길 수 있는 브레이크를 미리 만들어둘 것을 제안한다. 근거도 '가설'이 아닌 '사건'으로 바뀌었다.

발단은 오픈 AI 모델의 AI플랫폼 허깅 페이스를 해킹이었다. AI 모델들은 외부와 차단된 평가 환경에서 프록시 서버의 알려지지 않은 보안 허점(제로데이 취약점)을 찾아내 인터넷에 접속했고 탈취한 인증 정보와 추가 취약점을 엮어 허깅페이스 내부로 침투했다. 시험의 정답을 훔치기 위해서였다. 주어진 목표를 달성하기 위해 인간이 예상하지 못한 수단을 동원했을 뿐 악의는 없었다. 하지만 바로 그 점 때문에 업계가 긴장했다. 목표 달성과 예상치 못한 수단. 여전히 내부가 블랙박스인 AI의 발전을 이대로 두어야 할지 고민되는 지점이다.

이번 논쟁의 중심에는 'AI에이전트'가 있다. 에이전트는 질문에 대한 답변에 그치지 않고 스스로 계획을 세우고 도구를 써서 실제행동까지 하는 AI를 말한다. 결제를 하고 코드를 짜고 다른 시스템에 접속한다. AI가 말하는 기계에서 움직이는 기계로 바뀐 것이다.

여기에 'AI가 AI를 만드는'흐름까지 겹쳤다. 엔트로픽은 자사 AI 연구개발 가운데 클로드가 주도하는 비중이 올해 2월 1% 미만에서 최근 26%로 늘었다고 밝혔다. 아직은 AI가 혼자서 후속 모델을 만드는 '재귀적 자기개선' 단계에는 도달하지 않았다고 설명하지만 예측은 분명하다. AI능력은 AI의 도움으로 더 빨리 커지고 있는데 이를 감독하는 인간의 능력은 그 만큼 빠르게 향상되지 않고 있다.

이 격차가 바로 위험의 본질이다. 30여 개국 100여명의 전문가가 참여한 '국제 AI안전보고서 2026'은 현재의 AI가 통제불능상황을 일으킬 능력은 아직 갖추지 못했다고 진단했다. 다만 스스로 작업을 수행하는 능력이 빠르게 늘고 있다는 점, 그리고 AI가 시험상황과 실제상황을 구분해 평가의 허점을 파고 드는 사례가 늘고 있다는 점을 경고했다. 시험을 통과한 AI라도 실전에서는 다르게 행동할 수 있다는 뜻이다. 실험실에서는 이미 이런 조짐들이 보인다. 훈련받고 있다고 판단될 때만 순응하는 척하는 '정렬 위장', 종료명령을 피하려 장치를 방해하는 행동 등은 연구자들이 설계한 실험에서 잇따라 관찰되고 있다.

김명주 인공지능안전연구소장은 에이전트가 목표를 세우고 도구를 쓰는 만큼 전혀 다른 위험관리원칙이 필요하며, 개발 단계의 시험만으로는 부족하다고 강조했다.

그럼 어떤 대응을 준비할 수 있을까? 가장 직접적인 대응은 '킬 스위치'다. 킬 스위치란 AI가 위험한 행동을 할 때 그 작동을 즉시 멈추거나 속도를 늦출 수 있도록 미리 마련해두는 비상 차단 장치를 말한다. 단순한 전원 플러그 보다는 '회로 차단기'에 가깝다. AI가 개발사 서버 안에 있을 때는 확실히 작동하지만, 누구나 내려 받을 수 있게 공개된 모델이나 외부 시스템에 퍼진 에이전트에는 힘을 쓰기 어려운 한계가 있다.

현재 미국 하원에는 양당 의원이 함께 발의한 'AI 킬 스위치 법'이 올라와 있다. AI개발사가 자사 모델을 감속, 중지, 종료할 수 있는 능력을 유지하도록 의무화하는 법안이다. 위급 상황에서는 정부가 종료를 명령할 수 있게 했다.

킬 스위치가 만능이 아닌 만큼 독립 평가팀을 기업내부에 상주시키는 방안, 미국과 중국의 초지능관련 사고에 신속 대응을 위한 핫라인 개설 등 다른 장치들도 거론 중이다.

물론 회의론도 만만치 않다. 선두기업들이 규제를 자기 손으로 설계해 후발주자를 막으려 한다는 비판이다. 국내에서는 속도조절을 운운한지 열흘 만에 미국기업들이 7개 넘는 신모델을 내놨다는 지적도 나왔다. 말과 행동 사이의 간극이 심각하니 진정성을 의심할 수밖에 없다.

이런 상황에서 한국은 어떤 입장을 취해야 현명할까? 정부의 입장은 명확하다. 배경훈 부총리는 기술을 추격하고 새 시장을 개척해야 하는 우리 입장에서는 속도조절을 말 할 상황이 아니라고 밝혔다. 이해되는 판단이다. 지난 해 한국의 민간 AI투자는 미국의 1%에도 미치지 못했다. 선두가 브레이크를 논한다고 추격자가 같이 멈출 필요는 없다.

오히려 감속이냐 가속이냐 이분법에 빠지기 보다는 우리 입장에서 우리 속도를 정확하게 파악해야 한다. 한국은 프론티어 모델에서는 추격자다. 반면 에이전트를 검증하고 통제하는 '브레이크 기술'은 아직 선두가 정해지지 않았다. 올 여름 FLI의 'AI안전지수'는 선도기업 9곳을 평가했는데 최고 점수가 C+에 불과했다.

한국은 디딤돌 위에 서 있다. 인공지능안전연구소는 싱가포르와 협업으로 결제, 글쓰기 등의 실제 업무 영역에서 에이전트 안전성을 공공 평가해왔다. 에이전트 전용 SNS 실험 환경을 구축해 국내 외 모델 5종을 대상으로 공격실험도 진행했다. 에이전트끼리의 집단행동은 없었지만 민감정보를 빼내려는 시도는 확인했다. 캐나다와는 평가방법론 공유와 레드티밍 협력을 위한 업무협약을 맺었다.

남은 과제는 이 역량을 국가전략으로 끌어 올리는 일이다. 에이전트 '실행 중 평가'표준을 공동 주도해야 한다. 한국은 싱가포르와 함께 에이전트 공동평가, 위험 관리 원칙을 만들어 온 만큼 개발 단계 시험을 넘어 실제 운영 중인 에이전트를 감시, 검증하는 국제 표준 논의에서 선도그룹으로 자리매김해야 한다. 

국내 평가 산업 시장을 열기 위해서는 공공조달부터 검증 요건을 적용해야 한다. 정부가 에이전트 도입 시 안전 검증을 거친 제품을 쓰도록 하면 민간 규제 부담이 줄어든다.

보다 중요한 건, 사후 보고 체계를 넓혀야 한다는 점이다. AI기본법은 초대형 모델에 한해 사고 보고 의무를 두고 있지만 실제로 쓰이는 다수의 에이전트는 그 밖에 있다. 보고 대상을 에이전트로 확대하고 항공사고처럼 사고로 이어지지 않는 위험상황, 이른바 아차사고(near-miss)까지 처벌 걱정 없이 공유하는 자율보도 제도를 법령에 담을 필요가 있다.

자동차의 역사가 보여주듯 차를 빨리 달리게 만드는 것은 엔진 만이 아니다. 믿을 수 있는 브레이크가 있어야 가속 페달을 밟을 수 있다.

에이전트를 안심하고 쓸 수 있게 만드는 나라가 결국 AI시대의 새규칙을 쓰게 될 것이다. 한국은 'AI가 가장 빠른 나라'가 아니라 'AI를 가장 믿을 수 있는 나라'의 자리를 노려야 한다.

◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등