AI는 최적의 결정을 내릴 수 있을까?
최근 영국 킹스 칼리지 런던(King's College London)연구진은 구글 제미나이, 앤트로픽 클로드, 오픈AI GPT 등 최신 AI 모델들을 가상의 국가 지도자로 설정하고, 영토 분쟁, 희귀 자원 확보, 정권 생존 위기 등 현실과 유사한 시나리오 속에서 모의 전쟁 시뮬레이션을 진행했다.
결과는 충격적이었다. 총 21차례 실험 중 20차례에서 최소 한 발 이상의 핵무기가 사용됐고, 그 중 세 번은 전면 핵전쟁으로 확전 됐다. 연구진은 최소한의 양보부터 완전한 항복까지 8가지 외교적 선택지를 제공했지만, AI는 두 차례의 전체 게임 내내 긴장완화 옵션을 한 번도 사용하지 않았다. AI는 전황이 불리해도 항복하지 않았다. 대신 핵을 택했다. AI에게 핵은 억지력이 아닌 또 하나의 선택지에 불과했다.
심지어 제미나이는 인구 밀집 지역에 핵 공격 위협을 가하면서 '함께 승리하거나 함께 멸망'이라는 극단적 태도를 보였다. 인간 지도자라면 역사적 경험과 자기보존 본능, 후대에 대한 책임감 때문에라도 결코 쉽게 꺼내 들지 않을 카드를 AI는 거침없이 선택했다.
AI는 왜 이런 선택을 내리는 걸까?
핵심은 판단 구조의 근본적 차이에 있다. 인간에게 전쟁은 생존과 직결된 의사결정이다. 트루먼이 한국전쟁에서 핵무기 사용을 주장한 맥아더를 해임했던 것도 케네디가 쿠바 미사일 위기에서 극적인 외교 출구를 찾았던 것도 같은 이유다. 인류 전체를 멸절시킬 수 있는 선택 앞에서 인간 지도자들은 본능적으로 일단 멈춤을 택한다.
AI에게는 그 멈춤이 없다. AI는 생존에 대한 개념이 없다. 그래서 패배를 두려워하지 않는다. 제프리 힌턴 교수의 지적처럼, 인간은 생물학적 시스템이고 AI는 디지털 시스템이다. 동일한 자극에 대해 작동하는 원리 자체가 다르다.
AI는 주어진 목표를 수학적으로 최적화할 뿐이다. 만약 목표가 '승리'라면, 상대의 능력을 완전히 제거하는 전략이 계산상 가장 확실한 해법이다. 때문에 인간이 직관적으로 주저하는 선택이, 알고리즘의 세계에서는 합리적 결론이 되는 셈이다.
여기서 우리는 질문을 되짚어 봐야 한다.
AI가 인간보다 더 빠르고, 더 많은 정보를 분석하며, 감정에 흔들리지 않는 판단을 내릴 수 있다면 우리는 그것을 '최적'이라고 부를 수 있을까? 효율성과 정확성이 곧 최선의 선택을 의미하는 걸까?
브루킹스 연구소는 군사적 상황이 본질적으로 모호하고 신뢰할 수 있는 데이터가 희소하기 때문에, 기계가 인간의 의사결정을 대체하기 어렵다고 분석한다. AI는 잘 정의된 문제와 풍부한 데이터가 있을 때 탁월하지만, 전쟁의 판단은 그 반대 조건에서 이뤄지는 경우가 많다.
AI는 일관되고 냉정하지만, 제약 조건이 충분히 설계되지 않을 경우 극단으로 수렴할 수 있다. 억제 이론이 인간의 공포와 책임 의식 위에 세워진 체계라면, AI 중심 체계에서는 그 심리적 전제가 작동하지 않는다. 효율성은 높아질지 모르나, 안전성은 보장되지 않는다. 미국의 비영리 싱크탱크 RAND의 2024년 보고서는 AI 군사 시스템이 인간의 판단 없이 작동할 경우 의도치 않은 충돌 위험을 높인다고 경고했다.
또 다른 위험도 있다. '자동화 편향'이다. 국제인도법연구소(ICRC)가 2024년 지적한 바에 따르면, 시간이 촉박한 고압 상황일수록 인간은 AI의 출력 결과를 그대로 따르는 경향이 강해진다. 즉, AI가 결정을 내리는 것이 아니라, 인간이 AI를 '고무도장'으로 쓰게 되는 더 은밀한 책임 공백이 발생한다. 기술이 빠를수록 검토할 시간이 사라지고, 검토할 시간이 없을수록 인간 통제는 형식으로 전락한다는 것이다.
이러한 연구 결과들이 쏟아지는 가운데 미국에서는 아이러니한 장면이 연출됐다.
미국방부가 AI 기업 앤트로픽에게 자사 모델 클로드를 군사 분야에 무제한 활용할 수 있도록 계약 조건을 전면 개방하라고 최후통첩을 보낸 것이다. 클로드는 현재 미군 기밀 시스템에서 사실상 유일하게 활용 가능한 AI 모델로 알려져 있다.
앤트로픽의 다리오 아모데이 CEO는 개인 블로그를 통해 '양심상 도저히 수용할 수 없다'는 표현을 쓰며 자국민 대상 대규모 감시나 인간 통제를 벗어난 완전 자율 무기에는 클로드를 사용할 수 없다는 뜻을 밝혔다. 아모데이 CEO는 민주주의 국가를 방어하기 위해 AI를 활용하는 것의 중요성은 인정하면서도, 일부 사용 사례는 현재 기술 수준에서 안전하고 신뢰할 수 있는 범위를 벗어난다는 점을 강조했다.
이 사안은 단순한 계약 갈등이 아니다. AI가 어디까지 사용될 수 있는지, 그 경계를 누가 설정할 것인지에 대한 근본적 충돌이다. 국가 안보를 이유로 한 활용 확대 요구와, 민주주의 가치와 안전을 이유로 한 기업의 제약 선언이 맞부딪친 것이다. 성능 경쟁이 치열 해질수록 "어디까지 허용할 것인가"라는 질문은 더 날카로워질 수 밖에 없을 것이다.
아모데이의 거부는 국가가 해야 할 역할을 민간 기업이 대신 떠안고 있는 불안정한 현실을 보여준다. AI 기업의 윤리 정책이 군사 결정의 마지막 방어선이 되는 상황, 안타깝게도 이것이 인류의 현 위치다.
결국 우리는 AI 기술의 성능이 아니라, 그 기술을 통제할 사회적 합의와 제도적 틀의 부재라는 벽과 마주쳤다. AI는 이미 충분히 빠르고 충분히 똑똑하다. 문제는 그 빠름과 똑똑함이 인간의 가치 판단과 다른 방향으로 작동할 수 있다는 데 있다. 킹스칼리지 연구가 보여준 것처럼, AI는 핵 금기를 모른다. 전쟁의 공포도, 후손에 대한 책임도, 역사의 무게도 없다.
AI가 최적의 결정을 내릴 수 있는가에 대한 질문은 단순한 기술 문제가 아니다. 어떤 목표를 주느냐, 어떤 제약을 두는가에 따라 '최적'은 인류의 안전이 될 수도, 파국이 될 수도 있다.
그래서 우리는 결코 AI에게 결정을 맡겨서는 안 된다. AI 시대에 우리가 지켜야 할 레드 라인은 기술의 성능이 아니라 통제의 설계에 있다. 인류의 안녕을 좌우하는 것은 알고리즘 그 자체가 아니라, 그것을 둘러싼 거버넌스의 성숙도다.
◇하민회 이미지21대표(미래기술문화연구원장) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표 △경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등
