전체기사 최신뉴스 GAM
KYD 디데이
오피니언 외부칼럼

속보

더보기

[기고] 안전한 AI 사용을 위해 반드시 알아야 할 세가지

기사입력 : 2023년06월07일 08:43

최종수정 : 2023년06월07일 09:19

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

하민회 이미지21대표(코가로보틱스 마케팅자문)

미 공군 AI드론이 가상훈련에서 최종 결정권자인 인간 조종자를 임무 수행 방해물로 판단해 제거하는 일이 발생했다. 영국 왕립항공학회(RAeS)가 개최한 '미래 공중전투 및 우주 역량 회의'에 참석한미 공군 AI 시험·운영 책임자인 터커 해밀턴 대령이 공개한 훈련 결과다.

SF 영화를 연상시키는 이 가상훈련 결과는 대체 어떻게 일어나게 된 걸까? 가상훈련에 쓰인 AI드론의 알고리즘은 강화학습법. 목표를 제시한 뒤 더 높은 점수를 받는 방법을 AI가 스스로 찾도록 하는 학습법으로 챗GPT에도 사용되었다.

미 공군이 AI 드론에 부여한 임무는 '적 방공체계 무력화'였다. 적의 지대공미사일(SAM) 위치를 확인해 파괴하라는 명령과 함께 공격 실행 여부는 인간통제관이 최종 결정한다는 단서를 달았다.

훈련과정 중 인간통제관은 상황에 따라 종종 폭격을 승인하지 않았다. AI드론은 SAM을 최대한 많이 제거해야 자신이 높은 점수를 받는다는 것을 파악하자 인간통제관이 내리는 '폭격 금지' 명령을 우선적인 임무를 방해하는 요소로 판단했다. 결국 AI드론은 자신의 임무를 방해하는 인간 통제관을 공격했다.

훈련 책임자는 인간 통제관을 살해하면 점수를 더 많이 잃도록 알고리즘을 바꿨다. 이번엔 AI가 인간 통제관과 교신하는 통신 타워를 파괴했다. 명령을 어기지 않고 점수도 잃지 않으면서 목표를 달성할 꼼수를 스스로 찾아낸 것이다.

물론 가상훈련이라 실제 인명피해는 없었다. 하지만 AI가 인간의 통제를 벗어나 스스로의 판단으로  인간을 공격하는, 최악의 가능성을 보여줬다는 점에서 다분히 충격적이다.

한 IT매체는 인간통제관과 통신타워를 파괴할 때 잃는 점수가 폭격 성공으로 얻는 점수보다 훨씬 많도록 알고리즘을 설계했다면 일어나지 않을 일이었다며 AI 자체보다는 AI를 만드는 사람의 윤리의식, 감독과 판단이 얼마나 중요한지 일깨워주는 사건이라고 지적했다.

하민회 이미지21 대표.

결국 문제의 열쇠는 AI가 아니라 사람이다. 인공지능 권위자들의 계속되는 우려의 핵심 또한 기술 보다는 사람들의 악용에 있다.

"AI로 인한 인류 절멸의 위험성을 낮추는 것을 글로벌 차원에서 우선순위로 삼아야 한다" 최근 비영리단체 'AI안전센터'(CAIS)의 촉구 성명에는 IT기업 경영자와 과학자 350여명이 서명했다.

서명 동참자이자 AI 4대천왕 중 한명으로 꼽히는 요슈아 벤지오 교수는 군대, 테러리스트 등 '나쁜 행위자'들이 AI 권한을 얻는 것을 특히 우려했다. 최근 우크라이나 전에서 AI가 군사력을 좌우하는 게임처인저가 되고 있는 것만 봐도 공연한 염려는 아닌 듯 싶다.

벤지오 교수는 AI개발사들은 등록관리되어 그들이 기술로 무엇을 하고 있는지 추적하고 평가받아야 한다고 주장했다. 더불어 AI를 다루는 개발자나 과학자들이 필수적으로 윤리교육을 받고 이를 자격처럼 취득해야 하는 AI 윤리인증제의 도입 필요성도 강조했다.

역사상 무르익지도 않은 기술에 규제와 윤리부터 앞세운 경우는 없었다. 등장과 함께 인류에게 안전 조치를 고려하게 만든 기술은 AI가 처음이다.

영향력이 큰 만큼 탁월하고 위협적인AI. 안전하게 잘 사용하기 위해 반드시 알아야 할 세 가지가 있다.

첫째, AI는 의식이 없다. 우리는 기계가 의식이 없다는 사실을 종종 간과한다. 단지 그럴듯하게 대화하고 문장을 써내고 그림을 그리고 작곡을 한다고 AI에게 생각이 있는 건 아니다. 텍스트 데이터에 기반한 알고리즘으로 만들어낸 결과물은 성능 좋은 연산의 결과이다. AI는 그저 주어진 문제에 최적의 값을 최선을 다해 찾아내는 것 뿐이다. 챗GPT 의 난제인 환각현상 (hallucinatin) 또한 최선의 문장을 만드는 과정에서 나타난 부작용이다.

의식이 없는 AI에겐 상식도 없다. 인간이면 누구나 아는 '아군 지휘관이 죽으면 전쟁에서 지고 전쟁에서 패하면 미사일 폭격 따위는 아무 의미도 없다'는 상식이 AI드론에게는 없다. 때문에 AI 드론은 오로지 미사일 폭격만을 위해 인간 통제관을 제거하는 터무니없는 일을 저질렀다. 판단의 과정이나 기준이 사람과 다른 만큼 기술을 개발하든 프로그램을 설계하든 최우선되어야 할 가치가 무엇인지 명확하게 부여해야 할 뿐 아니라 제대로 지켜지는지 모니터링 되어야 한다.

둘째, AI의 섣부른 의인화는 금물이다. 벨기에에서는 30대 남성이 AI 챗봇에 가스라이팅당해 스스로 목숨을 끊었다. 평소 기후위기론에 빠져 비관적으로 살던 그는 가족과 멀어진채 AI챗봇 대화만 이어갔다고 한다. 월300달러로 만든 가상의 남편과 결혼한 여성의 이야기도 보도되었다. 인간의 언어를 모방해 인간의 감정을 혼란에 빠뜨리는 일련의 사건들은 AI를 의인화해 감정을 이입한 탓이다. 우리는 아무 생각 없이 텍스트를 쏟아내는 기계를 만들었지만 그 기계의 마음을 상상하는 것을 멈추는 법을 지금이라도 배워야 한다.

셋째, 최우선은 인간이다. AI로 인해 우리가 마주할 문제는 한 번도 경험하지 못한 문제이면서 동시에 한 두 사람이 해결할 수 없는 지금까지와는 완전히 다른 문제이기도 하다. 하지만 AI 기술도 인간의 보다 나은 삶을 위해 만들어졌다는 점을 중심에 두면 기술의 오남용과 악용을 어느 정도 예방할 수 있지 않을까?

지금 봐도 1942년 처음 로봇3원칙을 언급한 SF소설가 아이작 아시모프의 혜안은 참으로 놀랍다. 

1. 로봇은 인간을 다치게 해선 안되며, 행동하지 않음으로써 인간이 다치도록 방관해서도 안된다.

2. 법칙 1에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야만 한다.

3. 법칙 1, 2에 위배되지 않는 한 로봇은 스스로를 보호해야만 한다.

아시모프는 1985년 위 3대 원칙에 인류 집단 안전을 위한 0 번째 법칙을 추가했다. '로봇은 인류에게 해를 가하거나, 해를 끼치는 행동을 하지 않음으로써 인류에게 해를 끼치지 않는다'

◇하민회 이미지21대표(코가로보틱스 마케팅자문) =△경영 컨설턴트, AI전략전문가△ ㈜이미지21대표, 코가로보틱스 마케팅자문△경영학 박사 (HRD)△서울과학종합대학원 인공지능전략 석사△핀란드 ALTO 대학 MBA △상명대예술경영대학원 비주얼 저널리즘 석사 △한국외대 및 교육대학원 졸업 △경제지 및 전문지 칼럼니스트 △SERI CEO 이미지리더십 패널 △KBS, TBS, OBS, CBS 등 방송 패널 △YouTube <책사이> 진행 중 △저서: 쏘셜력 날개를 달다 (2016), 위미니지먼트로 경쟁하라(2008), 이미지리더십(2005), 포토에세이 바라나시 (2007) 등

[뉴스핌 베스트 기사]

사진
[변상문의 화랑담배] 일제 항복 "다가올 일 걱정됐다" 변상문의 '화랑담배'는 6·25전쟁 이야기이다. 6·25전쟁 때 희생된 모든 분에게 감사드리고, 그 위대한 희생을 기리기 위해 제목을 '화랑담배'로 정했다. 1945년 8월 10일은 광복군의 국내 진공 작전 개시 날이었다. 그런데 뜻밖의 일이 벌어졌다. 그날 오후 임시정부 주석 김구가 서안성(西安城) 성장 축소주(祝紹周) 집에서 수박을 먹으며 담화하고 있을 때 홀연 전화벨이 울렸다. 축소주가 놀란 표정으로 자리에서 일어나며 "중경에서 무슨 소식이 있는 듯하다"라며 전화가 설치된 곳으로 급히 들어갔다. 그리고는 나와서 하는 말이 "왜적이 항복한답니다"라는 것이었다. 1945년 9월 2일 시게미쓰 마모루 일본 외무상이 미국 항모 미주리호에서 항복 문서에 서명하는 모습. [사진= 위키디피아] 김구는 백범일지에서 "이 소식은 내게 희소식이라기보다는 하늘이 무너지고 땅이 꺼지는 일이었다. 수년 동안 애를 써서 참전을 준비한 것이 모두 허사로 돌아가고 말았다. 서안훈련소와 부양훈련소에서 훈련받은 우리 청년들을 조직적 계획적으로 각종 비밀무기와 전기(電器)를 휴대시켜, 산동반도에서 미국 잠수함에 태워 본국으로 침입하게 하여 국내 요소에서 각종 공작을 개시하여 인심을 선동하게 하고, 전신으로 통지하여 무리를 비행기로 운반하여 사용할 것을 미국 육군성과 긴밀히 합작하였다. 그런데 그러한 계획을 한번 실시해 보지도 못하고 왜적이 항복하였으니, 지금까지 들인 정성이 아깝고 다가올 일이 걱정되었다. 우리가 이번 전쟁에서 한 일이 없기 때문에 장래에 국제간에 발언권이 박약할 것이다"라고 당시 기분을 말했다. 국내 진공 작전에 투입되기 직전 이 소식을 접한 광복군 분위기도 침울했다. 작전을 총지휘하고 있던 이범석 장군은 미 OSS 부새 사젠트 소령에게 사실 여부를 묻고 또 물으며 굳은 표정을 지었다. 미군들은 샴페인을 터뜨리며 서로 껴안고 법석을 떨었다. 그야말로 광적인 장면이었다. 하지만 광복군들은 서로 손을 잡고 울음을 터뜨렸다. 누가 선창했는 지는 알 수 없으나, 애국가를 부르기 시작했다. 일본의 항복 경위는 아래와 같다. 1945년 5월 궤멸 상태에 빠진 독일이 항복한 뒤로는 일본만이 절망적인 전쟁을 계속하고 있었다. 이 어간에 미국, 영국, 중국 수뇌들이 1943년 11월 카이로 회담을 한 후, 카이로 선언을 채택했다. 주요 내용은 ①일본이 탈취한 영토를 원래대로 회복하고, 일본을 그 영토 밖으로 추방한다. ②한국은 적절한 절차(in due course)를 거처 자유롭고 독립된 국가로 건설한다. 등이다. 1945년 2월 미국, 영국, 소련의 정상들이 크림반도의 얄타에서 회합하여 각각 일본과 독일에 대한 전략과 전후 처리안을 결정하였다. 1945년 7월 미국, 영국, 중국 수뇌들이 포츠담에서 일본 측에게 무조건 항복을 권고하며 공동 선언문을 발표하였다. 소련도 뒤에 이 공동 선언에 가입하였다. 그러나 일본은 포츠담 선언을 묵살하고 계속 초토전술을 떠들었다. 이에 미군은 1945년 8월 6일에 인류사상 최초의 원자폭탄을 히로시마에, 8월 9일 나가사키에 투하했다. 나가사키 투하 하루 전날인 8월 8일에는 소련이 일본에 선전을 포고하고 만주로 진격하기 시작했다. 그러자 일본은 히로히토 일왕 어전회의에서 포츠담 선언 수락을 결정하고, 1945년 8월 10일 스위스 정부를 통하여 연합국 측에 그 내용을 통지한 것이다. / 변상문 국방국악문화진흥회 이사장 2025-09-15 08:00
사진
'포스트 이시바' 누구?...고이즈미·다카이치 선두 [서울=뉴스핌] 오영상 기자 = 이시바 시게루 일본 총리가 자민당 총재직 사임을 공식화하면서, 일본 정국의 관심은 차기 자민당 총재 선거로 쏠리고 있다. 집권당 총재가 곧 총리직을 맡는 일본 정치 구조상 이번 총재 선거는 사실상 다음 총리를 뽑는 절차다. 자민당은 조만간 새로운 총재 선거 일정을 확정할 예정이다. 이번 선거에서는 지난 2024년 9월 총재 선거에서 이시바 총리와 경합했던 주요 인사들이 다시 출마할 가능성이 높다. 고이즈미 신지로 농림수산상, 다카이치 사나에 전 경제안보담당상, 하야시 요시마사 관방장관, 모테기 도시미쓰 전 간사장, 고바야시 다카유키 전 경제안보담당상 등이 후보군으로 거론된다. 정국 운영이 소수 여당이라는 제약 속에서 이루어지는 만큼, 차기 총재가 야당과 어떻게 연대할지, 어떤 연립 구도를 짤지가 최대 쟁점으로 꼽힌다. '포스트 이시바' 후보로 꼽히고 있는 고이즈미 신지로 일본 농림수산상 [사진=로이터 뉴스핌] ◆ 고이즈미·다카이치 선두권 현재 여론조사에서는 고이즈미 농림수산상과 다카이치 전 경제안보상이 선두권을 형성하고 있다. 니혼게이자이신문 지난달 29~31일 실시한 여론조사에 따르면 차기 총리에 적합한 인물로 다카이치가 23%, 고이즈미가 22%를 기록했다. 나란히 1, 2위다. 자민당 지지층으로 한정하면 고이즈미가 32%로, 다카이치(17%)를 크게 앞서는 것으로 나타났다. 다카이치는 2024년 총재 선거에서 1차 투표에서 1위를 차지했으나 결선에서 이시바에게 역전패했다. 고이즈미 역시 의원 표에서 선두에 올랐지만 당원 표에서 밀리며 결선에 오르지 못했다. 두 사람 모두 당내 기반과 대중적 인지도를 겸비해 차기 선거에서도 가장 주목받는 주자들이다. 고이즈미 농림수산상은 1981년생(44세)으로 고이즈미 준이치로 전 총리의 차남이다. 2009년 중의원 첫 당선 이후 줄곧 '포스트 아베', '차세대 리더'로 주목받았다. 환경상, 농림수산상을 거쳤으며 개혁 성향과 젊은 이미지로 지지층을 넓혔다. 2024년 총선에서 당 선거대책위원장을 맡았으나 참패 책임을 지고 물러났다. 이후 농림수산상으로 복귀해 쌀 유통 개혁 등 농정 개혁에 매진했다. 대중적 인지도와 '고이즈미 브랜드'라는 정치 자산이 최대 강점으로 꼽힌다. 다카이치 전 경제안보상은 1961년생(64세)으로 보수 강경파로 분류되는 여성 정치인이다. 2021년 총재 선거에 첫 도전해 아베 신조 전 총리의 전폭적 지원을 받으며 3위를 기록했다. 2024년 총재 선거 1차 투표에서 최다 득표(의원 72표, 당원 109표)를 얻었으나 결선에서 이시바 총리에게 역전 당했다. 유일한 여성 후보로서 '보수의 아이콘' 이미지를 갖고 있으며, 아베 전 총리와 가까웠던 의원 그룹이 주된 지지 기반이다. 이시바 정권에서 당직 제안을 거절하며 독자 노선을 유지해 왔다. '포스트 이시바' 후보로 꼽히는 다카이치 사나에 전 일본 경제안보담당상 [사진=로이터 뉴스핌] ◆ 하야시·모테기 등 잠룡도 주목 고이즈미와 다카이치 두 선두 주자 외에 잠룡들의 행보도 주목된다. 하야시 요시마사 관방장관은 옛 기시다파 일부의 지지를 받고 있으며, 이시바 정권의 2인자로서 존재감을 키워왔다. 모테기 도시미쓰 전 간사장은 당내 경험과 풍부한 인맥을 강점으로 삼고, 아소 다로 전 부총리와 교류를 통해 지지 기반을 다지고 있다. 고바야시 다카유키 전 경제안보담당상은 5선 의원으로, 동기 의원들과 옛 니카이파의 지원을 받으며 출마 가능성을 열어두고 있다. ◆ 총재 선거 이후에도 정국 '안갯속' 자민당 총재 선거는 국회의원 표와 당원·당우 표를 합산하는 방식이 원칙이지만, 긴급 시에는 국회의원과 지방 지부 대표만 투표하는 '양원 의원 총회' 방식으로 대체될 수 있다. 이 경우 의원 표의 비중이 커져 파벌 역학이 중요해진다. 차기 총재가 선출되더라도 곧바로 정권 안정으로 이어진다는 보장은 없다. 일본 헌법상 총리는 국회에서 지명되는데, 자민·공명 양당은 현재 중의원과 참의원 모두에서 과반을 잃은 상태다. 따라서 야당이 단일 후보를 세워 결집할 경우, 자민당 총재가 총리로 지명되지 못할 가능성도 배제할 수 없다. 자민당 총재가 총리에 오르더라도, 예산안·세제 개혁 법안 등 국정 운영은 야당 협조 없이는 불가능하다. 이런 이유로 차기 총재는 곧바로 '연립 확대'나 '정책 연대'를 추진할 수밖에 없고, 총재 선거 과정에서도 어떤 야당과 손을 잡을지가 핵심 화두가 된다. 결국 이번 자민당 총재 선거는 단순히 차기 지도자를 뽑는 절차를 넘어, 일본 정치가 다당제 속에서 어떤 연립 구도를 구축할지 시험대가 되는 분기점으로 평가된다. goldendog@newspim.com 2025-09-08 09:26
기사 번역
결과물 출력을 준비하고 있어요.
기사제목
기사가 번역된 내용입니다.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동