전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

[뉴스핌 베스트 기사]

사진
李대통령 재판 중단 '헌법 조항 충돌'? [서울=뉴스핌] 이재창 정치전문기자 = 이재명 대통령의 재판 중단을 놓고 논란이 일고 있다. 서울고등법원이 이 대통령의 공직선거법 파기환송심 재판을 연기하면서 현직 대통령의 불소추 특권을 규정한 '헌법 제84조'를 근거로 든 데 대해 야당이 '판결로 대통령이 자격을 상실하면 60일 이내에 후임자를 선거한다'는 헌법 제68조로 재반박하고 나선 것이다. [서울=뉴스핌] 국회사진기자단 = 이재명 대통령이 4일 오전 국회 사랑재에서 우원식 국회의장 등 여야 대표들과 함께 오찬을 하기 전 환담하고 있다. 2025.06.04 photo@newspim.com 헌법의 애매한 조항에 대한 해석의 차이를 넘어 헌법 조항의 충돌 문제로 번진 것이다. 논란의 불을 붙인 것은 서울고법의 결정이다. 법원은 "재판부에서 기일 변경 및 추후 지정(추정)을 하기로 했다"며 "헌법 제84조에 따른 조치"라고 밝혔다. 추정은 사실상 임기 내 재판을 하지 않겠다는 의미로 받아들여졌다. 이에 따라 위증 교사와 대장동, 법인카드 유용, 대북송금 사건 등 대통령이 받고 있는 다른 네 개의 재판도 연기 가능성이 높다. 이에 야당이 반발했다. 한동훈 전 국민의힘 대표는 9일 '헌법 제68조'를 들어 서울고법의 결정을 반박했다. 헌법 제68조 2항은 "대통령이 궐위된 때 또는 대통령 당선자가 사망하거나 판결 기타의 사유로 그 자격을 상실한 때에는 60일 이내에 후임자를 선거한다"고 규정한다.   검사 출신인 한 전 대표는 자신의 페이스북에 헌법 68조를 예시하며 "헌법상 이재명 대통령 재판은 중단되지 않는다"며 "헌법적으로도 그렇고, 다수 국민 상식 면에서도 그렇다"고 '헌법 제68조'를 거론하며 조목조목 반박했다. 한 전 대표는 "대한민국 헌법 제68조는 '대통령도 판결로 자격을 상실할 수 있다'고 명시하고 있다"며 "민주당과 서울고법 형사7부 주장대로 대통령이 돼서 진행 중인 재판이 중단되는 것이라면 헌법 68조의 '판결로 대통령 자격을 상실한 때'라는 문구를 설명하기 어렵다"고 했다. 재판이 중단된다면 재판이 열리지 않는 만큼 대통령이 판결로 자격을 상실할 일은 없다. 그렇다면 굳이 헌법에 이 조항을 넣을 이유가 없다. 결국 재판이 열린다는 전제로 헌법에 이 조항을 넣은 걸로 해석할 수밖에 없다는 논지다. 관건은 헌법 제84조의 해석이다. '소추(訴追)'의 의미를 검사의 공소 제기(기소) 외에 기존의 재판까지 적용해야 하는지를 두고 법조계에서 논란이 이어지고 있다. 여당은 모든 재판이 중단되는 것으로 해석하고, 야당은 진행 중인 재판은 해당하지 않는다고 맞선다.  이런 주장까지 포함하면 헌법 84조와 68조가 충돌하는 것으로 해석될 여지가 있다. 물론 판결은 법원의 판결 외에 헌법재판소의 판결도 포함할 수 있다. 대통령의 중대 행위에 대한 탄핵이 이뤄질 경우 헌재의 결정 여하에 따라 자격을 상실할 수 있다. 헌재의 판결을 의미한다면 충돌로 볼 수 없다. 민주당은 논란을 원천 차단하기 위해 재판 중단법(형사소송법 개정안) 처리를 추진하고 있다. 이 대통령 측근인 정성호 민주당 의원은 "판사에 따라 다른 입장이 나올 수 있는 만큼 형사소송법을 처리해 더 이상의 논란을 없애는 게 바람직하다"고 말했다.   민주당은 이 법안을 12일 처리할 예정이었으나 일단 13일 선출되는 차기 원내대표에게 넘기기로 했다. 서울고법이 재판을 중단하고 나머지 재판도 중단 가능성이 높은 상황에서 굳이 방탄 논란을 자초할 이유가 없다는 판단으로 보인다. leejc@newspim.com 2025-06-10 13:43
사진
기재부 1차관 이형일·2차관 임기근 [서울=뉴스핌] 이영태 선임기자 = 이재명 대통령은 10일 기획재정부 1차관에 이형일 통계청장, 2차관에 임기근 조달청장을 임명했다. 이 대통령은 또 외교부 1차관에 박윤주 주아세안대표부 공사, 2차관에 김진아 한국외대 교수를 각각 발탁했다. 강유정 대통령실 대변인 [사진=뉴스핌DB] 산업통상자원부 1차관에는 문신학 산자부 대변인이 임명됐고, 도널드 트럼프 미국 행정부와 관세 협상을 주도할 산업통상자원부 통상교섭본부장에는 문재인 정부 시절 한 차례 통상교섭본부장을 지낸 여한구 미국 피터슨 국제경제연구소 선임연구원이 발탁됐다. 강유정 대통령실 대변인은 이날 오후 브리핑에서 "이재명 정부는 경제 회복과 불황 극복에 인적 자원을 집중하기 위해 차관 인사를 단행했다"며 "이번 인사는 경제 산업 분야의 전문가를 임명해서 경제 위기를 조속히 해결하는 데 중점을 뒀다"고 밝혔다. 강 대변인은 기재부 1차관에 임명된 이형일 통계청장에 대해 "주요 정책 라인 경험이 풍부한 거시경제 전문가로 1998년 IMF 외환위기 직후 금융정책국을 경험하는 등 위기에 강한 인물"이라며 "미국 IBRD(국제부흥개발은행) 선임 이코노미스트로 국제적인 감각을 갖췄고, 기재부 직원들이 꼽은 담고 싶은 상사에 세 차례나 선정될 정도로 내부 신망이 두텁다"고 소개했다. 이어 "복합적인 위기에 처한 한국 경제의 현실을 진단하고 해법을 찾을 적임자"라고 강조했다. 이형일 기재부 1차관(왼쪽), 임기근 기재부 2차관 기재부 2차관으로 임명된 임기근 조달청장에 대해선 "임 차관은 기획재정부의 핵심 보직을 두루 자타공인 예산 전문가"라며 "정책 조정과 성장 전략 분야의 전문성을 겸비했고, 국회 예결위 파견 경험을 바탕으로 국회와의 협력도 능숙하게 해낼 것"이라고 기대했다. 아울러 "적극 재정으로 위기 극복의 마중물이 되고 성장 전략의 토대를 닦을 예산 정책 전문가로서 앞으로의 활약이 기대된다"고 말했다. 외교부 1차관으로 임명된 박윤주 주아세안대표부 공사에 대해선 "외교부 북미국 심의관 등 오랜 워싱턴 경역을 바탕으로 북미 지역 현안 해결에 탁월한 전문성을 보였다"며 "박 차관은 미국 트럼프 2기 최우선 과제인 관세 협상 등에서 국익 중심의 실용 외교를 지켜낼 적임자로 손꼽힌다"고 인사 배경을 설명했다. 외교부 2차관에 임명된 김진아 한국외대 교수에 대해선 "김 차관은 한미 연합사 정책 자문위원을 역임하는 등 다양하고 입체적 경험이 돋보이는 분"이라며 "한국인으로서는 세 번째로 유엔 사무총장 직속 군축 자문위원을 지낸 유망한 학자 출신"이라고 소개했다. 이어 "다음 주에 열리는 G7(주요7개국) 정상회의를 포함해 다자 외교에서 대한민국의 국익을 지켜낼 인물로 큰 기대가 된다"고 부연했다. 강 대변인은 "산업통상자원부 1차관에는 문신학 산자부 대변인이 발탁됐다"며 "(문 차관은) 석유와 가스, 원자력을 두루 거친 에너지통으로 산자부 장관 직속의 에너지 전환 국민소통 TF 단장을 맡아서 에너지 전환 정책에 큰 기여를 했다는 평가를 받고 있다"고 설명했다. 그러면서 "RE100 규제 등 에너지가 산업에 미치는 영향이 큰 상황에서 국내 에너지 산업을 총괄하며 미래 전환을 이끌어낼 적임자"라고 강조했다. 통상교섭본부장에 임명된 여한구 미국 피터슨 국제경제연구소 선임연구원에 대해선 "여 본부장은 미 트럼프 1기 행정부 당시 통상정책국장으로 통상 정책을 총괄했고, 국제통상과 경제 협력 전반을 조망하는 정책 수립과 협상 능력이 탁월하다는 평을 받고 있다"고 언급했다. 아울러 "미중 갈등과 관세 협상 등 세계적으로 거세진 통상 무역 갈등 속에서 경제 외교의 중심을 잡을 핵심 인재로 기대를 모으고 있다"고 덧붙였다. 강 대변인은 "이재명 정부는 다음 주로 다가온 G7 국제 외교 무대에서 대한민국의 국익을 지킬 외교 전문가들로 신속하고 새롭게 진용을 꾸렸다"며 "내란으로 인해 망가진 행정부를 신속하게 원상 복구해서 글로벌 보호무역주의를 타개하는 효능감 있는 정부를 만들어 나갈 것을 약속한다"고 다짐했다. medialyt@newspim.com 2025-06-10 17:38
안다쇼핑
Top으로 이동