전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

[뉴스핌 베스트 기사]

사진
외교부 1차관 인사 충격파 [서울=뉴스핌] 유신모 외교전문기자 = 국장급에서 일약 차관으로 직행한 박윤주 외교부 1차관 임명에 외교부가 술렁이고 있다. 외교부 조직과 인사를 총괄하는 책임자인 1차관에 현재 실장급(1급)보다 후배 기수인 박 차관을 전격 기용한 배경을 놓고 설왕설래 중이다. 이번 인사는 파격을 넘어 충격에 가깝다. 박 차관은 전임 김홍균 1차관보다 외무고시 기수로 11기 아래이며 나이도 9살이나 어리다. 박 차관이 미국 관련 업무를 오래했다고는 하나 본부 주요 국장도 거치지 않았고 공관장도 특명전권대사가 아닌 총영사를 지냈다. 기수나 나이, 경력 모든 면에서 전례가 없는 인사다. [서울=뉴스핌] 이길동 기자 = 박윤주 신임 외교부 1차관이 11일 오전 서울 종로구 외교부에 첫 출근을 하고 있다. 2025.06.11 gdlee@newspim.com 퇴직한 외교관 출신의 한 인사는 "차관이 실장보다 후배였던 경우는 외교부 역사상 한 번도 없었다"면서 "이 정도 인사면 조직에 미치는 영향이 만만치 않을 것"이라고 말했다. 전남 보성 출신인 박 차관은 민주당 정부에서 요직을 거쳤다. 노무현 정부 출범 때 정권인수위원회를 거쳐 이종석 당시 청와대 국가안전보장회의(NSC) 사무차장 밑에서 일했다. '자주파·동맹파 파동'으로 외교부 북미국장에서 물러난 위성락 현 국가안보실장도 당시 NSC에서 함께 일했으며, 위 실장이 주미 대사관 정무공사일 때도 워싱턴 공관에서 함께 근무했다. 문재인 정부 들어 북미국 심의관과 인사기획관을 거쳐 애틀랜타 총영사로 임명됐지만, 1년여 만에 윤석열 정부 출범과 함께 교체됐다. 외교부가 술렁이는 이유는 단순히 의외의 인물이 발탁됐기 때문만은 아니다. 박 차관 임명이 의미하는 것이 무엇인지에 대한 불안감이 있다. 전례없는 파격 인사로 조직에 충격을 가하고 강도 높은 조직 개편과 체질 개선을 추진하기 위한 인사가 아니냐는 관측이 나오고 있다. 외교부는 민주당 정부가 집권했을 때마다 개혁의 대상이었으며, 실제로 외교부를 '손보려는' 시도도 자주 있었다. 노무현 정부때는 중앙인사위원회·행정자치부 출신의 차관을 임명해 조직 개편을 시도했고, 문재인 정부 때는 주미 대사관의 한·미 정상통화 유출사건을 계기로 외교부 내 '친미 라인'을 제거하기 위해 과도한 징계를 가해 물의를 빚은 적도 있다. 외교부의 한 중견 간부는 "이번 차관 인사가 태풍의 전조일지도 모른다는 불안감이 외교부 내에 있는 것이 사실"이라며 "박 차관 임명이 조직에 활력을 불어넣는 신선한 충격으로 작용하기를 바란다"고 말했다. opento@newspim.com 2025-06-11 16:23
사진
[이재명의 사람들]김현지 총무비서관 [서울=뉴스핌] 지혜진 기자 = 이재명 정부가 출범한 지 1주일이 지난 가운데 비서실장을 비롯해 수석비서관급 인선도 추가로 이뤄지고 있다. 현재까지 드러난 이재명 대통령 인선의 핵심은 '실용'이다. 인수위원회 없이 출발해야 하는 정부인 만큼 기존에 손발을 맞춰온 인사들을 적극적으로 등용하는 모습이다. 특히 이 대통령이 경기 성남시장, 경기도지사 때부터 호흡을 맞춰온 성남·경기라인 인물들은 정부 요직에 내정됐다. 대표적인 인물이 총무비서관으로 내정된 김현지 전 보좌관이다. 이 대통령의 최측근 중 한 명으로 꼽히는 김 전 보좌관은 이 대통령이 성남시장이던 때 시민운동을 하면서 인연이 닿았다. 대학 졸업 직후인 1998년 당시 변호사이던 이 대통령이 설립을 주도한 성남시민모임에 합류했으며 이곳에서 집행위원장, 사무국장 등을 거쳤다. 이 대통령이 정치를 결심하게 된 계기가 됐던 성남시립병원 설립 운동도 함께했다. 성남시립병원추진위원회에서 사무국장을 역임한 것. 이후 이 대통령이 성남시장에 당선된 후에도 시민운동에 방점을 찍었다. 그는 2011년 성남 지역에서 활동하는 환경·도시 전문가 등이 주축이 된 민관 협력 기구 '성남의제21'에서 사무국장으로 활동했다. 그러다 이 대통령이 2018년 경기도지사에 당선된 후에야 도청 비서관직을 맡으며 본격적으로 이 대통령을 보좌하기 시작했다. 김 전 보좌관은 '그림자 보좌'로 유명하다. 본인이 전면에 나서지 않는 성향이다. 시민운동가로 활동할 때는 지역 언론 인터뷰에도 응하는 등 적극적인 모습을 보였으나 이 대통령이 국회에 입성한 이후에는 언론 노출을 지양해왔다. 또한 김 전 보좌관은 이 대통령에게 직언을 아끼지 않는 것으로 알려졌다. 당 관계자는 "김 전 보좌관은 리스크 관리를 중요시하는 사람이다. 문제가 될 만한 것들은 사전에 차단하려고 하고 조심성이 강하다"고 했다. 이 대통령의 최측근으로 꼽히던 정진상 전 당대표실 정무조정실장과 김용 전 민주연구원 부원장이 각각 대장동 사건과 불법 정치자금 수수 혐의 등으로 사법리스크에 휘말리면서 당직을 내려놓은 영향도 있다. 김 전 보좌관이 정 전 실장과 김 전 부원장의 자리를 대체했다는 이야기도 있었다. 김 전 보좌관이 맡게 될 대통령실 총무비서관은 대통령실 예산을 총괄하는 직책으로 공무원 직제상 1급에 해당한다. 특히 대통령실 2급 이하 행정관 등 실무진 인사에 관여할 수 있다. 이 대통령은 수석급 인선에는 강훈식 비서실장, 우상호 정무수석, 강유정 대변인 등 비교적 친명(친이재명) 색채가 옅은 통합형 인재를 등용하는 한편 실무라인에는 김 전 보좌관처럼 오랜 기간 손발을 맞춰온 '복심'들을 배치하고 있다. 대통령실 1부속실장에 내정된 김남준 전 당대표 정무부실장, 의전비서관의 권혁기 당대표 정무기획실장, 인사비서관의 김용채 전 보좌관 등이 대표적이다. 원외에서 이 후보를 후방지원한 더민주전국혁신회의 핵심인물들도 이재명 정부에서 주요 역할을 할 것으로 보인다. 윤용조 혁신회의 집행위원장은 대통령 국가안보실 비서관으로 배치될 가능성이 크다. 강위원 혁신회의 상임고문은 전남 경제부지사에 내정된 것으로 확인됐다. 내년 지방선거를 앞두고 새 정부와 더 긴밀히 호흡을 맞출 수 있는 점을 고려한 것으로 보인다. heyjin@newspim.com 2025-06-11 17:10
안다쇼핑
Top으로 이동