전체기사 최신뉴스 GAM 라씨로
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

CES 2025 참관단 모집

[뉴스핌 베스트 기사]

사진
尹지지율 2%p↓, 26.9%…"김 여사 논란 등 영향" [서울=뉴스핌] 박성준 기자 = 윤석열 대통령의 지지율이 소폭 하락해 20%대 중후반을 기록했다는 여론조사 결과가 31일 발표됐다. 종합뉴스통신사 뉴스핌 의뢰로 여론조사 전문업체 미디어리서치가 지난 28일~29일 이틀간 전국 만 18세 이상 남녀 1001명에게 물은 결과 윤 대통령의 국정운영에 대한 긍정평가는 26.9%로 집계됐다. 부정평가는 71.9%로 나타났다. '잘 모름'에 답한 비율은 1.2%다. 지난 조사 대비 긍정평가는 2.0%포인트(p) 하락했고 부정평가는 3.5%p 상승했다. 긍정평가와 부정평가 간 격차는 45.0%p다. 연령별로 보면 40대에서 긍·부정 평가 격차가 극명하게 드러났다. 만 18세~29세에서 '잘함'은 19.9% '잘 못함' 80.1%였고, 30대에서는 '잘함' 29.6% '잘 못함' 68.3%였다. 40대는 '잘함' 16.1% '잘 못함' 82.9%, 50대는 '잘함' 25.7% '잘 못함' 74.3%로 집계됐다. 60대는 '잘함' 32.2% '잘 못함' 67.3%였고, 70대 이상에서는 '잘함' 40.5% '잘 못함' 54.9%로 집계됐다. 지역별로는 서울 '잘함' 25.1%, '잘 못함'은 74.0%로 집계됐다. 경기·인천 '잘함' 27.8% '잘 못함' 70.8%, 대전·충청·세종 '잘함' 21.3% '잘 못함' 77.9%, 강원·제주 '잘함' 32.7% '잘 못함' 64.9%로 조사됐다. 부산·울산·경남 '잘함' 32.1% '잘 못함' 67.1%, 대구·경북은 '잘함' 36.8% '잘 못함' 62.1%로 집계됐다. 전남·광주·전북은 '잘함' 13.2% '잘 못함' 85.0%로 나타났다. 성별로도 남녀 모두 부정평가가 우세했다. 남성은 '잘함' 26.3% '잘 못함' 72.1%, 여성은 '잘함' 27.5% '잘 못함' 71.6%였다. 김대은 미디어리서치 대표는 여론조사 결과에 대해 "도이치모터스·명품백 논란, 선거 관련 의혹 등 김건희 여사 리스크가 증폭됐고, 한동훈 국민의힘 대표와 '빈손 회동'이후 당정 갈등 심화로 전통적인 핵심 지지층인 70대 이상과 영남권에서도 지지율이 하락했다"고 분석했다. 신율 명지대 정치외교학과 교수는 "(윤 대통령 지지율 하락의) 근본적인 원인은 불통 이미지 때문"이라며 "불통이라는 것은 여론에 대한 반응성이 떨어진다는 이야기다. 김건희 여사와 관련한 논란이 대표적인 사례"라고 평가했다. 그는 "김 여사 관련한 사과를 하는 것도 이미 늦었다"며 "윤 대통령은 법조인 출신이라 법적으로 문제가 없으면 괜찮다고 생각하는 것 같은데 국민 인식은 그렇지 않다"고 설명했다. 그러면서 "김 여사 문제에 대해 제대로 된 해결책을 제시하면 지지율이 오를 수 있지만 그렇게 하지 않으면 지지율 반등은 힘들어 보인다"고 덧붙였다. 이번 여론조사는 성·연령·지역별 인구비례 할당 추출 방식으로 추출된 표본을 구조화된 설문지를 이용한 무선(100%) ARS 전화조사 방식으로 실시했으며 응답률은 3.3%, 표본오차는 95% 신뢰수준에 ±3.1%p다. 통계보정은 2024년 1월말 행정안전부 주민등록 인구통계를 기준으로 성별 연령별 지역별 가중 값을 부여(셀가중)했다. 자세한 내용은 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다. parksj@newspim.com 2024-10-31 06:00
사진
국민 3명 중 2명 "김건희 여사 특검 실시해야" [서울=뉴스핌] 지혜진 기자 = 국민 3명 중 2명은 윤석열 대통령 부인 김건희 여사의 각종 의혹에 대해 특별검사법 실시의 필요성을 인식한다는 여론조사 결과가 31일 발표됐다. 여론조사 전문기관 미디어리서치가 종합뉴스통신사 뉴스핌의 의뢰로 지난 28~29일 이틀간 전국 만 18세 이상 남녀 1001명을 대상으로 ARS(자동응답시스템) 조사 결과 '더불어민주당에서 김건희 여사의 도이치모터스 주가조작, 공천 개입 등이 포함된 총 14가지 의혹들에 대해 특검법을 재발의했다. 김 여사 특검 실시에 대해 어떻게 생각하느냐'는 질문에 '실시해야 한다' 66.2%, '실시해서는 안 된다' 26.0%, '잘 모름'은 7.9%로 응답했다. 연령별로는 40대, 만18세~29세, 50대 순으로 실시해야 한다는 의견이 높았다. 70대 이상을 제외하고는 실시해야 한다는 의견이 과반을 차지했다. 40대는 '실시해야 한다'고 응답한 비율이 81.2%에 달했다. 반면 '실시해서는 안 된다'는 12.7%에 그쳤다. 만18세~29세는 '실시해야 한다' 76.5%, '실시해서는 안 된다' 19.0%, '잘 모름'은 4.5%로, 50대는 '실시해야 한다' 69.9%, '실시해서는 안 된다' 25.0%, '잘 모름'은 5.1%로 나타났다. 30대는 '실시해야 한다' 62.0%, '실시해서는 안 된다' 34.3%, '잘 모름'은 3.7%로, 60대는 '실시해야 한다' 57.5%, '실시해서는 안 된다' 33.7%, '잘 모름'은 8.8%로 응답했다. 70대는 '실시해야 한다' 45.5%, '실시해서는 안 된다' 33.7%, '잘 모름'은 20.8%였다. 지역별로는 광주·전남·전북, 대전·충청·세종, 서울, 경기·인천, 부산·울산·경남, 강원·제주, 대구·경북 순으로 실시해야 한다는 여론이 우세했다. 대구·경북을 제외한 모든 지역에서 김 여사 특검법에 찬성하는 의견이 절반 이상으로 집계됐다. 광주·전남·전북은 '실시해야 한다' 78.4%, '실시해서는 안 된다' 15.4%, '잘 모름'은 6.2%, 대전·충청·세종은 '실시해야 한다' 72.9%, '실시해서는 안 된다' 24.6%, '잘 모름'은 2.5%로 나타났다. 서울은 '실시해야 한다' 68.7%, '실시해서는 안 된다' 24.8%, '잘 모름'은 6.5%, 경기·인천은 '실시해야 한다' 67.4%, '실시해서는 안 된다' 25.6%, '잘 모름'은 7.0%였다. 부산·울산·경남은 '실시해야 한다' 62.5%, '실시해서는 안 된다' 27.5%, '잘 모름'은 10.1%로, 강원·제주는 '실시해야 한다' 59.3%, '실시해서는 안 된다' 21.2%, '잘 모름'은 19.5%로 응답했다. 대구·경북은 '실시해야 한다' 46.3%, '실시해서는 안 된다' 41.1%, '잘 모름'은 12.6%였다. 지지 정당별로는 국민의힘을 제외한 모든 정당에서 실시해야 한다는 의견이 압도적이었다. 더불어민주당 지지층은 '실시해야 한다' 95.5%, '실시해서는 안 된다' 2.7%, '잘 모름'은 1.8%, 조국혁신당 지지층은 '실시해야 한다' 90.8%, '실시해서는 안 된다' 5.8%, '잘 모름'은 3.3%로 나타났다. 진보당 지지자들은 '실시해야 한다' 77.0%, '실시해서는 안 된다' 23.0%, '잘 모름'은 0%였다. 보수 성향의 개혁신당 지지층은 '실시해야 한다' 87.6%, '실시해서는 안 된다' 6.4%, '잘 모름'은 6.0%였다. 지지정당이 없다고 응답한 층도 '실시해야 한다' 79.1%, '실시해서는 안 된다' 15.0%, '잘 모름'은 5.9%로 특검에 찬성하는 여론이 더 컸다. 국정 지지별로는 응답층의 의견이 극명하게 엇갈렸다. 윤석열 정부가 잘 못하고 있다고 답한 이들은 김건희 특검법에 대해 '실시해야 한다'고 응답한 이들이 88.8%에 달한 반면, 정부가 잘하고 있다고 평가한 응답층은 '실시해서는 안 된다'가 78.6%로 나타났다. 한편, 성별로는 차이가 두드러지지 않았다. 남녀 각각 '실시해야 한다'고 응답한 이들이 67.4%, 64.9%로 나타났다. 김대은 미디어리서치 대표는 "전통적인 보수 지지층인 60~70대 이상과 영남권에서 조차 김 여사 특검을 실시해야 한다는 응답이 높게 나오면서 특검이 대세로 굳어지고 있다"며 "최근 한동훈 국민의힘 대표가 특별감찰관 추천을 대안으로 제시했지만 특감은 한계가 있는 등 국민 다수가 원하는 건 '특감'이 아니라 '특검'이라는 결과"라고 분석했다. 이번 조사는 무선 RDD 활용, ARS를 통해 진행됐다. 신뢰 수준은 95%, 표본 오차는 ±3.1%p, 응답률은 3.3%다. 자세한 조사 개요 및 내용은 미디어리서치 홈페이지와 중앙선거여론조사심의위원회 홈페이지를 참조하면 된다. heyjin@newspim.com 2024-10-31 06:00
안다쇼핑
Top으로 이동