전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

 

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

[뉴스핌 베스트 기사]

사진
SPC "8시간 넘는 야간근무 없앤다" [서울=뉴스핌] 최원진 기자= SPC그룹이 27일 대표이사 협의체인 'SPC 커미티'를 열고 장시간 야간 근로를 폐지하고, 앞으로 생산직의 야근 시간을 8시간 이내로 제한하기로 했다고 밝혔다. SPC그룹은 야간 생산이 불가피한 일부 필수 품목을 제외하고, 가능하면 야간 가동 자체를 줄여나가겠다는 방침이다. 그룹 관계자는 "8시간 초과 야근 폐지를 위해 △인력 확충 △생산 품목 및 생산량 조정 △라인 재편 등 전반적 생산 구조를 완전히 바꿀 계획이다. 각 (계열)사별 실행 방안을 마련해 10월1일부터 전면 시행한다"고 설명했다. 이재명 대통령이 지난 25일 경기 시흥시 SPC 삼립 시흥 공장에서 열린 산업재해 근절 현장 노사간담회에서 발언을 하는 모습. [사진=대통령실]  주간 근무 시간 역시 단계적으로 단축해 장시간 노동에 따른 피로 누적과 사고 위험을 사전에 차단한다는 계획이다. 또한 이번 근무체계 전환이 현장에서 안정적으로 정착될 수 있도록 노조와 협의를 병행하고, 내부 교육 및 매뉴얼 정비 작업도 함께 추진할 예정이다. SPC는 "생산 현장의 장시간 야간 근로에 대한 지적과 우려를 무겁게 받아들여 근무 형태를 비롯한 생산 시스템 전반에 대한 개혁을 추진하기로 했다"며 "앞으로 근로자 안전이 최우선시되는 일터를 만들 수 있도록 적극 개선하고 투자하겠다"고 밝혔다. 이번 결정은 지난 25일 이재명 대통령이 SPC삼립 시화공장을 직접 찾아 현장 간담회를 주재하며 야간 노동과 과도한 업무 강도를 지적한 데 따른 것이다.  이 대통령은 지난 5월 SPC 시화공장에서 발생한 여성 노동자 사망 사고와 관련해 "수십 년이 흘렀지만 여전히 현장에서 노동자가 죽고 있다"며 "같은 방식의 사고가 반복되는 건 심각한 문제"라고 강하게 비판했다. 이어 "돈과 비용 때문에 안전과 생명을 희생하는 구조라면 반드시 바뀌어야 한다"며 "이번을 계기로 산재 사망률을 줄이기 위한 현실적이고 구체적인 대책이 마련되길 바란다"고 강조했다. 이날 간담회에는 김영훈 고용노동부 장관, 김용범 정책실장, 문진영 사회수석 등 청와대 주요 인사들이 배석했으며, SPC 측에선 허영인 회장과 김범수 SPC삼립 대표, 김지형 컴플라이언스위원장, 김희성 안전보건총괄책임자, 김인혁 노조위원장 등이 참석했다. CJ푸드빌, 크라운제과 등 타 식품업체의 현장 책임자들도 함께 자리를 했다. wonjc6@newspim.com 2025-07-27 13:22
사진
특검, '공천개입 의혹' 윤상현 의원 소환 [서울=뉴스핌] 최원진 기자= 윤석열 전 대통령 부부의 공천 개입 의혹을 수사 중인 민중기 특별검사팀이 27일 국민의힘 윤상현 의원을 소환했다. 윤 의원은 이날 오전 9시 25분께 서울 종로구 KT광화문웨스트빌딩에 위치한 특검 사무실에 출석했다. 현장에 모인 취재진이 공천 개입 의혹에 대한 입장을 묻자 윤 의원은 "진실되고 성실하게 조사에 임하겠다"고 답했다. 윤 전 대통령으로부터 김영선 전 의원의 공천과 관련한 연락을 받은 적이 있는지에 대한 질문에는 "그 부분은 조사에서 말씀드리겠다"며 말을 아꼈다. 윤 의원은 2022년 6월 치러진 경남 창원 의창구 국회의원 보궐선거 당시 국민의힘 공천관리위원장을 맡았으며, 특검은 김건희 여사가 당시 전략공천에 영향을 미치는 과정에 윤 의원이 개입했는지 여부를 집중 수사 중이다. 김 여사는 제20대 대통령 선거 직후 '정치 브로커'로 알려진 명태균 씨로부터 여론조사를 무상으로 제공받은 대가로, 같은 해 6월 보궐선거에서 김영선 전 의원이 창원 의창에 전략공천되도록 개입한 혐의를 받고 있다. 앞서 공개된 통화 녹취록에 따르면, 윤석열 전 대통령은 2022년 5월 9일 국민의힘 보궐선거 공천 발표를 하루 앞두고 명태균 씨에게 "내가 김영선이 경선 때부터 열심히 뛰었으니까 김영선이를 좀 해줘라 그랬는데, 말이 많네. 당에서"라며 "상현이(윤 의원)한테 내가 한 번 더 이야기할게. 걔가 공관위원장이니까"라고 말했다. 특검팀은 이달 8일 업무방해 등 혐의로 윤 의원의 국회 의원회관 사무실과 자택 등을 압수수색하고 휴대전화 등을 확보했다.  [서울=뉴스핌] 정일구 기자 = 공천 개입 의혹을 받는 윤상현 국민의힘 의원이 27일 오전 소환 조사를 받기 위해 서울 종로구 KT광화문빌딩 웨스트에 마련된 김건희 특검 사무실로 출석하고 있다. 2025.07.27 mironj19@newspim.com wonjc6@newspim.com 2025-07-27 10:01
안다쇼핑
Top으로 이동