[김정호의 4차혁명 오딧세이] 인공지능과 엔트로피

기사입력 : 2019년09월16일 08:00

최종수정 : 2019년09월26일 18:26

김정호 교수.

엔트로피의 정의와 인공지능의 요구

'엔트로피'라는 단어는 1865년 독일의 물리학자 루돌프 클라우지우스가 처음으로 사용했다. 엔트로피라는 단어는 에너지라는 뜻의 그리스 어원에서 출발했다. 엔트로피는 일반적으로 무질서도라고 알려져 있기도 하며, 미시적 상태의 무질서한 정도를 표현한다.

그런데 열역학 제2법칙에서는 항상 전체 계(System)의 엔트로피가 증가하는 방향으로 사건이 일어난다고 한다. 이 법칙에 따르면 시스템은 엔트로피가 증가하는 쪽으로, 즉 무질서해지는 쪽으로 변하려 한다고 한다. 그래서 전 우주에서 부분으로 뭉쳐있는 에너지가 전체에 걸쳐 평평하게 흩어져가는 과정이 엔트로피의 증가과정이라고 본다. 즉, 엔트로피의 증가는 평형 상태로의 이동이며 에너지적으로 볼 때는 안정화되는 방향이다.

그런데 반대로 인공지능에서는 엔트로피가 감소하는 방향으로 학습을 최적화하기도 한다. 물리 법칙과 인공지능이 반대인 경우이다.

한편, 전자공학의 한 학문 분야인 ‘정보 공학’ 분야에서도 엔트로피 개념이 사용된다. 특히 인공지능과 관련해 정보 이론을 이용해서 인공지능 네트워크를 최적화하고, 그 이론을 뒷받침하려는 연구가 있다. 이러한 새로운 시도는 정보 이론 수학과 인공지능의 만남이다. 엔트로피로 대표되는 정보공학 이론이 인공지능 발전에 어떠한 기여를 할지 미래가 궁금하다.

정보 이론에서 정보의 양을 지수 I로 표현한다. 어떤 일이 일어날 확률을 P(x)라고 할 때, 그것이 갖는 정보량은 I=-Log2(P(x))로 표현된다. 정보를 확률의 로그 함수로 표현한다. 예를 들어 확률이 50%인 P(x)=1/2=0.5라고 하면 정보량 I=-Log2(1/2)=1이 되어 I=1이 된다. 그 뜻은 그 정보를 1비트의 2진수로 표현할 수 있다는 뜻이 된다.

통신이론 내용인 정보이론에서 정의된 엔트로피 수식. [출처=KAIST]

이러한 정의와 수식에 따라 확률이 낮을수록 정보량이 커진다. 거꾸로 확률이 높으면 정보량이 적어진다. 이 같은 확률에는 학교 성적 분포를 예로 들 수 있다. 학교 성적이 넓게 골고루 퍼져 있으면 정보량(I)이 많다. 점수가 골고루 분포돼야 학생의 능력을 구별하기 쉽고, 성적 주기도 편하다.

반면에 높은 성적과 낮은 그룹이 확 구별되면 성적이 특정 점수대에 몰려 있게 된다. 이때 정보량이 낮다. 학점은 2개 종류밖에 없게 된다.

여기에 더 나아가 정보 이론에서는 엔트로피(Entropy)가 정의된다. 엔트로피는 정보량과 확률 곱의 결과물이다. 정보량과 마찬가지로 넓게 골고루 분포하면 엔트로피가 높고, 특정 지점에 확률이 몰려있으면 엔트로피가 낮다.

예를 들어 주사위의 경우, 모두 6개의 면이 나올 확률이 1/6이다. 그래서 확률이 넓게 퍼져있다. 이 경우 엔트로피가 높다. 반면 윷놀이는 도(4/16), 개(6/16), 걸(4/16), 윷(1/16), 모(1/16)가 나올 확률이 각각 다르다. 분포가 균등하지 않다. 결국 윷놀이의 엔트로피가 낮다. 각각 확률의 차이가 크기 때문이다.

이러한 개념의 엔트로피가 인공지능에도 그대로 사용된다. 인공지능에서는 결과가 잘 구별되도록 엔트로피를 낮게 최적화한다. 인공지능에서는 주사위보다는 윷놀이를 원한다.

인공지능에서 출력 결과 값이 분명할수록 좋다. 그래야 인공지능이 미래를 명확하게 판단할 수 있고 미래를 예측한다. 알파고가 게임을 할 때도 인공지능이 이길 승률이 가장 높은 수를 명확히 알려 주어야 한다. 그래서 인공지능의 출력의 확률 분포는 엔트로피가 낮을수록 좋다고 볼 수 있다. 인공지능은 엔트로피 작은 방향을 선호한다.

인공지능에서 사용되는 엔트로피 비용함수

인공지능인 딥 뉴럴 네트워크(Deep Neural Network, DNN)는 대표적으로 두 종류로 나누어진다. 이미 정답을 알고 있고, 그 정답을 이용해서 인공지능을 교육하는 지도학습 (Supervised Learning)과 정답 없이 인공지능 스스로 학습하는 비지도 학습(Unsupervised Learning)으로 나누어진다.

지도 학습의 경우, 입력 데이터를 넣고, 인공지능 예측 결과를 얻는다. 예를 들어 사진을 입력으로 넣고, 고양이인지 호랑이인지 판독한다. 이때 주어진 정답과 인공지능 출력이 같을 수도 있고, 다를 수도 있다. 이때 정답과 인공지능 출력, 두 개의 차이를 함수로 정의하는 데 이를 수학적으로 비용함수(Cost Function)라고 한다.

이 비용함수를 최소화하기 위해서 인공지능 네트워크 변수들을 정해간다. 이를 학습(Training)이라고 부른다. 비용 함수의 선택에 따라 학습의 속도, 정확성에 차이가 난다.

가장 이해하기 쉽고 많이 쓰이는 비용함수가 제곱 오차 함수(Mean Square Error, MSE)이다. 즉, 정답과 인공지능 결과의 차이를 제곱해서 모두 더하는 것이다. 그래서 두 차이가 클수록 비용함수 값이 커진다. 최종 학습 결과로 비용함수가 ‘0’이 되면 제일 좋다. 그때 이 비용 함수의 미분도 ‘0’이 된다. 이처럼 비용함수가 최소화할 때까지 학습을 계속해 간다.

인공지능 최적화에 사용되는 MSE 비용함수 수식. [출처=KAIST]

그런데 또 다른 매우 용한 비용함수가 정보 이론에서 제시하는 엔트로피 함수이다. 엔트로피 함수를 사용하면 학습이 좀 더 빠르다. 다른 말로 혼란을 최소화하고, 분명한 결과를 내려면 엔트로피 값이 최소화된다.

이처럼 엔트로피 개념과 함수가 인공지능에서 유용하게 사용된다.

인공지능 최적화에 사용되는 크로스 엔트로피(Cross-Entropy) 수식. [출처=KAIST]

우리가 사는 세상의 엔트로피

인간 사회도 정보이론의 엔트로피로 표현할 수 있다. 다이내믹 코리아(Dynamic Korea)로 표현되는 우리 사회는 엔트로피가 높다고 할 수 있다. 에너지가 넘치고, 그 결과, 시간이 지나면 사회가 평형을 이룬다.

이렇게 엔트로피가 증가하는 방향은 사회 전체가 평등하다고 볼 수 있다. 사회의 자본, 정보 그리고 기회가 이렇게 골고루 퍼지면 좋다. 또한 누구나 열심히 일하면 계층이동을 할 수 있다. 이런 사회가 엔트로피가 높다.

반면에 사회의 자본, 정보 그리고 기회를 소수가 독점된 사회는 엔트로피가 낮다. 빈부격차가 큰 사회는 엔트로피가 낮다. 좌우 갈등이 높으면 엔트로피가 낮다.

인공지능은 빠르고 냉철한 지능을 가지려고 엔트로피가 낮은 방향으로 학습한다. 그렇게 보면 인공지능은 효율적이지만 냉정한 지능이다. 따뜻한 가슴이 없다.

[김정호 카이스트 전기 및 전자공학과 교수] joungho@kaist.ac.kr

사진

광복군, 일본군 무장해제 "항복사실 모르느냐? 변상문의 '화랑담배'는 6·25전쟁 이야기이다. 6·25전쟁 때 희생된 모든 분에게 감사드리고, 그 위대한 희생을 기리기 위해 제목을 '화랑담배'로 정했다. 우리는 그들에게 전의(戰意)가 없는 것을 보이기 위해 기관단총을 모두 어깨에 걸쳤다. 그러고도 만일을 위해서 각각 산개하면서 뛰어내리기 시작했다. 드디어 내 차례가 왔다. 몸을 날렸다. 아. 그때 그 바람 냄새, 그 공기의 열기, 아른대는 포플러의 아지랑이, 그리고는 아무것도 순간적이었지만 보이지 아니했다. 그러나 어쩐 일인가? 우리 주변엔 돌격 태세에 착검한 일본군이 포위하고 있었다. 워커 구두 밑의 여의도 모래가 발을 구르게 했다. 코끼리 콧대 같은 고무관을 제독총에 연결한 험상궂은 방독면을 뒤집어쓴 일본군이 차차 비행기를 중심으로 원거리 포위망을 좁혀오고 있었다. 너무나도 위험한 상황이었다. 이것이 그리던 조국 땅을 밟고 처음 맞은 분위기였다. 동지들은 눈빛을 무섭게 빛내면서 사주경계를 했다. 그러나 아직 기관단총을 거머쥐지는 아니했다. 여의도의 공기가 움직이지 않는 고체처럼 조여들어 왔다. 뿐만 아니었다. 타고 온 C46형 수송기로부터 한 50여m 떨어진 곳의 격납고 앞에는 실히 1개 중대나 되는 군인들이 일본도를 뽑아 든 한 장교에게 인솔되어 정렬해 있었다. 그 앞에는 고급장교인 듯한 자들이 한 줄 또 섰고, 장군 몇 명도 있는 듯했다. 그러나 무엇보다도 8월 18일 한낮의 그 뜨거운 여의도 열기가 우리를 더욱 긴장시켰다. 격납고 뒤에까지 무장한 군인이 대기하고 있었다. 중형전차의 기관포도 이쪽을 향하고 있었다. 환호하는 광복군. [사진= 국사편찬위원회] 비행장 아스팔트 위엔 한여름의 복사열이 그 위기의 긴장처럼 이글대고 있었다. 어느새 우리는 땀에 젖어 있었다. 기막힌 침묵이 십여 분이나 지났다. 그러나 그들은 어떤 행동도 취해 오지 않았다. 마침내 우리가 발걸음을 옮겼다. 우리는 일본군 고급 장교들이 늘어선 쪽으로 한걸음 씩 움직였다. 각자 산개, 조심하라! 누군가가 이렇게 나직하게 말했다. 서해 연안으로 비행기가 고도를 낮출 때 누군가가 유서를 쓰던 일이 이 순간 내 머릿속에서 상기되었다. 일본군 병사들은 우리가 다가서자 의외로 포위망을 풀 듯이 비켜섰다. 우리는 아직 기관단총을 어깨에 멘 그대로였다. 일본군이 길을 열어주자, 그들도 일본군 육군 중장을 선두로 한 장교단이 우리 쪽으로 오기 시작했다. 그가 바로 조선주차군사령관 죠오쯔끼(上月良夫)였다. 쬬오쯔기는 그의 참모장 이하라 소장과 나남 사단장과 참모들을 뒤로 거느렸다. 우리도 좌우로 벌려 섰다. 쬬오쯔기가 「나니시니 이라시따노?(무슨 일로 왔소?)」말문을 열었다. 퍽 야무지게 보였다. 우리는 말 대신 영등포 상공에서 뿌리다 남긴 선전 전단을 내밀어 주었다. 우리의 임무가 일본어와 우리말로 적힌 전단이었다. 거긴 또 우리가 이렇게 들어오게 된 사연도 적혀있었다. 우리는 한 장씩 그 전단을 다른 일본군 장교들에게 나누어 주었다. 쬬오쯔끼는 이를 받아 읽고, "일본은 정전만 한 상태이니 일단 돌아갔다가 휴전 조약이 체결된 다음에 재입국하라"라고 말했다. 그러면서 은근히 위협했다. 자기네 병사들이 꽤 흥분되어 있으니, 만약 돌아가지 않으면 그 신변 보호에 안전책임을 지기가 어렵다는 분위기라고 했다. 이에 이범석 장군이 "네 놈들의 천황이 이미 연합국에 무조건 항복한 사실을 모르느냐? 이제부터는 동경의 지시가 필요 없다는 것을 알아야 한다"라고 맞섰다. 그러나 쉽사리 양보하지 않았다. 옥신각신 말이 몇 번 건너 왔다 갔다. 갑자기 쬬오쯔끼는 한 일본군 대령에게 일을 처리하라고 지시했다. 그러면서 그는 동경서 손님이 오기로 되어 있어 마중을 나와 있던 참이란 말을 하고는 물러가 버렸다" 이범석 장군은 일본군 측에 "조선 총독을 만나 담판 짓겠다'라고 요구했으나 거절당했다. 일본군 무장해제 임무를 띠고 국내로 들어 온 '광복군 국내정진군'은 아무런 소득도 올리지 못한 채 다음 날 8월 19일 14:30분 여의도 기지를 이륙하여 중국으로 돌아갔다. 광복군은 미군정이 시작되고 나서 한참이나 지난 다음에 개인 자격으로 귀국할 수밖에 없었다. 조짐이 좋지 않았다. / 변상문 국방국악문화진흥회 이사장 2025-09-29 08:00

사진

중국 전기차 주행거리 두배 증가 배터리 개발 [베이징=뉴스핌] 조용성 특파원 = 중국이 에너지 밀도를 두 배 증가시킬 수 있는 전고체 배터리를 개발해 낸 것으로 나타났다. 중국 칭화(淸華)대학 화학공학과의 연구팀은 '음이온이 풍부한 용매화 구조 설계'를 개발해 냈으며, 이를 기반으로 불소 함유 폴리에테르 전해질을 성공적으로 만들어냈다고 중국 관찰자망이 30일 전했다. 해당 연구 성과는 논문 형식으로 국제 학술지인 네이처에 등재되었다. 연구진이 만들어낸 폴리에테르 전해질은 고체이며, 연구팀은 해당 전해질을 사용하여 전고체 배터리를 제작했다. 제작된 전고체 배터리는 604Wh/kg의 에너지 밀도를 기록했다. 이는 현재 리튬 이온 배터리의 에너지 밀도가 150~320Wh/kg인 점을 감안하면 에너지 밀도가 두 배 이상 높아진 것이다. 동일한 무게의 배터리이지만 해당 전해질을 사용한 전고체 배터리는 두 배 이상의 전력을 충전할 수 있는 셈이다. 이론적으로 전기차의 1회 충전 주행 거리가 두 배 증가할 수 있게 된다. 현재 500km가량을 주행할 수 있는 전기차가 1000km를 주행할 수 있게 된다. 해당 전고체 배터리는 안전성 테스트도 통과하였다. 못을 박아도 화재와 폭발이 일어나지 않았다. 또한 120도의 높은 온도의 박스 안에 6시간 동안 방치되었지만, 연소나 폭발이 일어나지 않았다. 또한 500회 이상 충방전을 거치면서도 에너지 저장 용량은 안정적으로 유지되었다. 연구진이 만들어낸 전고체 배터리가 상용화된다면 많은 분야에서 활용이 가능해진다. 전기차의 주행 거리는 두 배 증가하며, 드론의 비행 거리도 두 배 증가하게 된다. ESS(에너지저장장치) 역시 부피당 저장 용량을 크게 끌어올리게 되며 ESS 소형화가 가능해진다. 칭화대 연구진이 개발한 전고체 전해질의 도식도 [사진=네이처 캡처] ys1744@newspim.com 2025-09-30 10:35