전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 아이에게서 배우는 AI 강화학습

기사입력 : 2019년04월22일 08:00

최종수정 : 2019년04월22일 08:00

※ 본문 글자 크기 조정

  • 더 작게
  • 작게
  • 보통
  • 크게
  • 더 크게

※ 번역할 언어 선택

우리는 어떻게 배우는가

필자가 처음 영어 공부를 시작한 것은 중학교 들어가기 전, 초등학교 6학년 때로 기억한다. 아마 공책에 a, b, c, d 알파벳을 필기체와 출판 서체로 연습한 기억이 난다. 그리고 영어로 배운 첫 문장이 “I am a boy,아니면 “You are a girl” 이 아닌가 생각한다.

        김정호 교수

본격적으로 영어를 공부한 시기는 고등학교 때이다. 그때 사용했던 영어 교재가 ‘성문종합영어’, ‘영어의 왕도’ , 그리고 ‘1200제’였다. 특히 그 중에 가장 어려운 교재가 ‘1200제”이었는데 아마도 일본 참고서를 번역한 책으로 기억한다.

그런데 이렇게 영어 공부를 시작할 때 재일 재미없었던 부분이 문법을 외우는 과정이었다. 명사, 대명사, 동사, 가정법 등 외우는 내용도 많고, 예외도 많았다. 그 규칙을 파악하고 외우고 이를 토대로 문장을 이해하고, 해석하고 작문하였다.

인공지능에서도 전통적으로 이와 비슷한 학습 방법을 써 왔다. 전통적 인공지능에서는 먼저 뇌와 지능의 동작 원리를 이해하고, 그에 맞추어 모델을 세우고 이를 컴퓨터 프로그램으로 구현하는 방법이다. 이 방법은 인간의 뇌의 동작을 인간의 논리로 파악하려 하는 방법이다. 영어 배울 때 문법으로 언어를 배우려는 시도와 같은 방법이다.

성문종합영어 참고서 내의 영어 문법과 작문 부분, [출처: tistory]


하지만 최근 딥뉴럴네트워크(DNN)으로 표현하는 인공지능은 빅데이터를 제공하고 그 데이터를 통해서 인공지능이 스스로 학습하는 방법이다. 이러한 방법을 ‘머신러닝' 인공지능이라고 한다. 여기서는 데이터를 믿고 학습한다. 이러한 머신러닝 학습 방법 중에서 인공지능 스스로 데이터를 만들어 내고 최적의 답을 만들어 내는 방법이 등장했는데, 이를 ‘강화학습(RL: Reinforcement Learning)’이라고 한다. 이를테면 컴퓨터 스스로가 자율학습을 해서 지능을 쌓아가는 방법이다.

아기가 처음 말을 배울 때 하는 말을 ‘옹알이’라고 한다. 옹알이를 통해서 엄마와 소통하면서 말을 배워나간다. 그때 처음 배우는 말이 ‘엄마’, ‘맘마’, ‘아빠’ 와 같은 단어들이다. 맘마라고 부르면 엄마가 우유를 주고, 엄마라고 부르면 엄마가 따뜻한 눈길을 주고 사랑으로 안아준다. 이처럼 아기가 언어를 배우는 과정에서는 아기가 주변 환경과 교류하면서 보상을 얻는 과정에서 말을 배운다. 우리처럼 문법을 통해서 배우지 않는다.

또한 아기가 걸음마를 배우는 과정도 비슷하다. 걷고, 넘어지고 다치면서, 시행착오를 거치면서 아장 아장 걷기를 배운다. 이때 환경은 거실 마루이고, 보상은 걷는 기쁨과 엄마의 웃음이다. 이처럼 주변환경 속에서 행동하고 보상 받으면서, 그 결과 최선의 결정과 행동을 하면서 학습하는 방법을 ‘강화학습’ 인공지능이라고 한다. 그래서 강화학습은 인간이 본능적으로 배우는 학습 방법이다.

아기가 옹알이를 하며 말을 배우고 있다. [출처: tistory]


시행착오 통한 강화학습, 로봇과 게임에도 적용 가능

강화학습에서는 주변 환경(Environment)이 있고 그 상태(State)를 벡터로 표현한다. 다양한 시도(Action)와 보상(Reward)를 얻으면서 스토리(Episode)를 만들고, 그 결과로 환경을 파악해 간다. 이렇게 시행착오를 거쳐서 학습하게 된다. 그리고 최적의 정책(Policy)을 찾아간다.

생쥐의 미로 찾기 게임이 강화학습의 좋은 한 예가 된다. 이 때 미로의 구조가 환경이 되고, 최종적으로 치즈를 먹게 되면 보상을 얻게 된다. 그렇지만 최단 시간 내에 찾아야 하는 조건이 붙게 된다. 이처럼 각 상태에 따라 미래를 정할 수 있고, 과거는 묻지 않는 조건을 강화학습에서는 마르코프(Markov) 조건이라고 한다. 강화학습을 적용하려면 마크코프 조건을 만족해야 한다. 과거는 묻지 않고, 현재 상태로만 그의 미래를 점치는 조건이다. 과거까지 따지면 너무 복잡해서 보상을 예측하기 어렵기 때문이다.

강화학습은 로봇의 걷기 제어에도 적용될 수 있다. 로봇이 넘어지고 걷기를 반복하면서 인간에게 가까운 최적의 보행 제어를 이러한 강화 학습 방법으로 찾을 수 있다. 마찬가지로 이러한 학습은 드론의 조종, 헬리콥터 조종, 항공기의 조종 제어에 사용할 수 있다. 더 나아가 자율주행 자동차의 자동 운전에 강화학습이 사용되어 주어진 조건(State) 에서 최적의 자율 운전을 할 수 있다. 이때 최종적으로 주어지는 보상이 연료비의 절약이나 사고율 저하, 안전성 향상 등이 될 수 있다.

이때 시행착오의 과정은 시간과 비용이 든다. 자동차를 부수기에는 비용이 비싸다. 경우에 따라 시행과 보상을 컴퓨터 시뮬레이션으로 대신 하기도 한다.

강화학습은 게임에 적용되기도 한다. 블록깨기(Atari Breakout)게임을 강화학습으로 하는 경우 금방 최적의 조건을 찾는 것을 볼 수 있었다. 돌이 블록 뒤로 들어가면 여러 번의 반사과정을 반복하면서 저절로 대부분의 블록이 격파되고 점수가 올라간다.

그래서 강화학습을 수행한 컴퓨터와의 인간과의 게임이 이제 더 이상 상대가 되지 않는다. 인공지능은 이런 경우뿐만 아니라 주식투자, 재고관리, 웹사이트의 광고 배치, 상품추천 등 다양한 분야에서 중요한 결정을 인간을 대신해서 할 수 있다. 인간처럼 이 때 보상은 경영상 이익이 된다. 컴퓨터는 졸거나, 피곤해 하거나, 술을 마시지도 불평하지도 않는다. 강화 학습으로 훈련한 보상 체계만 따를 뿐이다.

생쥐 미로게임에서 다양한 시도를 통해 치즈를 얻는 길을 찾는 인공지능 강화학습의 내부 구조, [출처: KAIST]
강화학습 인공지능으로 무장한 컴퓨터의 블록깨기(Atari Breakout) 게임, [출처:Ecosia]


강화학습은 인공지능의 '무기' 

이와 같이 강화학습은 데이터와 정답 없이 스스로 학습이 가능한 인공지능 알고리즘이다. 공부로 치면 자율학습 공부 방법이다. 인공지능이 데이터를 이용해서 학습하기 위해서는 데이터를 모으는 작업에서 많은 비용을 지불 해야 한다. 데이터 수거 장치, 전송 장치, 저장 장치에 투자해야 한다. 5G 무선 통신도 투자 비용이 크다. 그러면서도 데이터를 모으려면 개인의 허락을 받아야 하고, 개인 정보 보호 문제도 극복해야 한다. 그렇지만 강화학습은 데이터 없이 학습한다. 인공지능이 점점 강력해지는 또 다른 이유이기도 하다. 

 

joungho@kaist.ac.kr

[김정호 카이스트 전기 및 전자공학과 교수]

[뉴스핌 베스트 기사]

사진
[변상문의 화랑담배] 제2회 광복군 변상문의 '화랑담배'는 6·25전쟁 이야기이다. 6·25전쟁 때 희생된 모든 분에게 감사드리고, 그 위대한 희생을 기리기 위해 제목을 '화랑담배'로 정했다.  1940년 9월 17일 중국 중경 가릉호텔에서 성대한 행사가 열렸다. 대한민국 임시정부 광복군 창설식이었다. 미국 한인 동포들이 보내온 돈 4만원으로 조직한 군대였다. 지금 돈으로 환산하면 20억 원 정도 된다. 총사령관 이청천 장군, 참모장 이범석 장군, 제1지대장 이준식, 제2지대장 고운기, 제3지대장 김학규, 제5지대장에 나월환을 임명했다. 지대장은 지금의 사단장에 해당한다. 모두 봉오동 전투, 청산리 전투를 비롯하여 남북 만주에서 전개된 항일무장투쟁에 직접 참여하여 활동한 독립군 출신이었다. 한국광복군 훈련반 제1기 졸업사진. [사진= 독립기념관] 임시정부 주석 김구는 포고문을 통해 "국내외 동포들에게 알립니다. 1940년 9월 17일부로 대한민국 광복군을 창설하였습니다. 광복군은 1907년 8월 1일 일제가 대한제국 군대를 해산한 날이 바로 광복군 창설일임을 선언합니다. 광복군은 구 한국군의 후신으로 33년간에 걸친 의병과 독립군의 항일무장투쟁을 계승한 전통 무장 조직입니다"라고 했다. 대한제국 국군-의병-독립군의 군맥(軍脈)과 군혼(軍魂)을 분명하게 잇고 있음을 천명한 것이다. 부대 편성은 소대, 중대, 대대, 연대, 여단, 사단 6단으로 편성하였다. 총 3개 사단을 조직할 계획이었다. 그러나 인원이 적은 상황에서 우선 지대를 만들고, 각 지대를 구대와 분대로 연계한 전투부대를 구성했다. 임시정부에서 1940년 9월 19일 중국 국민당 정부에 통보한 '한국광복군 총사령부 직원 명단'에 의하면, 부대 규모가 총사령부와 4개 단위부대, 여기에다 조선혁명군 부대까지 포함하여 5000여 명이었다. 임시정부에서는 1941년 12월 연합국의 일원으로 일본에 선전포고했다. 1942년에는 미국 측에 "미국이 제주도를 해방 시켜 주면, 중경에 있는 임시정부를 제주도로 옮긴 후, 광복군이 미군과 함께 한반도 상륙작전을 전개하겠다."라고 제안하였다. 이 제안은 실제로 미국 OSS 부대(지금의 CIA)와 1945년 4월부터 8월까지 강도 높은 국내 진공 작전을 준비했다. 주요 훈련은 3개월 기간에 고공낙하, 암살법(권총에 특수장치를 하여 소리 없이 암살하는 방법), 통신(암호의 작성 및 해독법, 무전기 조작 및 수리), 교란 행동, 정보수집, 폭파 등 이었다. 일과는 07:00∼12:00 오전 훈련, 13:00∼18:00 오후 훈련, 19:00∼22:00 야간 훈련이었다. 주요 임무는 대한민국으로 낙하산과 잠수함으로 침투하여 미 공군 공습에 필요한 지형 등의 정보를 제공하고 일본군 군사시설 탐지 및 파괴 지하 유격대를 조직하여 연합군 상륙작전 시 제2선에서 연결하는 작전이었다. 마침내 1945년 8월 7일 모든 훈련을 마치고 국내진공작전 출정식을 개최했다. 개시일은 8월 10일이었다. 출정식 때 장준하 경기도 공작 반장은 "나는 조국광복을 위해 죽음을 선택했습니다. 내가 나의 죽음을 지불하면, 내 능력껏 그 대가가 조국을 위해서 결제될 것입니다. 나의 각오는 한 장의 정수표입니다. 발생인은 장준하, 결제인은 조국입니다"라는 유서까지 작성했다. / 변상문 국방국악문화진흥회 이사장 2025-09-08 08:00
사진
'포스트 이시바' 누구?...고이즈미·다카이치 선두 [서울=뉴스핌] 오영상 기자 = 이시바 시게루 일본 총리가 자민당 총재직 사임을 공식화하면서, 일본 정국의 관심은 차기 자민당 총재 선거로 쏠리고 있다. 집권당 총재가 곧 총리직을 맡는 일본 정치 구조상 이번 총재 선거는 사실상 다음 총리를 뽑는 절차다. 자민당은 조만간 새로운 총재 선거 일정을 확정할 예정이다. 이번 선거에서는 지난 2024년 9월 총재 선거에서 이시바 총리와 경합했던 주요 인사들이 다시 출마할 가능성이 높다. 고이즈미 신지로 농림수산상, 다카이치 사나에 전 경제안보담당상, 하야시 요시마사 관방장관, 모테기 도시미쓰 전 간사장, 고바야시 다카유키 전 경제안보담당상 등이 후보군으로 거론된다. 정국 운영이 소수 여당이라는 제약 속에서 이루어지는 만큼, 차기 총재가 야당과 어떻게 연대할지, 어떤 연립 구도를 짤지가 최대 쟁점으로 꼽힌다. '포스트 이시바' 후보로 꼽히고 있는 고이즈미 신지로 일본 농림수산상 [사진=로이터 뉴스핌] ◆ 고이즈미·다카이치 선두권 현재 여론조사에서는 고이즈미 농림수산상과 다카이치 전 경제안보상이 선두권을 형성하고 있다. 니혼게이자이신문 지난달 29~31일 실시한 여론조사에 따르면 차기 총리에 적합한 인물로 다카이치가 23%, 고이즈미가 22%를 기록했다. 나란히 1, 2위다. 자민당 지지층으로 한정하면 고이즈미가 32%로, 다카이치(17%)를 크게 앞서는 것으로 나타났다. 다카이치는 2024년 총재 선거에서 1차 투표에서 1위를 차지했으나 결선에서 이시바에게 역전패했다. 고이즈미 역시 의원 표에서 선두에 올랐지만 당원 표에서 밀리며 결선에 오르지 못했다. 두 사람 모두 당내 기반과 대중적 인지도를 겸비해 차기 선거에서도 가장 주목받는 주자들이다. 고이즈미 농림수산상은 1981년생(44세)으로 고이즈미 준이치로 전 총리의 차남이다. 2009년 중의원 첫 당선 이후 줄곧 '포스트 아베', '차세대 리더'로 주목받았다. 환경상, 농림수산상을 거쳤으며 개혁 성향과 젊은 이미지로 지지층을 넓혔다. 2024년 총선에서 당 선거대책위원장을 맡았으나 참패 책임을 지고 물러났다. 이후 농림수산상으로 복귀해 쌀 유통 개혁 등 농정 개혁에 매진했다. 대중적 인지도와 '고이즈미 브랜드'라는 정치 자산이 최대 강점으로 꼽힌다. 다카이치 전 경제안보상은 1961년생(64세)으로 보수 강경파로 분류되는 여성 정치인이다. 2021년 총재 선거에 첫 도전해 아베 신조 전 총리의 전폭적 지원을 받으며 3위를 기록했다. 2024년 총재 선거 1차 투표에서 최다 득표(의원 72표, 당원 109표)를 얻었으나 결선에서 이시바 총리에게 역전 당했다. 유일한 여성 후보로서 '보수의 아이콘' 이미지를 갖고 있으며, 아베 전 총리와 가까웠던 의원 그룹이 주된 지지 기반이다. 이시바 정권에서 당직 제안을 거절하며 독자 노선을 유지해 왔다. '포스트 이시바' 후보로 꼽히는 다카이치 사나에 전 일본 경제안보담당상 [사진=로이터 뉴스핌] ◆ 하야시·모테기 등 잠룡도 주목 고이즈미와 다카이치 두 선두 주자 외에 잠룡들의 행보도 주목된다. 하야시 요시마사 관방장관은 옛 기시다파 일부의 지지를 받고 있으며, 이시바 정권의 2인자로서 존재감을 키워왔다. 모테기 도시미쓰 전 간사장은 당내 경험과 풍부한 인맥을 강점으로 삼고, 아소 다로 전 부총리와 교류를 통해 지지 기반을 다지고 있다. 고바야시 다카유키 전 경제안보담당상은 5선 의원으로, 동기 의원들과 옛 니카이파의 지원을 받으며 출마 가능성을 열어두고 있다. ◆ 총재 선거 이후에도 정국 '안갯속' 자민당 총재 선거는 국회의원 표와 당원·당우 표를 합산하는 방식이 원칙이지만, 긴급 시에는 국회의원과 지방 지부 대표만 투표하는 '양원 의원 총회' 방식으로 대체될 수 있다. 이 경우 의원 표의 비중이 커져 파벌 역학이 중요해진다. 차기 총재가 선출되더라도 곧바로 정권 안정으로 이어진다는 보장은 없다. 일본 헌법상 총리는 국회에서 지명되는데, 자민·공명 양당은 현재 중의원과 참의원 모두에서 과반을 잃은 상태다. 따라서 야당이 단일 후보를 세워 결집할 경우, 자민당 총재가 총리로 지명되지 못할 가능성도 배제할 수 없다. 자민당 총재가 총리에 오르더라도, 예산안·세제 개혁 법안 등 국정 운영은 야당 협조 없이는 불가능하다. 이런 이유로 차기 총재는 곧바로 '연립 확대'나 '정책 연대'를 추진할 수밖에 없고, 총재 선거 과정에서도 어떤 야당과 손을 잡을지가 핵심 화두가 된다. 결국 이번 자민당 총재 선거는 단순히 차기 지도자를 뽑는 절차를 넘어, 일본 정치가 다당제 속에서 어떤 연립 구도를 구축할지 시험대가 되는 분기점으로 평가된다. goldendog@newspim.com 2025-09-08 09:26
기사 번역
결과물 출력을 준비하고 있어요.
기사제목
기사가 번역된 내용입니다.
종목 추적기

S&P 500 기업 중 기사 내용이 영향을 줄 종목 추적

결과물 출력을 준비하고 있어요.

긍정 영향 종목

  • Lockheed Martin Corp. Industrials
    우크라이나 안보 지원 강화 기대감으로 방산 수요 증가 직접적. 미·러 긴장 완화 불확실성 속에서도 방위산업 매출 안정성 강화 예상됨.

부정 영향 종목

  • Caterpillar Inc. Industrials
    우크라이나 전쟁 장기화 시 건설 및 중장비 수요 불확실성 직접적. 글로벌 인프라 투자 지연으로 매출 성장 둔화 가능성 있음.
이 내용에 포함된 데이터와 의견은 뉴스핌 AI가 분석한 결과입니다. 정보 제공 목적으로만 작성되었으며, 특정 종목 매매를 권유하지 않습니다. 투자 판단 및 결과에 대한 책임은 투자자 본인에게 있습니다. 주식 투자는 원금 손실 가능성이 있으므로, 투자 전 충분한 조사와 전문가 상담을 권장합니다.
안다쇼핑
Top으로 이동