전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 아이에게서 배우는 AI 강화학습

기사입력 : 2019년04월22일 08:00

최종수정 : 2019년04월22일 08:00

우리는 어떻게 배우는가

필자가 처음 영어 공부를 시작한 것은 중학교 들어가기 전, 초등학교 6학년 때로 기억한다. 아마 공책에 a, b, c, d 알파벳을 필기체와 출판 서체로 연습한 기억이 난다. 그리고 영어로 배운 첫 문장이 “I am a boy,아니면 “You are a girl” 이 아닌가 생각한다.

        김정호 교수

본격적으로 영어를 공부한 시기는 고등학교 때이다. 그때 사용했던 영어 교재가 ‘성문종합영어’, ‘영어의 왕도’ , 그리고 ‘1200제’였다. 특히 그 중에 가장 어려운 교재가 ‘1200제”이었는데 아마도 일본 참고서를 번역한 책으로 기억한다.

그런데 이렇게 영어 공부를 시작할 때 재일 재미없었던 부분이 문법을 외우는 과정이었다. 명사, 대명사, 동사, 가정법 등 외우는 내용도 많고, 예외도 많았다. 그 규칙을 파악하고 외우고 이를 토대로 문장을 이해하고, 해석하고 작문하였다.

인공지능에서도 전통적으로 이와 비슷한 학습 방법을 써 왔다. 전통적 인공지능에서는 먼저 뇌와 지능의 동작 원리를 이해하고, 그에 맞추어 모델을 세우고 이를 컴퓨터 프로그램으로 구현하는 방법이다. 이 방법은 인간의 뇌의 동작을 인간의 논리로 파악하려 하는 방법이다. 영어 배울 때 문법으로 언어를 배우려는 시도와 같은 방법이다.

성문종합영어 참고서 내의 영어 문법과 작문 부분, [출처: tistory]


하지만 최근 딥뉴럴네트워크(DNN)으로 표현하는 인공지능은 빅데이터를 제공하고 그 데이터를 통해서 인공지능이 스스로 학습하는 방법이다. 이러한 방법을 ‘머신러닝' 인공지능이라고 한다. 여기서는 데이터를 믿고 학습한다. 이러한 머신러닝 학습 방법 중에서 인공지능 스스로 데이터를 만들어 내고 최적의 답을 만들어 내는 방법이 등장했는데, 이를 ‘강화학습(RL: Reinforcement Learning)’이라고 한다. 이를테면 컴퓨터 스스로가 자율학습을 해서 지능을 쌓아가는 방법이다.

아기가 처음 말을 배울 때 하는 말을 ‘옹알이’라고 한다. 옹알이를 통해서 엄마와 소통하면서 말을 배워나간다. 그때 처음 배우는 말이 ‘엄마’, ‘맘마’, ‘아빠’ 와 같은 단어들이다. 맘마라고 부르면 엄마가 우유를 주고, 엄마라고 부르면 엄마가 따뜻한 눈길을 주고 사랑으로 안아준다. 이처럼 아기가 언어를 배우는 과정에서는 아기가 주변 환경과 교류하면서 보상을 얻는 과정에서 말을 배운다. 우리처럼 문법을 통해서 배우지 않는다.

또한 아기가 걸음마를 배우는 과정도 비슷하다. 걷고, 넘어지고 다치면서, 시행착오를 거치면서 아장 아장 걷기를 배운다. 이때 환경은 거실 마루이고, 보상은 걷는 기쁨과 엄마의 웃음이다. 이처럼 주변환경 속에서 행동하고 보상 받으면서, 그 결과 최선의 결정과 행동을 하면서 학습하는 방법을 ‘강화학습’ 인공지능이라고 한다. 그래서 강화학습은 인간이 본능적으로 배우는 학습 방법이다.

아기가 옹알이를 하며 말을 배우고 있다. [출처: tistory]


시행착오 통한 강화학습, 로봇과 게임에도 적용 가능

강화학습에서는 주변 환경(Environment)이 있고 그 상태(State)를 벡터로 표현한다. 다양한 시도(Action)와 보상(Reward)를 얻으면서 스토리(Episode)를 만들고, 그 결과로 환경을 파악해 간다. 이렇게 시행착오를 거쳐서 학습하게 된다. 그리고 최적의 정책(Policy)을 찾아간다.

생쥐의 미로 찾기 게임이 강화학습의 좋은 한 예가 된다. 이 때 미로의 구조가 환경이 되고, 최종적으로 치즈를 먹게 되면 보상을 얻게 된다. 그렇지만 최단 시간 내에 찾아야 하는 조건이 붙게 된다. 이처럼 각 상태에 따라 미래를 정할 수 있고, 과거는 묻지 않는 조건을 강화학습에서는 마르코프(Markov) 조건이라고 한다. 강화학습을 적용하려면 마크코프 조건을 만족해야 한다. 과거는 묻지 않고, 현재 상태로만 그의 미래를 점치는 조건이다. 과거까지 따지면 너무 복잡해서 보상을 예측하기 어렵기 때문이다.

강화학습은 로봇의 걷기 제어에도 적용될 수 있다. 로봇이 넘어지고 걷기를 반복하면서 인간에게 가까운 최적의 보행 제어를 이러한 강화 학습 방법으로 찾을 수 있다. 마찬가지로 이러한 학습은 드론의 조종, 헬리콥터 조종, 항공기의 조종 제어에 사용할 수 있다. 더 나아가 자율주행 자동차의 자동 운전에 강화학습이 사용되어 주어진 조건(State) 에서 최적의 자율 운전을 할 수 있다. 이때 최종적으로 주어지는 보상이 연료비의 절약이나 사고율 저하, 안전성 향상 등이 될 수 있다.

이때 시행착오의 과정은 시간과 비용이 든다. 자동차를 부수기에는 비용이 비싸다. 경우에 따라 시행과 보상을 컴퓨터 시뮬레이션으로 대신 하기도 한다.

강화학습은 게임에 적용되기도 한다. 블록깨기(Atari Breakout)게임을 강화학습으로 하는 경우 금방 최적의 조건을 찾는 것을 볼 수 있었다. 돌이 블록 뒤로 들어가면 여러 번의 반사과정을 반복하면서 저절로 대부분의 블록이 격파되고 점수가 올라간다.

그래서 강화학습을 수행한 컴퓨터와의 인간과의 게임이 이제 더 이상 상대가 되지 않는다. 인공지능은 이런 경우뿐만 아니라 주식투자, 재고관리, 웹사이트의 광고 배치, 상품추천 등 다양한 분야에서 중요한 결정을 인간을 대신해서 할 수 있다. 인간처럼 이 때 보상은 경영상 이익이 된다. 컴퓨터는 졸거나, 피곤해 하거나, 술을 마시지도 불평하지도 않는다. 강화 학습으로 훈련한 보상 체계만 따를 뿐이다.

생쥐 미로게임에서 다양한 시도를 통해 치즈를 얻는 길을 찾는 인공지능 강화학습의 내부 구조, [출처: KAIST]
강화학습 인공지능으로 무장한 컴퓨터의 블록깨기(Atari Breakout) 게임, [출처:Ecosia]


강화학습은 인공지능의 '무기' 

이와 같이 강화학습은 데이터와 정답 없이 스스로 학습이 가능한 인공지능 알고리즘이다. 공부로 치면 자율학습 공부 방법이다. 인공지능이 데이터를 이용해서 학습하기 위해서는 데이터를 모으는 작업에서 많은 비용을 지불 해야 한다. 데이터 수거 장치, 전송 장치, 저장 장치에 투자해야 한다. 5G 무선 통신도 투자 비용이 크다. 그러면서도 데이터를 모으려면 개인의 허락을 받아야 하고, 개인 정보 보호 문제도 극복해야 한다. 그렇지만 강화학습은 데이터 없이 학습한다. 인공지능이 점점 강력해지는 또 다른 이유이기도 하다. 

 

joungho@kaist.ac.kr

[김정호 카이스트 전기 및 전자공학과 교수]

[뉴스핌 베스트 기사]

사진
SPC "8시간 넘는 야간근무 없앤다" [서울=뉴스핌] 최원진 기자= SPC그룹이 27일 대표이사 협의체인 'SPC 커미티'를 열고 장시간 야간 근로를 폐지하고, 앞으로 생산직의 야근 시간을 8시간 이내로 제한하기로 했다고 밝혔다. SPC그룹은 야간 생산이 불가피한 일부 필수 품목을 제외하고, 가능하면 야간 가동 자체를 줄여나가겠다는 방침이다. 그룹 관계자는 "8시간 초과 야근 폐지를 위해 △인력 확충 △생산 품목 및 생산량 조정 △라인 재편 등 전반적 생산 구조를 완전히 바꿀 계획이다. 각 (계열)사별 실행 방안을 마련해 10월1일부터 전면 시행한다"고 설명했다. 이재명 대통령이 지난 25일 경기 시흥시 SPC 삼립 시흥 공장에서 열린 산업재해 근절 현장 노사간담회에서 발언을 하는 모습. [사진=대통령실]  주간 근무 시간 역시 단계적으로 단축해 장시간 노동에 따른 피로 누적과 사고 위험을 사전에 차단한다는 계획이다. 또한 이번 근무체계 전환이 현장에서 안정적으로 정착될 수 있도록 노조와 협의를 병행하고, 내부 교육 및 매뉴얼 정비 작업도 함께 추진할 예정이다. SPC는 "생산 현장의 장시간 야간 근로에 대한 지적과 우려를 무겁게 받아들여 근무 형태를 비롯한 생산 시스템 전반에 대한 개혁을 추진하기로 했다"며 "앞으로 근로자 안전이 최우선시되는 일터를 만들 수 있도록 적극 개선하고 투자하겠다"고 밝혔다. 이번 결정은 지난 25일 이재명 대통령이 SPC삼립 시화공장을 직접 찾아 현장 간담회를 주재하며 야간 노동과 과도한 업무 강도를 지적한 데 따른 것이다.  이 대통령은 지난 5월 SPC 시화공장에서 발생한 여성 노동자 사망 사고와 관련해 "수십 년이 흘렀지만 여전히 현장에서 노동자가 죽고 있다"며 "같은 방식의 사고가 반복되는 건 심각한 문제"라고 강하게 비판했다. 이어 "돈과 비용 때문에 안전과 생명을 희생하는 구조라면 반드시 바뀌어야 한다"며 "이번을 계기로 산재 사망률을 줄이기 위한 현실적이고 구체적인 대책이 마련되길 바란다"고 강조했다. 이날 간담회에는 김영훈 고용노동부 장관, 김용범 정책실장, 문진영 사회수석 등 청와대 주요 인사들이 배석했으며, SPC 측에선 허영인 회장과 김범수 SPC삼립 대표, 김지형 컴플라이언스위원장, 김희성 안전보건총괄책임자, 김인혁 노조위원장 등이 참석했다. CJ푸드빌, 크라운제과 등 타 식품업체의 현장 책임자들도 함께 자리를 했다. wonjc6@newspim.com 2025-07-27 13:22
사진
특검, '공천개입 의혹' 윤상현 의원 소환 [서울=뉴스핌] 최원진 기자= 윤석열 전 대통령 부부의 공천 개입 의혹을 수사 중인 민중기 특별검사팀이 27일 국민의힘 윤상현 의원을 소환했다. 윤 의원은 이날 오전 9시 25분께 서울 종로구 KT광화문웨스트빌딩에 위치한 특검 사무실에 출석했다. 현장에 모인 취재진이 공천 개입 의혹에 대한 입장을 묻자 윤 의원은 "진실되고 성실하게 조사에 임하겠다"고 답했다. 윤 전 대통령으로부터 김영선 전 의원의 공천과 관련한 연락을 받은 적이 있는지에 대한 질문에는 "그 부분은 조사에서 말씀드리겠다"며 말을 아꼈다. 윤 의원은 2022년 6월 치러진 경남 창원 의창구 국회의원 보궐선거 당시 국민의힘 공천관리위원장을 맡았으며, 특검은 김건희 여사가 당시 전략공천에 영향을 미치는 과정에 윤 의원이 개입했는지 여부를 집중 수사 중이다. 김 여사는 제20대 대통령 선거 직후 '정치 브로커'로 알려진 명태균 씨로부터 여론조사를 무상으로 제공받은 대가로, 같은 해 6월 보궐선거에서 김영선 전 의원이 창원 의창에 전략공천되도록 개입한 혐의를 받고 있다. 앞서 공개된 통화 녹취록에 따르면, 윤석열 전 대통령은 2022년 5월 9일 국민의힘 보궐선거 공천 발표를 하루 앞두고 명태균 씨에게 "내가 김영선이 경선 때부터 열심히 뛰었으니까 김영선이를 좀 해줘라 그랬는데, 말이 많네. 당에서"라며 "상현이(윤 의원)한테 내가 한 번 더 이야기할게. 걔가 공관위원장이니까"라고 말했다. 특검팀은 이달 8일 업무방해 등 혐의로 윤 의원의 국회 의원회관 사무실과 자택 등을 압수수색하고 휴대전화 등을 확보했다.  [서울=뉴스핌] 정일구 기자 = 공천 개입 의혹을 받는 윤상현 국민의힘 의원이 27일 오전 소환 조사를 받기 위해 서울 종로구 KT광화문빌딩 웨스트에 마련된 김건희 특검 사무실로 출석하고 있다. 2025.07.27 mironj19@newspim.com wonjc6@newspim.com 2025-07-27 10:01
안다쇼핑
Top으로 이동