전체기사 최신뉴스 GAM 라씨로
KYD 라이브
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 아이에게서 배우는 AI 강화학습

기사입력 : 2019년04월22일 08:00

최종수정 : 2019년04월22일 08:00

우리는 어떻게 배우는가

필자가 처음 영어 공부를 시작한 것은 중학교 들어가기 전, 초등학교 6학년 때로 기억한다. 아마 공책에 a, b, c, d 알파벳을 필기체와 출판 서체로 연습한 기억이 난다. 그리고 영어로 배운 첫 문장이 “I am a boy,아니면 “You are a girl” 이 아닌가 생각한다.

        김정호 교수

본격적으로 영어를 공부한 시기는 고등학교 때이다. 그때 사용했던 영어 교재가 ‘성문종합영어’, ‘영어의 왕도’ , 그리고 ‘1200제’였다. 특히 그 중에 가장 어려운 교재가 ‘1200제”이었는데 아마도 일본 참고서를 번역한 책으로 기억한다.

그런데 이렇게 영어 공부를 시작할 때 재일 재미없었던 부분이 문법을 외우는 과정이었다. 명사, 대명사, 동사, 가정법 등 외우는 내용도 많고, 예외도 많았다. 그 규칙을 파악하고 외우고 이를 토대로 문장을 이해하고, 해석하고 작문하였다.

인공지능에서도 전통적으로 이와 비슷한 학습 방법을 써 왔다. 전통적 인공지능에서는 먼저 뇌와 지능의 동작 원리를 이해하고, 그에 맞추어 모델을 세우고 이를 컴퓨터 프로그램으로 구현하는 방법이다. 이 방법은 인간의 뇌의 동작을 인간의 논리로 파악하려 하는 방법이다. 영어 배울 때 문법으로 언어를 배우려는 시도와 같은 방법이다.

성문종합영어 참고서 내의 영어 문법과 작문 부분, [출처: tistory]


하지만 최근 딥뉴럴네트워크(DNN)으로 표현하는 인공지능은 빅데이터를 제공하고 그 데이터를 통해서 인공지능이 스스로 학습하는 방법이다. 이러한 방법을 ‘머신러닝' 인공지능이라고 한다. 여기서는 데이터를 믿고 학습한다. 이러한 머신러닝 학습 방법 중에서 인공지능 스스로 데이터를 만들어 내고 최적의 답을 만들어 내는 방법이 등장했는데, 이를 ‘강화학습(RL: Reinforcement Learning)’이라고 한다. 이를테면 컴퓨터 스스로가 자율학습을 해서 지능을 쌓아가는 방법이다.

아기가 처음 말을 배울 때 하는 말을 ‘옹알이’라고 한다. 옹알이를 통해서 엄마와 소통하면서 말을 배워나간다. 그때 처음 배우는 말이 ‘엄마’, ‘맘마’, ‘아빠’ 와 같은 단어들이다. 맘마라고 부르면 엄마가 우유를 주고, 엄마라고 부르면 엄마가 따뜻한 눈길을 주고 사랑으로 안아준다. 이처럼 아기가 언어를 배우는 과정에서는 아기가 주변 환경과 교류하면서 보상을 얻는 과정에서 말을 배운다. 우리처럼 문법을 통해서 배우지 않는다.

또한 아기가 걸음마를 배우는 과정도 비슷하다. 걷고, 넘어지고 다치면서, 시행착오를 거치면서 아장 아장 걷기를 배운다. 이때 환경은 거실 마루이고, 보상은 걷는 기쁨과 엄마의 웃음이다. 이처럼 주변환경 속에서 행동하고 보상 받으면서, 그 결과 최선의 결정과 행동을 하면서 학습하는 방법을 ‘강화학습’ 인공지능이라고 한다. 그래서 강화학습은 인간이 본능적으로 배우는 학습 방법이다.

아기가 옹알이를 하며 말을 배우고 있다. [출처: tistory]


시행착오 통한 강화학습, 로봇과 게임에도 적용 가능

강화학습에서는 주변 환경(Environment)이 있고 그 상태(State)를 벡터로 표현한다. 다양한 시도(Action)와 보상(Reward)를 얻으면서 스토리(Episode)를 만들고, 그 결과로 환경을 파악해 간다. 이렇게 시행착오를 거쳐서 학습하게 된다. 그리고 최적의 정책(Policy)을 찾아간다.

생쥐의 미로 찾기 게임이 강화학습의 좋은 한 예가 된다. 이 때 미로의 구조가 환경이 되고, 최종적으로 치즈를 먹게 되면 보상을 얻게 된다. 그렇지만 최단 시간 내에 찾아야 하는 조건이 붙게 된다. 이처럼 각 상태에 따라 미래를 정할 수 있고, 과거는 묻지 않는 조건을 강화학습에서는 마르코프(Markov) 조건이라고 한다. 강화학습을 적용하려면 마크코프 조건을 만족해야 한다. 과거는 묻지 않고, 현재 상태로만 그의 미래를 점치는 조건이다. 과거까지 따지면 너무 복잡해서 보상을 예측하기 어렵기 때문이다.

강화학습은 로봇의 걷기 제어에도 적용될 수 있다. 로봇이 넘어지고 걷기를 반복하면서 인간에게 가까운 최적의 보행 제어를 이러한 강화 학습 방법으로 찾을 수 있다. 마찬가지로 이러한 학습은 드론의 조종, 헬리콥터 조종, 항공기의 조종 제어에 사용할 수 있다. 더 나아가 자율주행 자동차의 자동 운전에 강화학습이 사용되어 주어진 조건(State) 에서 최적의 자율 운전을 할 수 있다. 이때 최종적으로 주어지는 보상이 연료비의 절약이나 사고율 저하, 안전성 향상 등이 될 수 있다.

이때 시행착오의 과정은 시간과 비용이 든다. 자동차를 부수기에는 비용이 비싸다. 경우에 따라 시행과 보상을 컴퓨터 시뮬레이션으로 대신 하기도 한다.

강화학습은 게임에 적용되기도 한다. 블록깨기(Atari Breakout)게임을 강화학습으로 하는 경우 금방 최적의 조건을 찾는 것을 볼 수 있었다. 돌이 블록 뒤로 들어가면 여러 번의 반사과정을 반복하면서 저절로 대부분의 블록이 격파되고 점수가 올라간다.

그래서 강화학습을 수행한 컴퓨터와의 인간과의 게임이 이제 더 이상 상대가 되지 않는다. 인공지능은 이런 경우뿐만 아니라 주식투자, 재고관리, 웹사이트의 광고 배치, 상품추천 등 다양한 분야에서 중요한 결정을 인간을 대신해서 할 수 있다. 인간처럼 이 때 보상은 경영상 이익이 된다. 컴퓨터는 졸거나, 피곤해 하거나, 술을 마시지도 불평하지도 않는다. 강화 학습으로 훈련한 보상 체계만 따를 뿐이다.

생쥐 미로게임에서 다양한 시도를 통해 치즈를 얻는 길을 찾는 인공지능 강화학습의 내부 구조, [출처: KAIST]
강화학습 인공지능으로 무장한 컴퓨터의 블록깨기(Atari Breakout) 게임, [출처:Ecosia]


강화학습은 인공지능의 '무기' 

이와 같이 강화학습은 데이터와 정답 없이 스스로 학습이 가능한 인공지능 알고리즘이다. 공부로 치면 자율학습 공부 방법이다. 인공지능이 데이터를 이용해서 학습하기 위해서는 데이터를 모으는 작업에서 많은 비용을 지불 해야 한다. 데이터 수거 장치, 전송 장치, 저장 장치에 투자해야 한다. 5G 무선 통신도 투자 비용이 크다. 그러면서도 데이터를 모으려면 개인의 허락을 받아야 하고, 개인 정보 보호 문제도 극복해야 한다. 그렇지만 강화학습은 데이터 없이 학습한다. 인공지능이 점점 강력해지는 또 다른 이유이기도 하다. 

 

joungho@kaist.ac.kr

[김정호 카이스트 전기 및 전자공학과 교수]

CES 2025 참관단 모집

[뉴스핌 베스트 기사]

사진
의왕 오전왕곡, 1.4만 가구 들어선다 [서울=뉴스핌] 최현민 기자 = 2029년 개통예정인 인덕원~동탄 복선전철 그리고 수도권광역급행철도(GTX) C노선이 연계되는 경기 의왕시 오전동, 왕곡동 일대에 약 1만4000가구가 들어선다. 5일 국토교통부에 따르면 지난 8월 발표한 '주택 공급 방안' 후속 조치로 의왕 오전왕곡지구가 신규 택지 후보지로 선정됐다. 오전왕곡지구는 경기도 의왕시 오전동, 왕곡동에 걸쳐 있고 187만㎡(57만평)에 1만4000가구가 들어선다. 의왕 오전왕곡은 경수대로·과천-봉담 간 도시 고속화 도로에 연접한 부지로 산업 기능 유치 잠재력이 높은 곳으로 난개발 방지를 위한 계획적 개발이 요구되는 곳이다. 특히 지구 내 친수 공간이 풍부해 정주 환경이 우수하고 인접한 과천지식정보타운 등과 연계한 의료·바이오 산업 유치에 유리해 자족 기능 확보를 통한 수도권 남부의 새로운 직주 근접 생활 공간 조성이 전망된다. 의왕 오전왕곡은 서울시 경계에서 약 10㎞ 남측, 의왕 IC 인근으로 인접 지역에 의왕·군포·안산 신도시, 의왕고천지구, 의왕백운밸리 등이 위치하고 있다. 과천~봉담 도시 고속화 도로, 경수대로(국도 1호선)가 인접하고 있으며 의왕시청역(가칭) (동탄~인덕원선, 2029년 개통 예정)이 700m 거리에 위치한다. 현재 도시철도 혜택을 받지 못하는 오전왕곡지구는 주변에 형성되는 3개 광역철도와의 연계에 촛점을 맞추고 있다. 국토부는 수도권광역급행철도(GTX)-C, 인덕원-동탄선과의 연계 강화를 통해 서울 도심까지 30분 내 접근이 가능하도록 교통망을 구축하겠다는 계획이다. 우선 GTX-C 노선 연계성, 인덕원~동탄선 접근성 강화 등 철도 교통 접근성을 향상시킨다. 이와 함께 대상지 북측으로 월곶~판교선이 예정돼 있는 만큼 현재 주거단지로 바뀐 백운호수 일대와 연계하는 방안도 고려될 전망이다.  현 과천-봉담 고속화 도로와 경수대로(국도 1호선)의 연결 및 주변 도로 확충을 통해 서울 등 지역 간 접근성 개선 및 교통량 분산도 추진한다. 의왕 TG 광역버스 정류장을 활용한 광역 대중교통 환승 체계 개선과 오전동과 왕곡동으로 분리된 사업 지구 간 도로 연결 체계를 구축해 지구 간 단절을 해소하고 단일 생활권으로 조성한다. min72@newspim.com 2024-11-05 15:00
사진
위고비 부작용 논란…"단순 살 빼는 주사 아냐" [세종=뉴스핌] 신도경 기자 = 덴마크 제약사 노보노디스크의 '위고비' '삭센다' 등 비만치료제가 품절 대란과 함께 부작용 논란도 지속돼 주의가 요구된다. 4일 식품의약품안전처에 따르면 비만치료제 등에 대해 보고된 이상 사례는 0건으로 집계됐다. 식약처는 보고된 이상 사례가 없어 특정한 규제 등이 아직 필요하지 않다고 밝혔다. 다만 주사형 비만치료제의 경우 허가된 대상자만 처방받아야 한다고 강조했다. ◆ 주사형 비만치료제 처방 급증…해외서 부작용 발생 이어져 최근 주사형 비만치료제 처방이 급증하고 있다. 전진숙 더불어민주당 의원실에 따르면 의약품 안전사용서비스(DUR) 점검 건 중 비대면 진료로 삭센다를 처방한 건수는 작년 12월 183건에서 지난달 3347건으로 18.3배 증가했다. 글루카곤 유사 펩타이드(GLP-1) 성분 비만치료제 위고비는 식약처 허가에 따라 지난 달부터 국내에 출시됐다. 이후 2주동안 품절 대란이 일어날만큼 처방이 끊이지 않고 있다. [자료=식품의약품안전처] 2024.11.04 sdk1991@newspim.com 문제는 주사형 비 만치료에 처방 오남용이 발생하고 있다는 것이다. 비만치료제 주사제는 초기 체질량지수(BMI) 30kg/m2 이상인 성인 비만 환자 또는 BMI가 27kg/m2 이상 30kg/m2 미만이면서 고혈압 등 1개 이상의 체중 관련 동반 질환이 있는 성인 비만 환자에게 처방되는 전문의약품이다. 그런데 정상 체중군이 다이어트를 위해 처방받는 사례가 다수 발생하고 있다. 미국 등 한국보다 앞서 위고비를 허가한 해외에서 부작용에 따른 사망 사례 등이 발생하면서 부작용 논란도 계속되고 있다. 국제학술지 '큐리어스(Cureus)'에 따르면 미국의 70대 남성은 세마글루타이드 용량을 늘렸다가 급성 췌장염으로 입원한 뒤 결국 사망했다. GLP-1 계열의 약물인 세마글루타이드를 1년 6개월간 투여하던 일본 여성의 경우 복통을 일으켜 소장을 절제한 사례도 보고됐다. 이외 복통 호소, 구토 증상을 호소한 사례가 일어났다. 대한당뇨병학회는 "단순 체중 감량을 위한 정상체중군의 무분별한 약물 사용은 개인의 건강을 해칠 뿐만 아니라 비만 치료가 꼭 필요한 환자들에게 약물의 접근성을 저해할 수 있다"며 "비만과 대사질환이 없는 상황에서 쉽게 살을 뺄 수 있는 비법처럼 약물치료가 인식되고 있는 것은 매우 심각한 상황"이라고 경고했다. ◆ 식약처, 이상사례 보고 0건…"단순 살 빼는 주사 아냐" 정부는 국내에 보고된 이상 사례는 없다고 밝혔다. 다만 단순한 살빼는 주사가 아니기 때문에 치료 대상만 받아야 하고 의사 처방에 의해 사용해야 한다고 강조했다. 식약처는 비만치료제 허가 이유에 대해 "모든 약이 부작용이 있는데 상외할만큼 효과가 있기 때문에 허가했다"며 "고도비만 환자들의 경우 부작용에도 불구하고 치료 효과가 있다"고 설명했다. [자료=식품의약품안전처] 2024.11.04 sdk1991@newspim.com 반면 미국에서 발생한 췌장암 사망 사건의 관해 식약처 관계자는 "급성 췌장염은 예상되는 이상 사례"라며 "임상 시험을 했고 허가 범위 내 환자들이 사용해도 두통, 고통, 설사 등이 나타날 수 있다"고 설명했다. 그는 "국내와 해외 부작용 사례는 다를 수 있다"고 덧붙였다. 식약처는 국내·외 사례를 지속적으로 검토하겠다고 밝혔다. 국민들한테 알려야 할 필요가 있다고 생각되면 조치하겠다고도 설명했다. 그러면서 비만치료제는 단순 살 빼는 주사가 아니라며 허가된 대상자만 사용해야 한다고 강조했다. 다만 식약처 관계자는 "이상 사례가 나타났다고 바로 조치할 수 없다"며 "인과관계가 증명되면 그것에 따른 적합한 조치를 할 예정"이라고 설명했다. sdk1991@newspim.com 2024-11-04 15:30
안다쇼핑
Top으로 이동