전체기사 최신뉴스 GAM
KYD 디데이
산업 생활경제

속보

더보기

[김정호의 4차혁명 오딧세이] 아이에게서 배우는 AI 강화학습

기사입력 : 2019년04월22일 08:00

최종수정 : 2019년04월22일 08:00

우리는 어떻게 배우는가

필자가 처음 영어 공부를 시작한 것은 중학교 들어가기 전, 초등학교 6학년 때로 기억한다. 아마 공책에 a, b, c, d 알파벳을 필기체와 출판 서체로 연습한 기억이 난다. 그리고 영어로 배운 첫 문장이 “I am a boy,아니면 “You are a girl” 이 아닌가 생각한다.

        김정호 교수

본격적으로 영어를 공부한 시기는 고등학교 때이다. 그때 사용했던 영어 교재가 ‘성문종합영어’, ‘영어의 왕도’ , 그리고 ‘1200제’였다. 특히 그 중에 가장 어려운 교재가 ‘1200제”이었는데 아마도 일본 참고서를 번역한 책으로 기억한다.

그런데 이렇게 영어 공부를 시작할 때 재일 재미없었던 부분이 문법을 외우는 과정이었다. 명사, 대명사, 동사, 가정법 등 외우는 내용도 많고, 예외도 많았다. 그 규칙을 파악하고 외우고 이를 토대로 문장을 이해하고, 해석하고 작문하였다.

인공지능에서도 전통적으로 이와 비슷한 학습 방법을 써 왔다. 전통적 인공지능에서는 먼저 뇌와 지능의 동작 원리를 이해하고, 그에 맞추어 모델을 세우고 이를 컴퓨터 프로그램으로 구현하는 방법이다. 이 방법은 인간의 뇌의 동작을 인간의 논리로 파악하려 하는 방법이다. 영어 배울 때 문법으로 언어를 배우려는 시도와 같은 방법이다.

성문종합영어 참고서 내의 영어 문법과 작문 부분, [출처: tistory]


하지만 최근 딥뉴럴네트워크(DNN)으로 표현하는 인공지능은 빅데이터를 제공하고 그 데이터를 통해서 인공지능이 스스로 학습하는 방법이다. 이러한 방법을 ‘머신러닝' 인공지능이라고 한다. 여기서는 데이터를 믿고 학습한다. 이러한 머신러닝 학습 방법 중에서 인공지능 스스로 데이터를 만들어 내고 최적의 답을 만들어 내는 방법이 등장했는데, 이를 ‘강화학습(RL: Reinforcement Learning)’이라고 한다. 이를테면 컴퓨터 스스로가 자율학습을 해서 지능을 쌓아가는 방법이다.

아기가 처음 말을 배울 때 하는 말을 ‘옹알이’라고 한다. 옹알이를 통해서 엄마와 소통하면서 말을 배워나간다. 그때 처음 배우는 말이 ‘엄마’, ‘맘마’, ‘아빠’ 와 같은 단어들이다. 맘마라고 부르면 엄마가 우유를 주고, 엄마라고 부르면 엄마가 따뜻한 눈길을 주고 사랑으로 안아준다. 이처럼 아기가 언어를 배우는 과정에서는 아기가 주변 환경과 교류하면서 보상을 얻는 과정에서 말을 배운다. 우리처럼 문법을 통해서 배우지 않는다.

또한 아기가 걸음마를 배우는 과정도 비슷하다. 걷고, 넘어지고 다치면서, 시행착오를 거치면서 아장 아장 걷기를 배운다. 이때 환경은 거실 마루이고, 보상은 걷는 기쁨과 엄마의 웃음이다. 이처럼 주변환경 속에서 행동하고 보상 받으면서, 그 결과 최선의 결정과 행동을 하면서 학습하는 방법을 ‘강화학습’ 인공지능이라고 한다. 그래서 강화학습은 인간이 본능적으로 배우는 학습 방법이다.

아기가 옹알이를 하며 말을 배우고 있다. [출처: tistory]


시행착오 통한 강화학습, 로봇과 게임에도 적용 가능

강화학습에서는 주변 환경(Environment)이 있고 그 상태(State)를 벡터로 표현한다. 다양한 시도(Action)와 보상(Reward)를 얻으면서 스토리(Episode)를 만들고, 그 결과로 환경을 파악해 간다. 이렇게 시행착오를 거쳐서 학습하게 된다. 그리고 최적의 정책(Policy)을 찾아간다.

생쥐의 미로 찾기 게임이 강화학습의 좋은 한 예가 된다. 이 때 미로의 구조가 환경이 되고, 최종적으로 치즈를 먹게 되면 보상을 얻게 된다. 그렇지만 최단 시간 내에 찾아야 하는 조건이 붙게 된다. 이처럼 각 상태에 따라 미래를 정할 수 있고, 과거는 묻지 않는 조건을 강화학습에서는 마르코프(Markov) 조건이라고 한다. 강화학습을 적용하려면 마크코프 조건을 만족해야 한다. 과거는 묻지 않고, 현재 상태로만 그의 미래를 점치는 조건이다. 과거까지 따지면 너무 복잡해서 보상을 예측하기 어렵기 때문이다.

강화학습은 로봇의 걷기 제어에도 적용될 수 있다. 로봇이 넘어지고 걷기를 반복하면서 인간에게 가까운 최적의 보행 제어를 이러한 강화 학습 방법으로 찾을 수 있다. 마찬가지로 이러한 학습은 드론의 조종, 헬리콥터 조종, 항공기의 조종 제어에 사용할 수 있다. 더 나아가 자율주행 자동차의 자동 운전에 강화학습이 사용되어 주어진 조건(State) 에서 최적의 자율 운전을 할 수 있다. 이때 최종적으로 주어지는 보상이 연료비의 절약이나 사고율 저하, 안전성 향상 등이 될 수 있다.

이때 시행착오의 과정은 시간과 비용이 든다. 자동차를 부수기에는 비용이 비싸다. 경우에 따라 시행과 보상을 컴퓨터 시뮬레이션으로 대신 하기도 한다.

강화학습은 게임에 적용되기도 한다. 블록깨기(Atari Breakout)게임을 강화학습으로 하는 경우 금방 최적의 조건을 찾는 것을 볼 수 있었다. 돌이 블록 뒤로 들어가면 여러 번의 반사과정을 반복하면서 저절로 대부분의 블록이 격파되고 점수가 올라간다.

그래서 강화학습을 수행한 컴퓨터와의 인간과의 게임이 이제 더 이상 상대가 되지 않는다. 인공지능은 이런 경우뿐만 아니라 주식투자, 재고관리, 웹사이트의 광고 배치, 상품추천 등 다양한 분야에서 중요한 결정을 인간을 대신해서 할 수 있다. 인간처럼 이 때 보상은 경영상 이익이 된다. 컴퓨터는 졸거나, 피곤해 하거나, 술을 마시지도 불평하지도 않는다. 강화 학습으로 훈련한 보상 체계만 따를 뿐이다.

생쥐 미로게임에서 다양한 시도를 통해 치즈를 얻는 길을 찾는 인공지능 강화학습의 내부 구조, [출처: KAIST]
강화학습 인공지능으로 무장한 컴퓨터의 블록깨기(Atari Breakout) 게임, [출처:Ecosia]


강화학습은 인공지능의 '무기' 

이와 같이 강화학습은 데이터와 정답 없이 스스로 학습이 가능한 인공지능 알고리즘이다. 공부로 치면 자율학습 공부 방법이다. 인공지능이 데이터를 이용해서 학습하기 위해서는 데이터를 모으는 작업에서 많은 비용을 지불 해야 한다. 데이터 수거 장치, 전송 장치, 저장 장치에 투자해야 한다. 5G 무선 통신도 투자 비용이 크다. 그러면서도 데이터를 모으려면 개인의 허락을 받아야 하고, 개인 정보 보호 문제도 극복해야 한다. 그렇지만 강화학습은 데이터 없이 학습한다. 인공지능이 점점 강력해지는 또 다른 이유이기도 하다. 

 

joungho@kaist.ac.kr

[김정호 카이스트 전기 및 전자공학과 교수]

[뉴스핌 베스트 기사]

사진
[콘리뷰] 8만팬 매료시킨 블랙핑크 [고양=뉴스핌] 이지은 기자 = 솔로 활동을 마치고 다시 완전체로 뭉친 그룹 블랙핑크가 새로운 월드투어의 포문을 열었다. 강렬한 퍼포먼스에도 흔들림 없는 안정적인 라이브를 선보이며 블랙핑크는 '월드 클래스'의 면모를 다시 한 번 각인시켰다. 블랙핑크가 지난 5일부터 6일, 양일간 경기 고양시에 위치한 고양종합운동장에서 새 월드투어 '데드라인(DEADLINE)'을 개최했다. 이번 공연은 K팝 걸그룹 최초로 고양종합운동장 주경기장에 단독 입성한 것이자, 1년 10개월 만의 투어이다. 양일간 공연에는 7만8000명의 팬들이 함께 했다. [고양=뉴스핌] 이지은 기자 = 경기 고양에 위치한 고양종합운동장에서 블랙핑크의 새 월드투어 '데드라인'을 개최했다. [사진=YG엔터테인먼트] 2025.07.06 alice09@newspim.com 지난 월드투어 '본 핑크(BORN PINK)'로 전 세계 팬들과 만나왔던 블랙핑크는 이번 새 투어의 포문을 '킬 디스 러브(Kill This Love)'로 열었다. 이어 '핑크 베놈(Pink Venom)'로 공연장을 한순간에 압도시켰다. 이날 지수는 "'2025 블랙핑크 데드라인 월드투어-고양'에 오신 모든 분들을 환영한다. 둘째 날이니 다들 더 잘 노실 수 있을 거라고 생각한다"고 말했다. 이어 멤버들은 각자 소개를 짧게 한 후 '하우 유 라이크 댓(How You Like That)'을 이어갔다. 플로어 석에 앉은 팬들은 모두 자리에서 일어나 블랙핑크의 공연을 즐겼고, 노래를 따라 부르며 환호했다. 고양종합운동장에 모인 팬덤 블링크는 블랙핑크의 히트곡이 연달아 나오자 엄청난 열기를 뿜어내며 열광했다. 이들은 팬들의 호응에 보답하듯 강렬한 퍼포먼스에도 불구하고 안정적인 라이브로 '불장난'과 '셧 다운(Shut Down)'으로 분위기를 이어갔다. 특히 솔로 활동을 통해 개인 역량을 최고치로 이끌어낸 이들은 공연 중간 중간 팬들의 호응을 이끌어내며 노련미를 뽐냈다. 개인 활동으로 국내외 차트에서 새로운 기록을 써내려갔던 이들은 이번 콘서트 중간 중간 솔로 무대를 선보였다. 개인 무대가 시작되기 전, 댄서들은 편곡된 블랙핑크의 노래에 맞춰 퍼포먼스를 선보이며 다채로운 볼거리를 선사했고 팬들은 아낌없는 박수를 보냈다. [고양=뉴스핌] 이지은 기자 = 경기 고양에 위치한 고양종합운동장에서 블랙핑크의 새 월드투어 '데드라인'을 개최했다. [사진=YG엔터테인먼트] 2025.07.06 alice09@newspim.com 이후 지수는 '어스퀘이크&유어 러브(earthquake&Your Love)'로 솔로 무대의 시작을 알렸다. 이어 리사는 미국 최대 페스티벌 코첼라에서 해외 팬들을 사로잡았던 '뉴 우먼&록스타(New Woman&Rockstar)'을 선곡하며 객석을 단숨에 압도시켰다. 팬들은 자리에서 모두 일어나 열광하며 리사의 무대를 온전히 즐겼다. 다시 완전체로 무대에 오른 블랙핑크는 '프리티 새비지(Pretty Savage)'와 '돈트 노우 왓 투 두(Don't Know What To Do)'와 '휘파람'을 쉼 없이 소화했다. 특히 '돈트 노우 왓 투 두' 무대에서는 멤버들은 자유롭게 무대를 누비며 팬들과 시선을 맞췄다. 팬들은 함께 뛰어달라는 멤버들의 요청에 자리를 박차고 일어나 함께 뛰며 즐기며 장관을 이뤄냈다. 이어 블랙핑크는 '휘파람', '스테이(STAY)', '러브시크 걸(Lovesick Girl)'을 연달아 소화하며 쉴 틈 없이 공연의 중반을 향해 달렸다. 이들은 무대 중간마다 팬들의 환호성을 유도했고, 팬들은 모두 자리에서 일어나 함께 뛰어 놀았다. 다시 이어진 솔로 무대에서는 미국 코첼라를 압도시켰던 제니가 '만트라&위드 더 IE&라이크 제니(Mantra&with the IE&like JENNIE)'를 선보였다. 제니의 솔로 무대가 시작되자 팬들은 우레와 같은 엄청난 환호성을 내질렀다. 이어 솔로무대의 마지막은 로제가 장식했다. 그는 "'3AM'이라는 곡을 하려고 한다. 이 곡을 쓰게 된 게, 작년에 음악 작업을 할 때 컨디션이 안 좋았을 때였는데 스튜디오에 갔는데 선물 같은 곡이 있었다. 갈 곳을 헤맬 때 집 같은 느낌이 필요했는데 '너가 내 집이 됐으면 좋겠다'라는 가사가 있었다. 지금까지도 저한테 위로가 되는 곡이다. 여러분에게도 그런 곡이길 바란다"고 말했다. 이어 로제는 통기타 연주에 맞춰 서정적인 분위기의 '3AM'을 선보였다. 이어 '톡식 틸 디 엔드(toxic till the end)'와 최근 빌보드에서 우수한 성적을 거둔 브루노 마스와 협업곡 '아파트(APT.)'로 떼창의 무대를 만들었다. [고양=뉴스핌] 이지은 기자 = 경기 고양에 위치한 고양종합운동장에서 블랙핑크의 새 월드투어 '데드라인'을 개최했다. [사진=YG엔터테인먼트] 2025.07.06 alice09@newspim.com 다시 완전체로 무대에 오른 블랙핑크는 무려 2년 8개월 만의 신곡 '뛰어(JUMP)'를 공개했다. 신곡의 트레일러 영상이 나오자 팬들은 기대감에 부풀어 함성을 내질렀다. '뛰어'는 팬들과 모두 함께 뛰어 놀며 즐길 수 있는 분위기로 꾸며졌다. 신곡 무대가 끝난 후 블랙핑크는 '붐바야'로 열기를 더했다. 지수는 "저희도 이번에 단체 무대랑 솔로 무대를 준비하면서 솔로로도 다양한 색깔을 낼 수 있어서 다양한 색을 낼 수 있을 거라고 생각해서 떨렸다. 무엇보다 즐거웠던 건 신곡이었던 것 같다"고 말했다. 이어 "저희 신곡이 곧 공개될 예정인데, 공개되면 많이 사랑해주시길 약속해주셨으면 좋겠다"고 덧붙였다. 리사는 "어제부터 정말 너무 떨렸다. 아직도 떨리는데 저희랑 같이 놀고 있는 모습을 보니까 너무 좋다. 한국에서 월드투어가 첫 시작인데 그게 너무 뜻 깊은 것 같다"며 소감을 밝혔다. 제니는 "첫 시작에 많은 분들이 와주셔서 감사하다. 아직까지도 너무 설렌다. 오늘을 마지막으로 월드투어를 떠나서 아쉬운데 블링크와 다시 만나는 날이 왔으면 좋겠다"고 덧붙였다. 지수는 "이제 곡이 얼마 안 남았다. 마지막 곡은 모두 같이 일어나서 함께 뛰어주셨으면 좋겠다"고 말하며 '뚜두뚜두(DDU-DU DDU-DU)'와 '마지막처럼', 그리고 '포에버 영(Forever Young)'으로 첫 월드투어를 성료했다. 2시간 동안 총 19곡을 선보였지만, 팬들은 아쉬운 마음을 담아 '앙코르'를 외쳤다. 다시 무대에 오른 블랙핑크는 신곡 '뛰어'와 더불어 '리얼리(REALLY)', 그리고 '시 유 레이터(SEE YOU LATER)'로 팬들의 아쉬움을 달래며 막을 내렸다.   alice09@newspim.com 2025-07-06 21:09
사진
삼척 39도 등 동해안 기온 신기록 [강릉=뉴스핌] 이형섭 기자 = 강원 동해안과 내륙에 폭염특보가 이어지는 가운데 6일 삼척에서 낮 최고기온이 39도를 기록하는 등 강릉·동해·북강릉에서도 역대급 고온 현상이 나타났다. 폭염특보 현황, 일최고체감온도 및 일최고기온 분포도.[사진=기상청] 2025.07.06 onemoregive@newspim.com 폭염경보는 강원동해안(고성평지, 속초평지 제외), 양양평지, 강원남부산지에 발효 중이며 강원내륙과 산지를 포함한 다수 지역에는 폭염주의보가 내려져 있다. 이날 오후 5시 기준 하조대(양양) 37.9도, 강릉 38.7도, 동해 36.5도, 삼척 39.0도 등 주요 해안 지점에서 체감온도가 크게 치솟았다. 이번 극심한 더위는 일본 남쪽 해상 고기압의 가장자리를 따라 서풍이 유입되면서 발생했다. 특히 산맥을 넘어 동쪽으로 이동하는 뜨거운 바람이 가열돼 동해안을 중심으로 일최고기온 신기록을 경신했다. 북강릉은 기존 최고치인 37.1도를 넘어선 37.9도를 기록했고 동해시 역시 종전 극값인 37.3도를 뛰어넘어 올해 들어 가장 높은 기온인 38.3도를 보였다. 당분간 기온은 평년보다 높게 유지될 전망이다. 8일부터는 동풍의 영향으로 내륙 중심으로 더위가 심화될 가능성이 있으며 일부 지역에서는 열대야까지 예상된다. 관련 기관은 온열질환 예방을 위해 야외 활동 자제와 음식물 관리 철저를 당부했다. 영유아와 노약자 등 취약계층 건강관리에도 각별한 주의가 필요하다며 실내외 작업장 및 농촌 현장에서는 충분한 수분 섭취와 휴식 공간 마련을 강조했다. 축산농가는 가축 폐사 방지를 위해 송풍 및 분무 장치 가동과 사육 밀도 조절이 요구된다. 8일 이후에는 일부 해안지역에서 폭염특보 완화 가능성도 있을 전망이다. onemoregive@newspim.com 2025-07-06 22:05
안다쇼핑
Top으로 이동