전체기사 최신뉴스 GAM 라씨로
KYD 디데이
경제 과학기술

속보

더보기

KAIST, GPT-4 버전의 시각 멀티모달 성능 뛰어넘는 대형 언어모델 개발

기사입력 : 2024년06월20일 10:52

최종수정 : 2024년06월20일 10:52

공개형 멀티모달 LLM 'CoLLaVO'·'MoAI' 개발

[세종=뉴스핌] 이경태 기자 = 한국과학기술원(KAIST)은 전기및전자공학부 노용만 교수 연구팀이 오픈AI(OpenAI)의 GPT-4 등 기업에서 비공개하고 있는 상업 모델인 초대형 언어모델의 시각 성능을 뛰어넘는 공개형 멀티모달 대형 언어모델을 개발해 출시했다고 20일 밝혔다.

노용만 교수 연구팀은 단순히 모델의 크기를 키우거나 고품질의 시각적 지시 조정 데이터셋을 만들지 않고 멀티모달 대형언어모델의 시각 성능을 획기적으로 높인 콜라보(CoLLaVO), 모아이(MoAI) 2가지 기술을 연속적으로 개발했다.

MoAI 멀티모달 대형언어모델 성능 [자료=한국과학기술원] 2024.06.20 biggerthanseoul@newspim.com

연구팀이 개발한 첫번째 기술인 '콜라보(CoLLaVO)'는 현존하는 공개형 멀티모달 대형언어모델이 비공개형 모델의 성능에 비해 현저하게 낮은 이유를 일차적으로 물체 수준에 대한 이미지 이해 능력이 현저하게 떨어진다는 것을 먼저 검증했다.

해당 능력을 효율적으로 증가시켜 시각-언어 태스크에 대한 성능을 향상 하기 위해 연구팀은 이미지 내의 정보를 배경과 물체 단위로 분할하고 각 배경 및 물체에 대한 정보를 멀티모달 대형언어모델에 입력으로 직접 넣어주는 새로운 방법인 '크레용 프롬프트(Crayon Prompt)'라는 시각적 프롬프트를 새롭게 제안했다.

시각적 지시 조정 단계에서 크레용 프롬프트로 학습한 정보를 잃어버리지 않기 위해 연구팀은 물체 수준 이미지 이해 능력과 시각-언어 태스크 처리 능력을 서로 다른 파라미터로 학습해 서로 간의 정보를 잃지 않게 만드는 획기적인 학습 전략인 '듀얼 큐로라(Dual QLoRA)'를 제안했다.

연구팀은 이를 통해 콜라보(CoLLaVO) 멀티모달 대형언어모델은 이미지 내에서 배경 및 물체를 구분하는 능력이 뛰어나 일차원적인 시각 구분 능력이 크게 향상됐다고 전했다.

두 번째 대형언어모델인 '모아이(MoAI)'는 인간이 사물을 판단할 때 물체의 존재, 상태, 물체 간의 상호작용, 배경에 대한 이해, 텍스트에 대한 이해 등으로부터 상황을 판단하는 인지과학적인 요소에 영감을 받아서 만들었다는 게 연구팀의 설명이다.

기존 멀티모달 대형언어모델은 텍스트에 의미적으로 정렬된 시각 인코더(vision encoder)만을 사용한다. 이미지 픽셀 수준에서의 상세하고 종합적인 실세계 장면 이해가 부족하다는 점을 연구팀은 지적했다. 연구팀은 이런 컴퓨터 비전 모델들의 결과를 받으면 모두 인간이 이해할 수 있는 언어로 변환한 뒤에 멀티모달 대형언어모델에 입력으로 직접 사용했다.

노용만 교수는 "연구팀에서 개발한 공개형 멀티모달 대형언어모델이 허깅페이스 일간 화제의 논문(Huggingface Daily Papers)에 추천됐고, 각종 SNS를 통해 세계 연구자에게 알려지고 있다"며 "모든 모델을 공개형 대형언어모델로 출시 했기 때문에 이 연구모델이 멀티모달 대형언어모델 발전에 기여할 것"이라고 말했다.

biggerthanseoul@newspim.com

[뉴스핌 베스트 기사]

사진
뉴스핌-인공지능협회, CES2025 참관단 진행 [세종=뉴스핌] 이경태 기자 = 뉴스핌과 한국인공지능협회가 추진하는 CES2025 참관단이 오늘 출발했다. 최신 글로벌 정보통신산업(ICT) 기술이 집대성된 CES 행사장에서 참관단은 글로벌 시장의 미래를 내다볼 수 있게 됐다. 뉴스핌과 한국인공지능협회는 5~10일(현지 기준) 미국 네바다주 라스베이거스에서 열리는 CES2025를 방문하는 참관단을 운영한다. 뉴스핌과 한국인공지능협회는 5~10일(현지 기준) 미국 라스베이거스에서 CES2025 참관단을 진행하며, 8일에는 'CES2025 인사이트 포럼'을 연다. [자료=뉴스핌DB] 2025.01.05 biggerthanseoul@newspim.com CES(Consumer Electronics Show)는 세계 최대의 정보 기술 및 가전 전시회로, 해마다 1월 미국 네바다주 라스베이거스에서 개최된다. 이 전시회는 최신 기술과 혁신 제품을 선보이는 플랫폼으로, IT, 통신, 자동차 등 다양한 산업 분야의 기업들이 참가해 신제품을 소개한다. 이번 참관단은 중소벤처기업부 산하 창업진흥원(창진원)이 운영하는 전시관 투어 프로그램에 참여한다. 창진원이 엄선한 국내 최고 전문가의 현장 안내에 동참한다. 창진원과 함께 하는 네트워크 행사도 뉴스핌이 협력, 글로벌 투자사를 비롯해 CES 2025 혁신상을 받은 스타트업과의 소통의 기회가 마련된다. 참관단은 이날 3일 출발해 오는 12일 돌아온다. 현지에서 진행하는 '뉴스핌-한국인공지능협회 CES2025 인사이트 포럼'을 통해 정부와 민간이 상호 소통할 수 있는 기회를 제공한다. CES2025 인사이트 포럼은 오는 8일 오후 6시께 라스베이거스에서 열린다. Keith Lee(이원) 펜벤처스 이사가 참석해 글로벌 스타트업 진출과 투자에 대한 인사이트를 기조연설을 통해 전할 예정이다.  이와 함께 김현수 하나증권 애널리스트가 이날 포럼에 참석, CES2025에 대한 리뷰를 제공한다.  뿐만 아니라 한국벤처캐피털 CES 참관단이 포럼에 참석해 글로벌 투자 및 한국 스타트업 투자 등을 논의한다. 이날 포럼에는 CES 혁신상을 수상한 네이션A 등 다수의 스타트업도 참석한다. 대한민국 1호 AI 생성형 영상 기업인 맥케이 역시 참석해 다수의 벤쳐캐피털과 소통을 할 예정이다. 맥케이는 AI PPL 사업의 국내 선두주자로 콘텐츠 사업 등에서 글로벌 시장의 관심을 받고 있다. 또 음재훈(Jay Eum) GFT 벤처러스 대표도 참석해 인사이트를 나눈다. GFT 벤처러스는 음재훈 대표와 제프 허브스트가 2021년 공동 설립한 미국 기반의 벤처캐피털 기업이다. 캘리포니아 팔로알토에 본사를 두고 있으며, 약 1억 4000만달러 규모의 펀드를 조성한 것으로 파악됐다. biggerthanseoul@newspim.com 2025-01-05 16:57
사진
'애경家 3세' 채문선 유튜브 돌연 폐쇄 [서울=뉴스핌] 남라다 기자 = 애경그룹의 '오너 3세'인 채문선 탈리다쿰(Talitha Koum) 대표가 운영하는 유튜브 채널이 폐쇄됐다. 지난달 29일 무안국제공항에서 발생한 제주항공 여객기 참사 여파로 채 대표가 채널을 삭제한 것이 아니냐는 의견이 나온다. 2일 업계에 따르면 탈리다쿰 유튜브 채널은 현재 사라지고 관련 숏츠 영상만 노출돼 있는 상태다.  애경그룹 '오너가 3세' 채문선 탈리다쿰(Talitha Koum) 대표가 유튜버로 데뷔했다. 사진은 탈리다쿰 유튜브 채널 내 '채문선의 달리다 꿈' 코너에서 발언하고 있는 채문선 대표 모습. [사진=유튜브 채널 '채문선의 달리다 꿈' 영상 갈무리] 채 대표가 지난해 9월 탈리다쿰 유튜브 채널 내에 '채문선의 달리다 꿈' 코너를 열고 유튜버 활동의 시작을 알린 지 3개월여 만이다. 일각에서는 애경그룹 계열사인 제주항공 여객기 참사와 관련 있는 것 아니냐는 의심의 눈초리를 보내고 있다. 제주항공의 최대주주는 애경그룹이다. 애경그룹의 지주회사인 AK홀딩스가 제주항공의 지분 50.4%를 보유한 1대 주주로 올라 있다. 애경자산관리도 제주항공의 지분 3.22%를 갖고 있다. 제주항공 모회사인 애경그룹은 이번 여객기 참사 이후 책임론이 부각되면서 주가가 급락했다. 주가 하락으로 애경그룹 기업가치도 떨어졌다.  채문선 대표는 1986년생으로 장영신 애경그룹 회장의 손녀이자, 채형석 애경그룹 총괄부회장의 장녀다. 지난 2013년 '세아그룹 오너 3세' 이태성 세아홀딩스 대표(당시 상무)와 결혼했다. 비건 화장품 브랜드 '탈리다쿰'을 운영 중인 채 대표는 매일유업 외식사업부와 애경산업 마케팅 직무 등을 역임했다.  애경그룹은 장영신 회장의 남편인 고(故) 채몽인 창업주가 1954년 애경유지공업을 설립해 세탁비누를 생산하며 사업을 시작했다. 장남 채형석 총괄부회장이 제주 출신인 부친의 뜻에 따라 2005년 제주특별자치도와 손잡고 제주항공을 설립했다. 이번 참사 발생 후 채 총괄부회장이 무안 현장을 찾아 유족들에게 유족들에게 머리를 숙여 사죄의 뜻을 전했다. . nrd@newspim.com 2025-01-02 18:34
안다쇼핑
Top으로 이동