전세계 뒤흔든 숏폼 생성 'Sora' 비밀…사실은 이것

기사입력 : 2024년02월29일 14:31

최종수정 : 2024년02월29일 14:31

美 리하이 대학 교신저자·방문 학생 참여
Sora 모델에 대한 풀이 방식의 논문 게재
비디오 프롬프트 방식에 대한 언급 주목
물리제한·최적화 어려움 등 한계 지적

[세종=뉴스핌] 이경태 기자 = 1분 이내의 숏폼 영상을 생성해주는 소라(Sora) 서비스의 비밀을 풀어놓은 논문이 발간돼 화제를 모으고 있다. 소라의 영상 생성 방식에 대한 다양한 의견이 나오긴 했어도 논문형태로 생성방식을 풀어놓은 것은 이번이 처음으로 꼽힌다.

◆ 역공학 기반으로 소라 생성 알고리즘 분석 '시선 집중'

지난 27일 전 세계 오픈소스 플랫폼인 깃허브(Github)에는 '소라: 대규모 시각 모델의 배경, 기술, 한계 및 기회에 대한 리뷰(Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models)'라는 논문이 게재됐다.

또 미국 코넬 대학교에서 운영하는 무료 논문저장 사이트인 아카이브(arXiv)에도 해당 논문이 배포됐다. 논문의 교신저자는 미국 펜실베이니아 주의 리하이 대학교 컴퓨터 과학 및 공학과의 리차오 선 조교수이며 중국인 방문 학생들이 공동 저자로 이름을 올렸다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시각) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 영상.

앞서 지난 15일(현지시각) 오픈AI는 자사 홈페이지를 통해 '텍스트 투 비디오(Text to Video)' 모델인 소라를 공개했다. 소라는 텍스트를 입력하면 최대 60초 길이의 현실에 가까운 동영상을 만들어준다.

오픈AI는 블로그 포스팅을 통해 소라로 생성된 이미지들이 "다양한 캐릭터와 구체적인 움직임, 사물이나 배경의 정확한 디테일을 살린 복잡한 장면들을 담을 수 있다"고 소개했다.

다만 세부적인 영상 생성 방법은 공개되지 않은 상황에서 수많은 추측만 오갔다.

이런 상황에서 이번 논문은 소라의 영상 생성에 대한 풀이 성격인 첫 논문이라는 점에서 시선을 모은다.

이 논문은 공개 기술 보고서와 역공학(역엔지니어링)을 기반으로 소라의 배경, 관련 기술, 응용 분야, 남아 있는 과제 및 텍스트-to-비디오 인공지능 모델의 미래 방향에 대한 종합적인 검토를 제공하고 있다. 소라의 개발 과정을 추적하고 '세계 시뮬레이터'를 구축하는 데 사용된 기반 기술이 조사됐다.

기술적인 부문을 추적한 가운데, 해당 논문은 먼저 원본 비디오를 잠재 공간(latent space)으로 대응한 뒤 토큰화된 잠재 표현을 처리하고 노이즈가 제거된 잠재 표현을 출력했다고 설명했다. 여기에 사용자의 설명 및 잠재적인 시각적 프롬프트를 활용해 스타일이나 테마가 결정된 비디오가 생성되도록 확산 모델의 방향을 조정했다고 기술했다.

이와 관련 영상 분야 AI 서비스를 준비중인 맥케이의 최재호 대표는 "이 서술을 보면 기존의 이미지 생성을 하는 디퓨전 방식을 활용한다는 것이 설명된 것"이라며 "하나의 신을 가지고 이미지로 만든 다음에 추가 이미지로 확산시킨 알고리즘 방식이라고 보면 된다"고 말했다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시간) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 'SORA'라는 글씨가 새겨진 구름 동영상.

이 논문은 또 복잡한 방식의 영상을 만들기 위해서는 결국 프롬프트(지시어)를 구체적으로 제시해줬다는 점을 강조했다. 숏폼 영상 제작을 위해서는 ▲텍스트 프롬프트 ▲이미지 프롬프트 ▲비디오 프롬프트 등이 필요하다는 점도 설명됐다.

소라 서비스 공개 시 도심속 거리를 걷는 한 여성이 나오는 영상의 경우, 복잡한 텍스트 프롬프트가 사용된 것으로 평가됐다. 또 구름 속 소라 글자가 있는 구름모양 글자는 텍스트 모양의 이미지에 구름을 생성한 개념으로 설명됐다.

이런 가운데 흥미로운 점은 비디오 프롬프트 방식이 활용됐다는 데 있다.

최 대표는 "일반적으로 이미지를 생성하는 것에서 텍스트와 이미지 프롬프트를 활용하는 것은 일반적"이라면서 "다만 이 논문에서 신선하다고 할 수 있는 것은 바로 비디오 프롬프트라는 용어"라고 말했다.

비디오 프롬프트는 마치 영화 감독이 배우에게 연기를 지시하는 것처럼, AI 모델에게 어떤 비디오를 만들어야 하는지 구체적으로 알려주는 지침으로 이해하면 된다. 비디오 프롬프트를 통해 구체성, 유연성, 시간순서, 맥락, 분위기 등을 지시할 수 있다는 것이다.

◆ 제시된 영상도 수많은 테스트 결과…상용화 시기 예측 불허

이 영상의 한계도 지적됐다.

복잡한 상황에서 물리 법칙을 일관성 없게 다루기 때문에, 원인과 결과의 관계를 정확하게 재현하지 못할 뿐더러 지정된 카메라 움직임이나 순서를 유지하는데 어려움이 있다는 한계도 제기됐다.

오픈AI가 공개한 생성형 영상 서비스인 소라(Sora)의 일부 장면에서 물리 법칙에 따른 효과가 다소 반영되지 않는 모습을 볼 수 있다. [자료=오픈AI] 2024.02.29 biggerthanseoul@newspim.com

사용자와의 원활하고 효율적인 상호작용에 있어서 한계도 드러낸다고 평가됐다. 생성된 동영상의 세부적인 수정이나 최적화를 할 때 어려움이 있다는 얘기다.

당장은 1분 이내 영상을 생성할 수 있다지만 실제 사례로 소개된 영상은 몇 초 길에 불과해 긴 콘텐츠를 생성하는 게 쉽지 않다는 점도 지적됐다.

국내 원조 챗봇 기업인 심심이의 최정회 대표는 "이 풀이 논문은 기존 이미지 생성에 대한 얘기를 토대로 기술됐다"며 "이미지를 생성하고 이를 확장시키는 차원에서 좀더 자연스럽게 영상을 생성할 수 있다는 수준으로 풀이를 해놓은 내용"이라고 평가했다.

최재호 맥케이 대표는 "여전히 이같은 영상은 더욱 복잡한 프롬프트 환경이 필요하기 때문에 쉽게 구현하기는 어려울 것"이라며 "최근에 공개된 영상도 엄청난 시도 끝에 생성된 영상을 대표적으로 공개했을 것이고 상용화하기에는 쉽지는 않아보인다"라고 답했다.

biggerthanseoul@newspim.com

사진

LIG넥스원, 루마니아 방공시스템 탈락 [서울=뉴스핌] 김아영 기자 = LIG넥스원이 루마니아 정부의 단거리 방공 시스템 도입 입찰에서 서류상 오류로 탈락했다. 24일 업계에 따르면 LIG넥스원은 지난 16일 루마니아의 공공조달 관련 민원 행정기관인 CNCC에 입찰 탈락 관련 이의를 제기했다 LIG넥스원 판교R&D센터 전경 [사진 = LIG 넥스원] LIG넥스원은 이달 초 루마니아의 단거리 방공 및 초단거리 방공 시스템 2차 입찰에서 탈락한 바 있다. 입찰 참여 초기 단계에 필요한 보증금 영수증을 제출하는 과정에서 서류상 실수가 있던 것으로 파악됐다. 하지만 LIG넥스원은 이견을 주장하고 있다. 입찰 회의 당시 공정하지 않은 대우를 받았다는 것이다. 실제로 LIG넥스원은 이의제기 문서를 통해 이같은 주장을 전달한 것으로 알려졌다. LIG넥스원 관계자는 "아직 탈락한 것은 아니고 서류제출 과정에서 상호 이견이 있는 상황"이라며 "수출 과정에서 충분히 일어날 수 있는 상황으로 사업 주관 기관에서 정한 이의제기 프로세스를 진행 중"이라고 말했다. 한편, 입찰 보증금 규모는 해당 입찰 진행 사업비의 1% 수준인 420만달러(61억원 규모)로 알려졌다. aykim@newspim.com 2024-12-24 15:54

사진

[GAM] 비만약 '젭바운드가 오젬픽 눌러' 이 기사는 12월 20일 오후 3시17분 '해외 주식 투자의 도우미' GAM(Global Asset Management)에 출고된 프리미엄 기사입니다. GAM에서 회원 가입을 하면 9000여 해외 종목의 프리미엄 기사를 보실 수 있습니다. [서울=뉴스핌] 황숙혜 기자 = 비만약 시장이 급팽창하는 가운데 일라이 릴리(LLY)의 젭바운드(Zepbound)가 매출 1위 상품인 노보 노디스크의 오젬픽(Ozempic)보다 강한 체중 감량 효과를 보였다는 연구 결과가 나와 주목된다. 2030년 1000억달러로 예상되는 시장에서 일라이 릴리가 강한 입지를 구축할 가능성이 확인된 데다 알츠하이머 치료제를 포함한 그 밖에 신약에 대한 기대가 맞물리면서 매수 심리를 자극하는 모습이다. 주요 외신에 따르면 젭바운드와 노보 노디스크의 또 다른 비만약 위고비(Wegovy)의 효과를 검증하기 위한 72주간의 실험에서 젭바운드가 20%의 체중 감량 효과를 나타냈고, 위고비는 14%의 감량을 기록했다. 위고비는 오젬픽과 핵심 성분이 동일하다. 때문에 젭바운드의 비만 치료 효과가 오젬픽을 앞지른다는 계산이 가능하다고 업계 전문가들은 말한다. 이번 연구 결과에 의료계가 의미를 두는 이유는 젭바운드의 체중 감량 효과가 현격하게 클 뿐 아니라 부작용이나 환자의 편의 측면에서도 높은 점수를 받았기 때문이다. 체중 감량 효과가 크다 해도 불면증이나 탈모 등 심각한 부작용이 발생하면 환자나 의료계에서 긍정적인 반응을 얻기 힘들고, 매출 성장 역시 기대할 수 없다. 이번 실험 결과 젭바운드가 두 가지를 모두 충족시켰다는 평가가 나오면서 투자은행(IB) 업계에서도 일라이 릴리의 매수 추천이 꼬리를 모는 모양새다. 젭바운드를 투여하는 비만 환자 [사진=블룸버그] 이번 결과에 월가가 조명을 집중하는 이유는 비만약 시장 규모가 중장기적으로 고성장할 것으로 기대를 모으기 때문이다. 골드만 삭스는 최근 보고서를 내고 전세계 비만약 시장 규모가 2030년 1000억달러에 이르는 시나리오를 제시했다. 2023년 시장 규모는 19억2000만달러로 파악됐다. 골드만 삭스의 예상이 적중한다면 불과 7년 사이 비만약 매출액이 52배 늘어난다는 계산이 나온다. 오젬픽 [사진=블룸버그] BMP 캐피탈 마켓은 이보다 강력한 청사진을 제시했다. 전세계 비만약 시장 규모가 2033년 1500억달러에 이른다는 시나리오다. 각 업체가 제공한 데이터와 외신에 따르면 최근까지 비만약 시장에서 1위 상품은 오젬픽이다. 2023년 132억달러에 달하는 매출을 달성, 31억달러의 실적을 낸 위고비를 현격한 차이로 따돌리고 명실상부 1위를 차지했다. 젭바운드는 2023년 11월 본격 출시됐다. 판매를 개시한 뒤 첫 한 달 동안 약 1500만달러의 매출액을 기록했다. 2024년 들어서도 오젬픽이 지속적인 매출 성장을 보이며 GLP-1 계열 비만 치료제 시장에서 약 55%의 점유율을 차지했다. 위고비가 25%의 점유율을 나타냈고, 젭바운드는 여전히 출시 초기에 해당하기 때문에 시장 점유율이 제한적인 상태다. 본래 오젬픽은 제2형 당뇨병 치료제로 개발됐고, 지난 2017년 미국 식품의약청(FDA)으로부터 해당 의약품으로 승인을 받았다. 하지만 비만 치료 효과가 확인되면서 비만약으로 유명세를 타고 있고, 젭바운드와 위고비는 처음부터 비만 치료 목적으로 개발됐다. 시장 전문가들은 최근까지 비만 치료제라고 할 때 사람들이 가장 먼저 떠올리는 약이 오젬픽이지만 젭바운드를 찾는 수요가 빠르게 늘어날 수 있다는 데 입을 모은다. 주요 외신에 따르면 2024년 3분기 젭바운드의 매출은 12억6000만달러로 집계됐다. 이는 월가가 기대했던 16억9000만달러에 미달하는 결과다. 시장 전문가들은 도매 재고 물량이 줄어든 데 따라 매출이 예상치에 못 미쳤다고 설명한다. 젭바운드는 수급 불균형으로 인해 최근까지 미국 식품의약청(FDA)의 '공급 부족 의약품 데이터베이스'에 기재돼 있다. 이와 함께 일라이 릴리가 적극적인 홍보와 마케팅에 나서지 않은 점도 매출 부진의 배경으로 꼽힌다. 지난 10월 3분기 실적을 발표했을 때 젭바운드의 판매 실적이 투자자들의 기대치에 못 미친 것으로 나타나면서 일라이 릴리 주가가 하락 압박을 받기도 했다. 상황은 크게 달라질 전망이다. 젭바운드의 체중 감량 효과가 확인된 데다 일라이 릴리가 유통망을 크게 확대하고 나섰다는 소식이다. 시장 전문가들은 오젬픽과 젭바운드의 핵심 성분인 GLP-1의 적용 대상이 확대되면서 시장 영역이 커질 가능성에 무게를 둔다. JP모간은 보고서를 내고 GLP-1이 체중 감량 뿐 아니라 수면 무호흡증과 관절염, 만성 신장 질환, 알츠하이머, 특정 형태의 중독 등 다양한 분야에 적용될 가능성이 열려 있다고 주장했다. 아울러 심장 질환 리스크를 떨어뜨리는 효과도 기대된다고 전했다. 일라이 릴리가 GLP-1 약품을 생산하기 위한 제조 시설에 대규모 투자를 강행하는 움직임도 잠재적인 적용 확대 가능성과 무관하지 않다는 분석이다. 지난 4월 업체는 넥서스 파커수티컬스의 신축 생산라인을 인수하기로 했다고 발표한 바 있다. 시장 전문가들은 GLP-1 약품의 수요가 가파르게 늘어난 데 따른 대응으로 해석했다. 이어 10월 업체는 45억달러를 투자해 '릴리 메디신 파운드리(Lilly Medicine Foundry)'라는 이름의 리서치 시설을 건축할 계획이라고 밝혔다. 제조 설비에 이어 임상 실험을 위한 파이프라인을 구축하려는 움직임으로 풀이된다. 미국 온라인 투자 매체 모틀리 풀은 일라이 릴리가 장기적인 관점에서 성장 포석을 두는 데 커다란 의미를 실었다. 넥서스 파머수티컬스에게서 인수한 설비는 2025년 이후에나 본격적인 가동이 가능하고, 릴리 메디신 파운드리 역시 2027년 개설할 예정이다. 당장 급성장하는 비만 치료제 시장에서 매출을 확대하는 데 만족하지 않고 10년 앞을 내다보고 시장 입지를 강화하기 위한 전략을 세우는 움직임이 투자자들에게 성장 가능성에 대한 신뢰를 제공한다는 평가다. shhwang@newspim.com 2024-12-23 14:36