전세계 뒤흔든 숏폼 생성 'Sora' 비밀…사실은 이것

기사입력 : 2024년02월29일 14:31

최종수정 : 2024년02월29일 14:31

美 리하이 대학 교신저자·방문 학생 참여
Sora 모델에 대한 풀이 방식의 논문 게재
비디오 프롬프트 방식에 대한 언급 주목
물리제한·최적화 어려움 등 한계 지적

[세종=뉴스핌] 이경태 기자 = 1분 이내의 숏폼 영상을 생성해주는 소라(Sora) 서비스의 비밀을 풀어놓은 논문이 발간돼 화제를 모으고 있다. 소라의 영상 생성 방식에 대한 다양한 의견이 나오긴 했어도 논문형태로 생성방식을 풀어놓은 것은 이번이 처음으로 꼽힌다.

◆ 역공학 기반으로 소라 생성 알고리즘 분석 '시선 집중'

지난 27일 전 세계 오픈소스 플랫폼인 깃허브(Github)에는 '소라: 대규모 시각 모델의 배경, 기술, 한계 및 기회에 대한 리뷰(Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models)'라는 논문이 게재됐다.

또 미국 코넬 대학교에서 운영하는 무료 논문저장 사이트인 아카이브(arXiv)에도 해당 논문이 배포됐다. 논문의 교신저자는 미국 펜실베이니아 주의 리하이 대학교 컴퓨터 과학 및 공학과의 리차오 선 조교수이며 중국인 방문 학생들이 공동 저자로 이름을 올렸다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시각) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 영상.

앞서 지난 15일(현지시각) 오픈AI는 자사 홈페이지를 통해 '텍스트 투 비디오(Text to Video)' 모델인 소라를 공개했다. 소라는 텍스트를 입력하면 최대 60초 길이의 현실에 가까운 동영상을 만들어준다.

오픈AI는 블로그 포스팅을 통해 소라로 생성된 이미지들이 "다양한 캐릭터와 구체적인 움직임, 사물이나 배경의 정확한 디테일을 살린 복잡한 장면들을 담을 수 있다"고 소개했다.

다만 세부적인 영상 생성 방법은 공개되지 않은 상황에서 수많은 추측만 오갔다.

이런 상황에서 이번 논문은 소라의 영상 생성에 대한 풀이 성격인 첫 논문이라는 점에서 시선을 모은다.

이 논문은 공개 기술 보고서와 역공학(역엔지니어링)을 기반으로 소라의 배경, 관련 기술, 응용 분야, 남아 있는 과제 및 텍스트-to-비디오 인공지능 모델의 미래 방향에 대한 종합적인 검토를 제공하고 있다. 소라의 개발 과정을 추적하고 '세계 시뮬레이터'를 구축하는 데 사용된 기반 기술이 조사됐다.

기술적인 부문을 추적한 가운데, 해당 논문은 먼저 원본 비디오를 잠재 공간(latent space)으로 대응한 뒤 토큰화된 잠재 표현을 처리하고 노이즈가 제거된 잠재 표현을 출력했다고 설명했다. 여기에 사용자의 설명 및 잠재적인 시각적 프롬프트를 활용해 스타일이나 테마가 결정된 비디오가 생성되도록 확산 모델의 방향을 조정했다고 기술했다.

이와 관련 영상 분야 AI 서비스를 준비중인 맥케이의 최재호 대표는 "이 서술을 보면 기존의 이미지 생성을 하는 디퓨전 방식을 활용한다는 것이 설명된 것"이라며 "하나의 신을 가지고 이미지로 만든 다음에 추가 이미지로 확산시킨 알고리즘 방식이라고 보면 된다"고 말했다.

[사진 = 오픈AI 홈페이지] 미국 오픈AI(OPEN AI)가 15일(현지시간) 공개한 동영상 생성 AI 서비스인 '소라'를 통해 제작한 'SORA'라는 글씨가 새겨진 구름 동영상.

이 논문은 또 복잡한 방식의 영상을 만들기 위해서는 결국 프롬프트(지시어)를 구체적으로 제시해줬다는 점을 강조했다. 숏폼 영상 제작을 위해서는 ▲텍스트 프롬프트 ▲이미지 프롬프트 ▲비디오 프롬프트 등이 필요하다는 점도 설명됐다.

소라 서비스 공개 시 도심속 거리를 걷는 한 여성이 나오는 영상의 경우, 복잡한 텍스트 프롬프트가 사용된 것으로 평가됐다. 또 구름 속 소라 글자가 있는 구름모양 글자는 텍스트 모양의 이미지에 구름을 생성한 개념으로 설명됐다.

이런 가운데 흥미로운 점은 비디오 프롬프트 방식이 활용됐다는 데 있다.

최 대표는 "일반적으로 이미지를 생성하는 것에서 텍스트와 이미지 프롬프트를 활용하는 것은 일반적"이라면서 "다만 이 논문에서 신선하다고 할 수 있는 것은 바로 비디오 프롬프트라는 용어"라고 말했다.

비디오 프롬프트는 마치 영화 감독이 배우에게 연기를 지시하는 것처럼, AI 모델에게 어떤 비디오를 만들어야 하는지 구체적으로 알려주는 지침으로 이해하면 된다. 비디오 프롬프트를 통해 구체성, 유연성, 시간순서, 맥락, 분위기 등을 지시할 수 있다는 것이다.

◆ 제시된 영상도 수많은 테스트 결과…상용화 시기 예측 불허

이 영상의 한계도 지적됐다.

복잡한 상황에서 물리 법칙을 일관성 없게 다루기 때문에, 원인과 결과의 관계를 정확하게 재현하지 못할 뿐더러 지정된 카메라 움직임이나 순서를 유지하는데 어려움이 있다는 한계도 제기됐다.

오픈AI가 공개한 생성형 영상 서비스인 소라(Sora)의 일부 장면에서 물리 법칙에 따른 효과가 다소 반영되지 않는 모습을 볼 수 있다. [자료=오픈AI] 2024.02.29 biggerthanseoul@newspim.com

사용자와의 원활하고 효율적인 상호작용에 있어서 한계도 드러낸다고 평가됐다. 생성된 동영상의 세부적인 수정이나 최적화를 할 때 어려움이 있다는 얘기다.

당장은 1분 이내 영상을 생성할 수 있다지만 실제 사례로 소개된 영상은 몇 초 길에 불과해 긴 콘텐츠를 생성하는 게 쉽지 않다는 점도 지적됐다.

국내 원조 챗봇 기업인 심심이의 최정회 대표는 "이 풀이 논문은 기존 이미지 생성에 대한 얘기를 토대로 기술됐다"며 "이미지를 생성하고 이를 확장시키는 차원에서 좀더 자연스럽게 영상을 생성할 수 있다는 수준으로 풀이를 해놓은 내용"이라고 평가했다.

최재호 맥케이 대표는 "여전히 이같은 영상은 더욱 복잡한 프롬프트 환경이 필요하기 때문에 쉽게 구현하기는 어려울 것"이라며 "최근에 공개된 영상도 엄청난 시도 끝에 생성된 영상을 대표적으로 공개했을 것이고 상용화하기에는 쉽지는 않아보인다"라고 답했다.

biggerthanseoul@newspim.com

사진

명태균, 오늘 김건희 특검 출석 [서울=뉴스핌] 김영은 기자 = 윤석열 전 대통령 부부의 공천개입 의혹 등에 연루된 '정치브로커' 명태균 씨가 김건희 특별검사(특검) 소환조사에 31일부터 이틀간 출석한다. 명씨 측 관계자는 전날 "뇌물공여 및 정치자금법 위반 혐의 등 피의자로 소환됐다"며 "출석하기 앞서 현장에서 기자회견을 진행할 예정이다"고 밝혔다. 윤석열 전 대통령 부부의 공천개입 의혹 등에 연루된 '정치브로커' 명태균 씨가 특검 소환조사에 31일부터 이틀간 출석한다. 사진은 지난 4월 서울 서초구 서울고등검찰청으로 출석하며 취재진 질문에 답하고 있는 명씨 모습. [사진=정일구 기자] 앞서 특검팀은 지난 21일 명씨에게 지난 28일 출석하라고 통보했지만 명씨 측은 불응했다. 당시 명씨 측은 개인 일정 등을 이유로 출석 요구서 수령을 거부했다. 공천개입 의혹은 윤 전 대통령 부부가 2022년 20대 대통령선거 과정에서 명씨로부터 여론조사를 무상으로 받은 대가로 같은 해 6월 치러진 국회의원 재보궐선거에서 김영선 전 국민의힘 의원이 공천받도록 영향력을 행사했다는 의혹이다. 특검팀은 윤 전 대통령 측이 여론조사 비용을 지불하지 않는 방식으로 금전적 이득을 취했다고 본다. 이에 특검팀은 윤 전 대통령 부부에겐 뇌물 수수를, 명씨에겐 뇌물 공여 혐의 등을 적용했다. 특검팀은 이와 함께 2024년 22대 총선을 앞두고 김 여사가 김상민 전 부장검사를 김 전 의원 선거구였던 경남 창원 의창에 공천되도록 영향력을 행사했다는 의혹을 수사하고 있다. 명씨 측은 지난 2월 입장문을 통해 김 여사가 당시 김 전 의원에게 김 전 검사의 당선을 지원하라는 말을 했다고 주장했다. 한편, 특검팀은 전날 2022년 6월 지방선거 및 재보궐선거 당시 국민의힘 대표였던 이준석 개혁신당 대표에 대한 2차 압수수색까지 단행하며 해당 의혹 관련 자료 확보에 착수했다. 지난 27일에는 해당 의혹 당시 공천관리위원장이던 윤상현 의원을 소환조사하며 '김 전 의원 공천과 관련해 그가 윤 전 대통령과 통화했다'는 취지의 진술을 확보한 것으로 알려졌다. 지난 25일에는 윤 전 대통령 부부에 명씨를 처음 소개하고, 명씨와 공천개입 의혹 관련 문자를 주고받은 인물로 지목된 함성득 경기대 정치전문대학원장을 참고인 신분으로 소환해 조사했다. 특검팀은 이를 토대로 명씨에게 윤 전 대통령 부부가 공천 과정에 부당한 영향력을 행사했는지 등을 질의하며 구체적 진술을 확보할 예정이다. yek105@newspim.com 2025-07-31 07:24

사진

트럼프 "韓, 관세 15%...3500억달러 투자" [서울=뉴스핌] 최원진 기자= 도널드 트럼프 미국 대통령은 30일(현지시간) 미국과 한국이 포괄적인 무역합의를 도출했다며 한국에 대한 상호관세는 15%로 최종 타결됐다고 밝혔다. 지난 4월 초 미국이 발표했던, 그리고 이달 초 서한으로 통보했던 상호관세율 25%에서 10%포인트 낮아졌다. 그 대가로 한국은 3500억달러 규모의 대미 투자와 미국산 에너지 1000억달러 구매를 약속했고, 미국에 자동차와 트럭, 농산물 시장 등을 완전 개방하기로 했다. 트럼프 대통령은 이날 백악관에서 한국 무역협상단을 접견한 뒤, 자신의 소셜미디어 '트루스소셜'에 "미국과 한국이 완전하고 포괄적인(Full and Complete) 무역합의를 이뤘다"고 전했다. 트럼프 대통령은 "한국에 대해서는 15%의 관세를 부과하기로 합의했으며, 미국산 제품에는 한국 측이 어떤 관세도 부과하지 않기로 했다"라고 알렸다. 그는 이번 합의를 통해 "한국은 미국이 소유하고 통제하는, 그리고 대통령인 내가 직접 선정한 투자 프로젝트에 총 3,500억 달러를 투자하기로 했다"고 밝혔다. 또한 한국은 "액화천연가스(LNG) 또는 기타 에너지 제품을 1,000억 달러어치 구매하기로 했으며, 또한 한국은 자국의 대미 투자 목적을 위한 대규모 투자도 약속했다"라고 말했다. 다만 이 투자금액은 구체적으로 공개되지 않았으며, 트럼프 대통령은 "이재명 한국 대통령이 향후 2주 이내 백악관에서 열릴 양자회담을 위해 미국을 방문할 때 발표할 예정"이라고 했다. 트럼프 대통령은 또 "이재명 대통령의 당선을 축하한다"라며 "우리는 한국이 미국과의 무역에 완전히 개방되며, 자동차와 트럭, 농산물을 포함한 미국산 제품을 받아들이기로 합의했다"고 밝혔다. 마지막으로 그는 "오늘 참석한 무역 대표단에 감사를 전한다"며 "이들을 만나 그들의 나라의 위대한 성공에 대해 논의한 것은 영광이었다"고 덧붙였다. 지난 29일(현지시간) 영국 스코틀랜드에서 귀국행 에어포스원에 탑승하기 전 취재진을 향해 손 동작 하는 도널드 트럼프 미국 대통령. [사진=로이터 뉴스핌] wonjc6@newspim.com 2025-07-31 07:51