런웨이 젠3

런웨이 젠3(Runway Gen-3)는 인공지능(AI) 기반 비디오 제조업체 런웨이(Runway)에서 콘텐츠 제작자와 마케팅 전문가를 위해 개발한 비디오 생성 AI이다.

[아사달] 스마트 호스팅

모델

젠1

젠-1은 2023년 2월에 출시된 비디오 변환 인공지능 모델이다. 젠-1은 기존 비디오에 새로운 스타일을 적용하여 완전히 새로운 비디오로 변환하는 능력을 갖추고 있다. 텍스트 프롬프트에서 사용자가 지정한 스타일을 적용해 기존 영상의 모양과 분위기를 완전히 바꿀 수 있다. 이를테면, 거리에 있는 사람들을 클레이메이션(점토 애니메이션) 스타일로 변환하거나, 단순한 탁자 위에 놓인 책을 도시의 야경으로 바꿀 수 있는 기능을 제공한다. 이러한 방식은 이미지 생성 AI인 스테이블 디퓨전(Stable Diffusion)과 유사하다. 스테이블 디퓨전이 텍스트 프롬프트를 바탕으로 이미지를 생성하듯, 젠-1도 텍스트 프롬프트에서 사용자가 설정한 스타일을 기반으로 기존 비디오를 변환한다. 다만 젠-1은 단순한 이미지 생성과 달리 비디오 변환에 중점을 두어 훨씬 더 긴 비디오를 고품질로 변환할 수 있다는 점에서 차별화된다.

특히 메타의 메이커비디오(Make-A-Video)나 구글의 페나키(Phenaki)와 같은 비디오 생성 AI들이 텍스트 설명을 바탕으로 짧은 비디오 클립을 생성하는 방식과는 달리, 젠-1은 기존 비디오를 변환하는 데 초점을 맞춘다. 덕분에 스타일 변경을 통한 비디오 편집뿐 아니라 장편 비디오 제작도 가능하다. 젠-1은 다양한 모드를 제공한다. 스타일 모드에서는 비디오의 스타일과 모양을 텍스트 설명으로 변경할 수 있다. 스토리보드 모드는 간단한 스케치를 완성된 애니메이션으로 변환해 주며, 마스크 모드에서는 텍스트를 통해 비디오 속 개체를 선택해 그 모습을 변경할 수 있다. 렌더 모드는 간단한 3D 모델에 텍스처를 입혀 렌더링된 개체를 만들 수 있는 기능을 제공하며, 사용자 지정 모드에서는 젠-1의 모든 기능을 자유롭게 조합해 사용자 필요에 맞게 비디오를 조정할 수 있다.

또한 2023년 4월에는 아이폰용 젠-1 모바일 앱을 출시하며, 5초 이내의 짧은 영상을 작업할 수 있는 기능을 제공했다. 이 앱은 짧은 비디오 클립에 스타일을 적용하는 데 적합하며, 변환에는 약 2~3분이 소요된다. 사용자는 무료 크레딧으로 제한된 기능을 이용할 수 있지만, 보다 고급 기능을 사용하려면 월 15달러의 유료 요금제를 사용해야 한다.

젠2

젠-2(Gen-2)는 젠-1의 업그레이드 모델로, 2023년 3월 출시된 비디오 생성 AI 분야에서 중요한 진보를 이룬 모델이다. 젠-2는 텍스트, 이미지, 또는 영상과 같은 다양한 입력 데이터를 기반으로 비디오를 생성할 수 있는 멀티모달 AI로, 단순히 기존 비디오를 변환하는 젠-1과 달리 텍스트만으로 새로운 비디오를 생성할 수 있다. 이는 AI가 비디오 생성 과정에서 더욱 큰 자율성을 발휘할 수 있도록 해주며, 사용자의 상상력을 보다 정교하게 반영할 수 있게 한다. 젠-2는 텍스트-투-비디오 기능을 최초로 도입한 모델로, 텍스트 프롬프트만 입력해도 비디오를 생성할 수 있다. 이러한 혁신은 젠-1의 기능과는 확연히 구분되며, 사용자 지정 옵션도 더 많이 제공하여 비디오 제작의 정밀도를 크게 높였다. 예를 들어, 사용자가 특정한 스타일을 텍스트로 설명하면, 젠-2는 이 설명을 바탕으로 고유한 비디오를 생성한다.

젠-2의 개발 과정에서 런웨이는 2억 4천만 개의 이미지와 640만 개의 비디오 클립으로 구성된 대규모 교육 데이터 세트를 활용해 AI 모델을 학습시켰다. 이 데이터를 통해 AI는 비디오 제작 과정에서 더 나은 성능을 발휘할 수 있도록 훈련되었으며, 다양한 모양, 색상, 움직임, 스타일 등을 세밀하게 구현할 수 있다. 런웨이는 이러한 학습을 바탕으로 사용자 연구를 진행했으며, 젠-2가 다른 AI 모델들과 비교해 더 나은 성능을 보였다고 밝혔다. 젠-2는 기존 젠-1의 방식도 지원하므로, 사용자가 필요에 따라 기존 비디오를 텍스트 프롬프트로 변환하는 작업도 여전히 가능하다. 이를 통해 사용자는 자신의 요구에 맞게 다양한 방식으로 비디오를 생성하고 편집할 수 있다. 젠-2는 비디오 생성의 정확성을 높이는 데 초점을 맞추었으며, 텍스트 입력만으로도 정교한 비디오를 만들 수 있다는 점에서 AI 기반 콘텐츠 제작의 새로운 가능성을 열어주었다. 이는 단순한 편집 작업을 넘어서, 완전히 새로운 형태의 비디오를 생성할 수 있다는 점에서 비디오 제작의 패러다임을 바꾸고 있다.

젠3 알파

젠-3 알파는 이전 모델인 젠-2에서 크게 발전된 모델이다. 2023년 초에 공개된 젠-2는 상당히 혁신적이었으나, 젠-3 알파는 그보다 훨씬 더 강력한 성능을 자랑한다. 젠-3 알파는 사용자 입력을 기반으로 초현실적이고 정교한 비디오를 생성할 수 있도록 설계되었다. 특히, 이 모델은 마케팅 및 광고 전문가들을 포함한 다양한 콘텐츠 크리에이터를 위해 개발되었으며, 복잡한 전환이나 표정이 풍부한 인물 캐릭터를 처리하는 능력에서 경쟁사를 능가한다는 평가를 받고 있다.

젠-3 알파의 가장 큰 특징은 대규모 비디오 및 이미지 데이터 세트에서 학습된 모델이라는 점이다. 이를 통해 매우 사실적인 비디오 클립을 생성할 수 있으며, 텍스트 프롬프트뿐만 아니라 이미지와 비디오를 프롬프트로 사용할 수 있어 더 다양한 감정 표현과 카메라 움직임을 구현할 수 있다. 이 모델은 최대 90초까지 고품질의 상세한 장면을 빠르게 생성할 수 있으며, 이전 세대인 젠-2에 비해 생성 속도와 충실도가 크게 향상되었다. 또한, 생성된 비디오의 구조, 스타일, 모션을 세밀하게 제어할 수 있는 능력을 갖추고 있다. 다만, 생성할 수 있는 비디오의 길이는 최대 10초로 제한되어 있다. 런웨이는 이러한 젠-3 알파의 저작권 문제에 대해서도 투명하게 설명했다. "모든 훈련을 감독하는 사내 연구팀이 있으며, 선별된 내부 데이터 세트를 사용해 모델을 훈련한다"고 밝혀, AI 모델이 학습 과정에서 저작권 침해 문제를 피할 수 있도록 관리하고 있다.

젠-3 알파는 런웨이ML 플랫폼에 등록된 모든 사용자에게 제공되지만, 젠-1과 젠-2와는 달리 무료로 제공되지 않는다. 사용자는 에디터당 월 12달러부터 시작하는 유료 요금제로 업그레이드해야 이 모델을 사용할 수 있다. 런웨이는 최종적으로 '일반 세계 모델'이라는 더 발전된 AI 모델을 구축할 계획을 가지고 있으며, 이 모델을 통해 다양한 현실 세계 상황과 상호작용하는 시뮬레이션을 구현할 수 있는 목표를 설정했다. 젠-3 알파는 콘텐츠 크리에이터에게 비디오 생성의 품질과 속도를 제공하는 동시에, 비디오 제작 과정에서 세밀한 제어가 가능하다는 점에서 큰 강점을 지닌다. 이러한 기술적 진보는 이미 광고와 마케팅 산업에서 큰 반향을 일으키고 있으며, 실제로 젠-3 알파를 이용해 볼보 광고를 제작한 사례는 온라인상에서 큰 화제를 모으기도 했다.

젠3 터보

젠-3 터보는 젠-3 알파의 확장 버전으로, 비디오 생성 속도와 비용 절감에 중점을 둔 모델이다. 이 모델은 젠-3 알파보다 7배 더 빠르게 비디오를 생성할 수 있으며, 비용은 절반으로 줄어들어 더욱 경제적이다. 특히, 비디오 생성 시간이 사용자 입력에 걸리는 시간보다 짧아졌다는 점이 주목할 만하다. 런웨이는 2023년 8월 젠-3 터보를 프리뷰로 공개했으며, 11초 만에 10초 길이의 영상을 생성하는 능력을 보여주었다. 이는 경쟁사인 피카 랩스, 루마 AI, 클링, 소라 등과 같은 비디오 생성 AI 시장에서 런웨이가 차별화된 경쟁력을 갖출 수 있게 해준 주요한 요소이다. 젠-3 터보의 초고속 비디오 생성 능력은 실시간에 가까운 결과물을 제공함으로써 사용자의 창의적인 작업 흐름을 크게 개선한다.

또한 젠-3 터보는 서버에서 실행하는 데 컴퓨팅 부담이 적도록 설계되어 비용 절감 측면에서 유리하다. 젠-3 알파와 비교했을 때 비디오 1초당 크레딧 소모량이 절반으로 줄어들어, 1초당 5크레딧만 소모된다. 이러한 크레딧은 런웨이 웹사이트에서 1000 크레딧 묶음으로 10달러에 구매할 수 있으며, 월간 또는 연간 구독 플랜의 일부로 제공된다. 이로 인해 젠-3 터보는 더 많은 사용자가 경제적인 비용으로 초고속 비디오 생성 AI를 사용할 수 있게 되었다. 젠-3 터보는 무료 사용자를 위한 체험판도 제공하고 있어, 런웨이 플랫폼의 모든 요금제에서 이용할 수 있다. 이 모델에 대한 사용자들의 반응은 매우 긍정적이다. X(트위터)와 같은 소셜 미디어 플랫폼에는 "정말 빠르다", "모든 것을 바꿔놓았다", "실시간 영상이다", "게임 체인저" 등의 긍정적인 사용 후기가 이어지고 있다.

비교

인공지능 동영상 생성 AI인 소라(Sora)와 런웨이의 젠3(Gen-3)를 비교할 때, 두 모델은 각각의 특성과 강점에 따라 여러 차이점이 존재한다. 이 두 모델 모두 동영상 생성 AI 분야에서 경쟁하고 있으며, 생성 속도, 사용성, 품질 등에서 차이를 보인다.

모델의 성능 및 정확성

런웨이의 젠3은 고품질 동영상 생성을 목표로 설계되었으며, 특히 사실적인 비디오 클립을 생성하는 데 초점을 맞추고 있다. 젠3 Alpha는 복잡한 전환 효과, 표정이 풍부한 캐릭터, 감정 표현, 그리고 카메라 움직임까지 재현할 수 있다. 이 모델은 대규모 비디오 및 이미지 데이터 세트로 학습되었으며, 텍스트 프롬프트, 이미지 또는 비디오 입력을 통해 매우 정교한 결과물을 만들어낸다. 생성 속도는 빠르며, 특히 젠3 터보는 실시간에 가까운 속도로 동영상을 생성할 수 있어 작업 시간을 크게 단축시킨다. 정밀도와 디테일에서 경쟁 모델을 뛰어넘는다는 평가를 받고 있다.

소라는 비디오 생성 AI로서 역시 다양한 미디어 입력을 기반으로 동영상을 생성할 수 있지만, 런웨이의 젠3와 비교했을 때 조금 더 속도에 초점을 맞춘 경향이 있다. 소라는 보다 간편하고 빠르게 동영상을 제작할 수 있도록 최적화되었으며, 사용자 친화적인 인터페이스가 특징이다. 다만, 영상 품질이나 디테일에서 젠3에 비해 약간 떨어질 수 있으며, 특히 복잡한 전환 효과나 정교한 표정 표현에서 한계가 있을 수 있다.

사용자 맞춤형 기능

젠3은 사용자가 동영상의 구조, 스타일, 모션 등을 세밀하게 제어할 수 있는 기능을 제공한다. 특히 광고 및 마케팅 전문가와 같은 전문 크리에이터를 위해 설계되었으며, 고품질의 사실적인 동영상을 짧은 시간 내에 생성할 수 있는 점이 큰 강점이다. 또한 무료 버전과 유료 구독 모델을 통해 다양한 사용자에게 접근 가능하다.

소라는 사용하기 쉬운 인터페이스와 속도를 중시하는 사용자에게 적합하다. 젠3보다 다소 복잡한 기능이 부족할 수 있지만, 신속하게 동영상을 생성하려는 사용자에게는 매우 유용하다. 특히 비디오 편집에 익숙하지 않은 사용자도 쉽게 활용할 수 있도록 설계되었다.

속도와 비용 효율성

젠3 알파는 10초 길이의 비디오를 생성하는 데 90초가 소요되며, 젠3 터보는 이 속도를 더욱 단축하여 11초 안에 10초 길이의 영상을 생성할 수 있다. 이 모델은 비용 효율성 면에서도 우수한데, 특히 젠3 터보는 알파 모델에 비해 7배 빠르고 비용이 절반으로 줄었다. 젠3은 크레딧 기반으로 동영상 생성 비용이 측정되며, 젠3 터보는 크레딧 소모량이 적어 경제적인 옵션으로 제공된다.

소라는 속도 면에서 런웨이 젠3와 경쟁할 수 있는 모델 중 하나이다. 그러나 비용 면에서는 상대적으로 젠3 터보와 비교해 다소 더 비쌀 수 있다. 그럼에도 불구하고 실시간에 가까운 속도로 동영상을 생성할 수 있다는 점에서 특정 작업에서는 여전히 경쟁력 있는 옵션이다.

대상 사용자

젠3은 전문적인 콘텐츠 제작자를 위한 도구로, 고품질의 동영상을 생성하고자 하는 광고 및 마케팅 전문가, 영상 편집 전문가에게 적합하다. 복잡한 전환 효과나 스타일 변환이 필요한 프로젝트에 특히 유용하다.

소라는 일반 사용자 또는 비전문가가 간편하게 비디오를 생성하고자 할 때 적합하다. 비디오 편집 경험이 부족한 사용자도 쉽게 접근할 수 있으며, 빠른 결과를 원하는 작업에서 특히 유리하다.

참고자료

• 박찬 기자, 〈런웨이, 비디오의 스타일을 변환하는 생성 AI ‘젠-1’ 출시〉, 《AI타임스》, 2023-02-07
• 남혁우 기자, 〈런웨이, 텍스트로 영상 만드는 생성AI '젠2' 공개〉, 《지디넷코리아》, 2023-03-21
• 정병일 기자, 〈런웨이, 비디오 변환 도구 ‘젠-1’ 모바일 버전 출시〉, 《AI타임스》, 2023-04-25
• AI리포터, 〈런웨이, 초현실적 비디오 생성형 AI '젠3 알파' 공개〉, 《디지털투데이》, 2024-07-03
• 박찬 기자, 〈런웨이, '소라' 잡을 동영상 생성 AI '젠-3 알파' 유료 출시〉, 《AI타임스》, 2024-07-03
• 유다정 기자, 〈"볼보, 보고 있나?"… '런웨이 젠3'로 하루만에 만든 100% AI 광고에 업계 충격〉, 《브랜드브리프》, 2024-07-15
• 박찬 기자, 〈런웨이, ‘젠-3 알파 터보’ 공식 출시..."프롬프트 입력 시간보다 비디오 생성이 더 짧아"〉, 《AI타임스》, 2024-08-16

같이 보기

• 소라
• 인공지능 동영상

이 런웨이 젠3 문서는 인공지능 서비스에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스 □■⊕, 인공지능 로봇, 인공지능 기술, 인공지능 기업, 인공지능 인물 거대언어모델(LLM) 그록 • 네모 • 라마 • 믹스트랄 • 믿음 • 바드 • 솔라 미니 • 솔라 프로 • 아야23 • 엑사원 • 인플렉션 2.5 • 제미나이 • 제미나이 나노 • 챗GPT • 클로드 • 파이-3.5 • 팔미라-X-004 • 하이퍼클로바X 챗봇 라온 • 브리티 코파일럿 • 샵봇 • 시리 • 심심이 • 아숙업(AskUp) • 알로 • 알리GPT • 애플 인텔리전스 • 오토GPT • 이루다 • 채티 • 챗뤼튼 • 챗베이스 • 클로바X • 키미챗 • 테이 • 패브릭스 • 픽스트랄 • 허깅챗 인공지능 검색 구버 • 라이너 • 빙 • 서치GPT • 옴니서치 • 퍼플렉시티 인공지능 문서 감마 • 구글 번역 • 노션AI • 다글로 • 딥엘(DeepL) • 뤼튼 • 비토 • 스위치미팅 • 에버노트 • 캔바 • 클로바노트 • 클로바더빙 • 파파고 인공지능 코딩 깃허브 코파일럿 • 데빈 • 커서AI • 코덱스 • 코디움메이트 • 탭나인 인공지능 이미지 AI 모션 • AI 프로필 • NUI 스튜디오 • 달리(DALL·E) • 드림스튜디오 • 레오나르도 AI • 미드저니 • 비디스커버 • 스테이블 디퓨전 • 에픽 • 카카오브레인 • 칼로 • 캐럿 • 코파일럿 • 파이어플라이 • 플레이그라운드 인공지능 웹툰 딥툰 • 로어머신 인공지능 음악 및 음성 AI 보이스 스튜디오 • 뮤직LM • 복스박스 • 사운드풀 • 수노 • 에이바 • 유디오 • 이봄 • 일레븐랩스 • 타입캐스트 인공지능 동영상 더 프로스트 • 드림머신 • 디-아이디 • 런웨이 젠 • 런웨이 젠3 • 무비 젠 • 브루 • 브이 • 소라 • 스테이블 비디오 디퓨전 • 인비디오 AI • 카이버 AI • 크레아 AI • 클링 AI • 피카아트 • 픽스버스 • 픽토리 인공지능 서비스 슈퍼로이어 인공지능 무기 가스펠 • 라벤더 인공지능 스피커(한국) 갤럭시홈미니 • 기가지니 • 기가지니2 • 누구 • 누구네모 • 엑스붐AI씽큐 • 카카오아이 • 카카오미니 • 큐보이스 • 클로바 • 클로바웨이브 인공지능 스피커(글로벌) 구글홈 • 구글홈미니 • 구글홈허브 • 두어 • 빅스비 • 샤오두 • 스마트스피커 • 알렉사 • 어시스턴트 • 에코 • 에코닷 • 에코쇼 • 코타나 • 티몰지니 • 홈팟 인공지능 행사 2024년 제2차 AX 컨퍼런스 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반