런웨이 젠

런웨이 젠(Runway Gen)은 인공지능(AI) 기반 비디오 제조업체 런웨이(Runway)에서 개발한 비디오 생성 AI이다. 비디오 제작의 효율성을 높이고, 창의적인 콘텐츠를 쉽게 생성할 수 있도록 돕는다.

[아사달] 스마트 호스팅

모델

젠1

젠-1은 2023년 2월에 출시된 비디오 변환 인공지능 모델이다. 젠-1은 기존 비디오에 새로운 스타일을 적용하여 완전히 새로운 비디오로 변환하는 능력을 갖추고 있다. 텍스트 프롬프트에서 사용자가 지정한 스타일을 적용해 기존 영상의 모양과 분위기를 완전히 바꿀 수 있다. 이를테면, 거리에 있는 사람들을 클레이메이션(점토 애니메이션) 스타일로 변환하거나, 단순한 탁자 위에 놓인 책을 도시의 야경으로 바꿀 수 있는 기능을 제공한다. 이러한 방식은 이미지 생성 AI인 스테이블 디퓨전(Stable Diffusion)과 유사하다. 스테이블 디퓨전이 텍스트 프롬프트를 바탕으로 이미지를 생성하듯, 젠-1도 텍스트 프롬프트에서 사용자가 설정한 스타일을 기반으로 기존 비디오를 변환한다. 다만 젠-1은 단순한 이미지 생성과 달리 비디오 변환에 중점을 두어 훨씬 더 긴 비디오를 고품질로 변환할 수 있다는 점에서 차별화된다.

특히 메타의 메이커비디오(Make-A-Video)나 구글의 페나키(Phenaki)와 같은 비디오 생성 AI들이 텍스트 설명을 바탕으로 짧은 비디오 클립을 생성하는 방식과는 달리, 젠-1은 기존 비디오를 변환하는 데 초점을 맞춘다. 덕분에 스타일 변경을 통한 비디오 편집뿐 아니라 장편 비디오 제작도 가능하다. 젠-1은 다양한 모드를 제공한다. 스타일 모드에서는 비디오의 스타일과 모양을 텍스트 설명으로 변경할 수 있다. 스토리보드 모드는 간단한 스케치를 완성된 애니메이션으로 변환해 주며, 마스크 모드에서는 텍스트를 통해 비디오 속 개체를 선택해 그 모습을 변경할 수 있다. 렌더 모드는 간단한 3D 모델에 텍스처를 입혀 렌더링된 개체를 만들 수 있는 기능을 제공하며, 사용자 지정 모드에서는 젠-1의 모든 기능을 자유롭게 조합해 사용자 필요에 맞게 비디오를 조정할 수 있다.

또한 2023년 4월에는 아이폰용 젠-1 모바일 앱을 출시하며, 5초 이내의 짧은 영상을 작업할 수 있는 기능을 제공했다. 이 앱은 짧은 비디오 클립에 스타일을 적용하는 데 적합하며, 변환에는 약 2~3분이 소요된다. 사용자는 무료 크레딧으로 제한된 기능을 이용할 수 있지만, 보다 고급 기능을 사용하려면 월 15달러의 유료 요금제를 사용해야 한다.

젠2

젠-2(Gen-2)는 젠-1의 업그레이드 모델로, 2023년 3월 출시된 비디오 생성 AI 분야에서 중요한 진보를 이룬 모델이다. 젠-2는 텍스트, 이미지, 또는 영상과 같은 다양한 입력 데이터를 기반으로 비디오를 생성할 수 있는 멀티모달 AI로, 단순히 기존 비디오를 변환하는 젠-1과 달리 텍스트만으로 새로운 비디오를 생성할 수 있다. 이는 AI가 비디오 생성 과정에서 더욱 큰 자율성을 발휘할 수 있도록 해주며, 사용자의 상상력을 보다 정교하게 반영할 수 있게 한다. 젠-2는 텍스트-투-비디오 기능을 최초로 도입한 모델로, 텍스트 프롬프트만 입력해도 비디오를 생성할 수 있다. 이러한 혁신은 젠-1의 기능과는 확연히 구분되며, 사용자 지정 옵션도 더 많이 제공하여 비디오 제작의 정밀도를 크게 높였다. 예를 들어, 사용자가 특정한 스타일을 텍스트로 설명하면, 젠-2는 이 설명을 바탕으로 고유한 비디오를 생성한다.

젠-2의 개발 과정에서 런웨이는 2억 4천만 개의 이미지와 640만 개의 비디오 클립으로 구성된 대규모 교육 데이터 세트를 활용해 AI 모델을 학습시켰다. 이 데이터를 통해 AI는 비디오 제작 과정에서 더 나은 성능을 발휘할 수 있도록 훈련되었으며, 다양한 모양, 색상, 움직임, 스타일 등을 세밀하게 구현할 수 있다. 런웨이는 이러한 학습을 바탕으로 사용자 연구를 진행했으며, 젠-2가 다른 AI 모델들과 비교해 더 나은 성능을 보였다고 밝혔다. 젠-2는 기존 젠-1의 방식도 지원하므로, 사용자가 필요에 따라 기존 비디오를 텍스트 프롬프트로 변환하는 작업도 여전히 가능하다. 이를 통해 사용자는 자신의 요구에 맞게 다양한 방식으로 비디오를 생성하고 편집할 수 있다. 젠-2는 비디오 생성의 정확성을 높이는 데 초점을 맞추었으며, 텍스트 입력만으로도 정교한 비디오를 만들 수 있다는 점에서 AI 기반 콘텐츠 제작의 새로운 가능성을 열어주었다. 이는 단순한 편집 작업을 넘어서, 완전히 새로운 형태의 비디오를 생성할 수 있다는 점에서 비디오 제작의 패러다임을 바꾸고 있다.

젠3 알파

젠-3 알파는 이전 모델인 젠-2에서 크게 발전된 모델이다. 2023년 초에 공개된 젠-2는 상당히 혁신적이었으나, 젠-3 알파는 그보다 훨씬 더 강력한 성능을 자랑한다. 젠-3 알파는 사용자 입력을 기반으로 초현실적이고 정교한 비디오를 생성할 수 있도록 설계되었다. 특히, 이 모델은 마케팅 및 광고 전문가들을 포함한 다양한 콘텐츠 크리에이터를 위해 개발되었으며, 복잡한 전환이나 표정이 풍부한 인물 캐릭터를 처리하는 능력에서 경쟁사를 능가한다는 평가를 받고 있다.

젠-3 알파의 가장 큰 특징은 대규모 비디오 및 이미지 데이터 세트에서 학습된 모델이라는 점이다. 이를 통해 매우 사실적인 비디오 클립을 생성할 수 있으며, 텍스트 프롬프트뿐만 아니라 이미지와 비디오를 프롬프트로 사용할 수 있어 더 다양한 감정 표현과 카메라 움직임을 구현할 수 있다. 이 모델은 최대 90초까지 고품질의 상세한 장면을 빠르게 생성할 수 있으며, 이전 세대인 젠-2에 비해 생성 속도와 충실도가 크게 향상되었다. 또한, 생성된 비디오의 구조, 스타일, 모션을 세밀하게 제어할 수 있는 능력을 갖추고 있다. 다만, 생성할 수 있는 비디오의 길이는 최대 10초로 제한되어 있다. 런웨이는 이러한 젠-3 알파의 저작권 문제에 대해서도 투명하게 설명했다. "모든 훈련을 감독하는 사내 연구팀이 있으며, 선별된 내부 데이터 세트를 사용해 모델을 훈련한다"고 밝혀, AI 모델이 학습 과정에서 저작권 침해 문제를 피할 수 있도록 관리하고 있다.

젠-3 알파는 런웨이ML 플랫폼에 등록된 모든 사용자에게 제공되지만, 젠-1과 젠-2와는 달리 무료로 제공되지 않는다. 사용자는 에디터당 월 12달러부터 시작하는 유료 요금제로 업그레이드해야 이 모델을 사용할 수 있다. 런웨이는 최종적으로 '일반 세계 모델'이라는 더 발전된 AI 모델을 구축할 계획을 가지고 있으며, 이 모델을 통해 다양한 현실 세계 상황과 상호작용하는 시뮬레이션을 구현할 수 있는 목표를 설정했다. 젠-3 알파는 콘텐츠 크리에이터에게 비디오 생성의 품질과 속도를 제공하는 동시에, 비디오 제작 과정에서 세밀한 제어가 가능하다는 점에서 큰 강점을 지닌다. 이러한 기술적 진보는 이미 광고와 마케팅 산업에서 큰 반향을 일으키고 있으며, 실제로 젠-3 알파를 이용해 볼보 광고를 제작한 사례는 온라인상에서 큰 화제를 모으기도 했다.

젠3 터보

젠-3 터보는 젠-3 알파의 확장 버전으로, 비디오 생성 속도와 비용 절감에 중점을 둔 모델이다. 이 모델은 젠-3 알파보다 7배 더 빠르게 비디오를 생성할 수 있으며, 비용은 절반으로 줄어들어 더욱 경제적이다. 특히, 비디오 생성 시간이 사용자 입력에 걸리는 시간보다 짧아졌다는 점이 주목할 만하다. 런웨이는 2023년 8월 젠-3 터보를 프리뷰로 공개했으며, 11초 만에 10초 길이의 영상을 생성하는 능력을 보여주었다. 이는 경쟁사인 피카 랩스, 루마 AI, 클링, 소라 등과 같은 비디오 생성 AI 시장에서 런웨이가 차별화된 경쟁력을 갖출 수 있게 해준 주요한 요소이다. 젠-3 터보의 초고속 비디오 생성 능력은 실시간에 가까운 결과물을 제공함으로써 사용자의 창의적인 작업 흐름을 크게 개선한다.

또한 젠-3 터보는 서버에서 실행하는 데 컴퓨팅 부담이 적도록 설계되어 비용 절감 측면에서 유리하다. 젠-3 알파와 비교했을 때 비디오 1초당 크레딧 소모량이 절반으로 줄어들어, 1초당 5크레딧만 소모된다. 이러한 크레딧은 런웨이 웹사이트에서 1000 크레딧 묶음으로 10달러에 구매할 수 있으며, 월간 또는 연간 구독 플랜의 일부로 제공된다. 이로 인해 젠-3 터보는 더 많은 사용자가 경제적인 비용으로 초고속 비디오 생성 AI를 사용할 수 있게 되었다. 젠-3 터보는 무료 사용자를 위한 체험판도 제공하고 있어, 런웨이 플랫폼의 모든 요금제에서 이용할 수 있다. 이 모델에 대한 사용자들의 반응은 매우 긍정적이다. X(트위터)와 같은 소셜 미디어 플랫폼에는 "정말 빠르다", "모든 것을 바꿔놓았다", "실시간 영상이다", "게임 체인저" 등의 긍정적인 사용 후기가 이어지고 있다.

주요 기능

• 텍스트에서 비디오 생성: 가장 혁신적인 기능 중 하나는 사용자가 입력한 텍스트를 바탕으로 비디오를 자동으로 생성하는 기능이다. 이 기능은 텍스트-비디오(T2V) 모델을 기반으로 하며, 사용자가 특정 장면, 스타일, 분위기를 설명하는 문구를 입력하면, AI가 해당 설명에 맞는 비디오 클립을 생성한다. 예를 들어, "저녁 노을이 지는 바다"라고 입력하면, 이에 맞는 비디오 장면을 자동으로 만들어주는 방식이다. 이는 기존에 비디오 제작에 필요한 많은 시간과 기술적 복잡성을 획기적으로 줄여준다.

• 실시간 비디오 편집: AI를 기반으로 한 실시간 비디오 편집 기능도 포함되어 있다. 사용자는 비디오의 특정 부분을 텍스트로 지시하거나 스타일을 변경할 수 있으며, AI가 이를 즉각적으로 반영해 비디오를 편집해 준다. 예를 들어, 특정 부분의 색감을 변경하거나, 물체의 위치를 조정하는 등의 작업을 빠르고 간편하게 수행할 수 있다. 이러한 자동화 기능은 영상 편집 작업의 효율성을 크게 향상시킨다.

• 이미지 및 비디오 스타일링: 런웨이 젠은 이미지나 비디오 클립의 스타일 변환 기능을 제공하여, 사용자가 원하는 특정 스타일로 콘텐츠를 자동으로 변환할 수 있다. 예를 들어, 특정 화풍을 모방한 이미지나 영상을 생성하거나, 사용자가 원하는 색감이나 분위기로 장면을 바꿀 수 있다. 이는 AI가 예술 작품이나 사진을 학습하여 그 스타일을 비디오나 이미지에 적용하는 방식으로 이루어진다.

• 물체 및 배경 제거: AI 기술을 사용한 물체 및 배경 제거 기능도 있다. 사용자는 특정 비디오나 이미지에서 물체나 사람을 쉽게 제거하거나, 배경을 투명하게 만드는 등의 작업을 자동으로 처리할 수 있다. 이 기능은 비디오 제작 과정에서 시간 소모가 큰 세부 편집 작업을 획기적으로 간소화하는 데 도움을 준다.

• 다양한 콘텐츠와 호환성: 런웨이 젠은 다양한 미디어 콘텐츠와 호환성을 가진다. 여러 포맷의 이미지, 비디오를 처리할 수 있으며, 결과물도 다양한 형식으로 출력할 수 있어 크리에이터들에게 유연성을 제공한다. 이는 유튜브, 소셜 미디어 등의 다양한 플랫폼에서 콘텐츠를 활용할 수 있게 한다.

활용 가능성

• 콘텐츠 크리에이션: 유튜버, 인플루언서, 마케터 등 디지털 콘텐츠를 제작하는 이들에게 런웨이 젠은 매우 유용한 도구가 될 수 있다. 비디오 제작의 복잡한 과정을 간소화하고, 시간과 비용을 절약할 수 있으며, 텍스트만으로도 원하는 비디오를 빠르게 생성할 수 있기 때문이다. 이를 통해 콘텐츠 제작자들은 더 창의적인 콘텐츠 기획과 아이디어에 집중할 수 있게 된다.

• 광고 및 마케팅: 광고 제작에 있어 비디오 콘텐츠의 중요성은 점점 커지고 있다. 런웨이 젠의 자동 비디오 생성 및 편집 기능을 통해 마케터들은 더 빠르고 효율적으로 광고 비디오를 제작할 수 있다. 특히 다양한 스타일링 기능을 통해 광고 영상에 다양한 효과와 디자인을 적용할 수 있어, 창의적이고 효과적인 마케팅 콘텐츠를 쉽게 만들 수 있다.

• 교육 및 학습 자료 제작: 교육 분야에서도 런웨이 젠은 큰 가능성을 지닌다. 교육 자료 제작자들은 학습 내용을 시각적이고 동적인 방식으로 전달하기 위해 비디오 콘텐츠를 자주 활용하는데, 이 과정을 인공지능이 자동화함으로써 더 풍부한 학습 자료를 손쉽게 제작할 수 있다. 예를 들어, 과학 실험을 설명하는 텍스트를 입력하면 해당 과정이 담긴 비디오를 생성할 수 있어 학습자들에게 더 효과적인 교육 경험을 제공할 수 있다.

• 게임 및 영화 산업: 게임이나 영화 산업에서 시각적 효과나 배경, 짧은 클립 등을 생성하는 데 있어 런웨이 젠은 비용 절감과 작업 속도 향상에 크게 기여할 수 있다. 특히 빠르게 변하는 게임 씬이나 영화 장면의 배경을 자동으로 생성하거나 수정할 수 있어, 창작자들이 더 중요한 스토리나 캐릭터 디자인에 집중할 수 있는 환경을 제공한다.

• 일러스트 및 애니메이션: 일러스트레이션이나 애니메이션 작업에서도 런웨이 젠의 이미지 생성 및 스타일링 기능은 큰 도움이 된다. 아티스트들은 원하는 스타일을 AI에게 학습시켜 빠르게 다양한 시각적 결과물을 얻을 수 있으며, 이를 통해 작업 시간을 크게 줄일 수 있다.

참고자료

• 박찬 기자, 〈런웨이, 비디오의 스타일을 변환하는 생성 AI ‘젠-1’ 출시〉, 《AI타임스》, 2023-02-07
• 남혁우 기자, 〈런웨이, 텍스트로 영상 만드는 생성AI '젠2' 공개〉, 《지디넷코리아》, 2023-03-21
• 정병일 기자, 〈런웨이, 비디오 변환 도구 ‘젠-1’ 모바일 버전 출시〉, 《AI타임스》, 2023-04-25
• AI리포터, 〈런웨이, 초현실적 비디오 생성형 AI '젠3 알파' 공개〉, 《디지털투데이》, 2024-07-03
• 박찬 기자, 〈런웨이, '소라' 잡을 동영상 생성 AI '젠-3 알파' 유료 출시〉, 《AI타임스》, 2024-07-03
• 유다정 기자, 〈"볼보, 보고 있나?"… '런웨이 젠3'로 하루만에 만든 100% AI 광고에 업계 충격〉, 《브랜드브리프》, 2024-07-15
• 박찬 기자, 〈런웨이, ‘젠-3 알파 터보’ 공식 출시..."프롬프트 입력 시간보다 비디오 생성이 더 짧아"〉, 《AI타임스》, 2024-08-16

같이 보기

• 런웨이
• 젠
• 런웨이 젠3

이 런웨이 젠 문서는 인공지능 서비스에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스 □■⊕, 인공지능 로봇, 인공지능 기술, 인공지능 기업, 인공지능 인물 거대언어모델(LLM) 그록 • 네모 • 라마 • 믹스트랄 • 믿음 • 바드 • 아야23 • 엑사원 • 인플렉션 2.5 • 제미나이 • 챗GPT • 클로드 • 파이-3.5 • 하이퍼클로바X 챗봇 라온 • 브리티 코파일럿 • 숍봇 • 시리 • 심심이 • 아숙업(AskUp) • 알로 • 알리GPT • 애플 인텔리전스 • 오토GPT • 이루다 • 챗뤼튼 • 챗베이스 • 클로바X • 키미챗 • 테이 • 패브릭스 • 픽스트랄 • 허깅챗 인공지능 검색 빙 • 서치GPT • 옴니서치 • 퍼플렉시티 인공지능 문서 감마 • 구글 번역기 • 노션AI • 다글로 • 딥엘(DeepL) • 뤼튼 • 비토 • 스위치미팅 • 에버노트 • 캔바 • 클로바노트 • 클로바더빙 • 파파고 인공지능 코딩 깃허브 코파일럿 • 데빈 • 커서AI • 코디움 • 코디움메이트 • 탭나인 인공지능 이미지 AI 모션 • AI 프로필 • NUI 스튜디오 • 달리(DALL·E) • 드림스튜디오 • 레오나르도 AI • 미드저니 • 비디스커버 • 스테이블 디퓨전 • 카카오브레인 • 칼로 • 코파일럿 • 파이어플라이 • 플레이그라운드 인공지능 웹툰 딥툰 • 로어머신 인공지능 음악 및 음성 AI 보이스 스튜디오 • 뮤직LM • 복스박스 • 사운드풀 • 수노 • 에이바 • 유디오 • 이봄 • 일레븐랩스 • 타입캐스트 인공지능 동영상 더 프로스트 • 드림머신 • 디-아이디 • 런웨이 젠 • 런웨이 젠3 • 브루 • 브이 • 소라 • 스테이블 비디오 디퓨전 • 인비디오 AI • 카이버 AI • 크레아 AI • 클링 AI • 피카아트 • 픽스버스 • 픽토리 인공지능 스피커(한국) 갤럭시홈미니 • 기가지니 • 기가지니2 • 누구 • 누구네모 • 엑스붐AI씽큐 • 카카오아이 • 카카오미니 • 큐보이스 • 클로바 • 클로바웨이브 인공지능 스피커(글로벌) 구글홈 • 구글홈미니 • 구글홈허브 • 두어 • 빅스비 • 샤오두 • 스마트스피커 • 알렉사 • 어시스턴트 • 에코 • 에코닷 • 에코쇼 • 코타나 • 티몰지니 • 홈팟 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반