위키원
피포 디퓨전
피포 디퓨전(FIFO-Diffusion)은 서울대학교 컴퓨터비전 연구팀(CVLAB)이 개발한 끝없이 영상을 생성하는 AI 비디오 생성 기술이다.
 .jpg) |
개요[편집]
서울대학교 공과대학 전기정보공학부 한보형 교수가 이끄는 컴퓨터비전 연구팀(CVLAB)이 개발한 혁신적인 텍스트 투 비디오(Text-to-Video) 생성 기술이다. 이 기술은 텍스트를 입력하면 별도의 학습 없이 무한한 길이의 비디오를 생성할 수 있는 AI 모델로, 기존의 영상 생성 기술 한계를 극복하며 주목받고 있다. 피포 디퓨전은 딥러닝에서 중요한 기술로 자리 잡고 있는 디퓨전 모델(diffusion model)을 활용한 비디오 생성 기술이다. 기존의 비디오 생성 모델은 영상 길이가 길어질수록 메모리 소모와 프레임 간 일관성 유지에 어려움을 겪었다. 그러나 피포 디퓨전은 이러한 문제를 해결하며 혁신적 특징을 보여준다. 피포 디퓨전 기술을 제안한 논문 'FIFO-Diffusion: Generating Infinite Videos from Text without Training'은 2024년 10월, 인공지능 및 기계학습 분야에서 세계 최고 권위를 자랑하는 학술대회 NeurIPS(Neural Information Processing Systems)에 채택되었다. NeurIPS는 AI 및 딥러닝 분야의 최첨단 연구 결과를 발표하는 자리로, 엄격한 심사를 통과한 논문만 발표된다. 피포 디퓨전은 텍스트 투 비디오 기술의 새로운 가능성을 제시하며 학계와 산업계의 주목을 받았다. 연구팀을 이끄는 한보형 교수는 피포 디퓨전이 영상 콘텐츠 제작에 있어 새로운 기준을 제시했다고 평가하며, 이를 기반으로 후속 연구를 통해 기술을 더욱 발전시킬 계획임을 밝혔다.[1]
특징[편집]
- 무한한 길이의 비디오 생성 가능
기존 모델은 짧은 클립 생성에 그쳤지만, 피포 디퓨전은 텍스트 입력만으로 무한히 긴 비디오를 생성할 수 있다. 이는 비디오 제작에서 길이에 대한 제약을 완전히 제거한 획기적인 기술이다.
- 별도의 추가 학습 없이 텍스트 조건에 따라 생성
기존 기술은 모델 학습에 방대한 데이터와 하드웨어 자원이 필요했으나, 피포 디퓨전은 사전에 짧은 클립을 학습한 모델을 기반으로 추가 학습 없이도 자연스럽고 일관성 있는 비디오를 생성한다.
- 메모리 효율성 및 고화질 유지
메모리 사용량을 일정하게 유지하며, 고품질 비디오를 생성하는 데 초점을 맞췄다. 이를 통해 장시간 비디오 제작도 실현 가능하다.[2]
기술적 기법[편집]
피포 디퓨전은 비디오 품질과 생성 효율성을 극대화하기 위해 세 가지 주요 기법을 도입했다.
- 대각선 디노이징(Diagonal Denoising) : 노이즈가 있는 비디오 프레임을 큐(queue) 형태로 처리하며 품질 저하 없이 무한히 긴 비디오를 생성하도록 한다. 이는 프레임 간 연결성을 유지하는 데 중요한 역할을 한다.
- 잠재 파티셔닝(Latent Partitioning) : 비디오 프레임을 여러 블록으로 나눠 병렬로 처리함으로써 프레임 간 노이즈 레벨 차이를 줄인다. 이로 인해 보다 일관된 품질의 비디오가 생성된다.
- 앞서보기 디노이징(Lookahead Denoising) : 새롭게 생성될 프레임이 이전 프레임의 더 깨끗한 데이터를 참조하도록 설계되어, 비디오가 길어질수록 발생할 수 있는 품질 저하를 방지한다. 후반부 프레임에서도 선명한 영상을 유지할 수 있도록 돕는 핵심 기술이다.[3]
가능성[편집]
기존의 비디오 생성 모델들은 다음과 같은 한계가 있었다. 대다수의 기존 비디오 생성 모델은 3초 이내의 짧은 클립 생성에만 적합했다. 프레임 간 일관성이 부족해 부자연스러운 영상이 생성되었으며, 메모리 소모와 연산 자원 요구량이 매우 높았다. 피포 디퓨전은 이러한 한계를 뛰어넘어 텍스트를 기반으로 길이 제한 없이 자연스럽고 선명한 비디오를 생성할 수 있다. 특히, 추가 학습이나 대규모 데이터가 필요하지 않아 효율적인 비디오 제작을 가능케 한다. 피포 디퓨전은 영화, 광고, 게임, 교육 등 콘텐츠 제작 분야에서 혁신을 가져올 잠재력을 지니고 있다.
- 영화 및 광고: 텍스트를 입력하는 것만으로 원하는 장면을 자동 생성해 제작 시간과 비용을 절감할 수 있다.
- 게임: 게임 세계관과 일치하는 배경 영상이나 스토리 컷신을 자동으로 생성할 수 있다.
- 교육: 강의나 학습 자료를 위한 맞춤형 영상 콘텐츠를 손쉽게 제작할 수 있다.[4]
각주[편집]
- ↑ 김태봉 기자, 〈끝없이 영상 생성하는 AI 비디오 생성 기술 개발〉, 《한국IT산업뉴스》, 2024-11-15
- ↑ 박현진 기자, 〈"3초, 1분이 아니다!"...우리는 별도의 학습 없이 무한 길이의 비디오 생성한다!〉, 《인공지능신문》, 2024-11-11
- ↑ 이재성 기자, 〈서울대 공대 컴퓨터비전 연구팀, 끝없이 영상 생성하는 AI 비디오 생성 기술 개발〉, 《한국데이터경제신문》, 2024-11-12
- ↑ 〈서울대 공대 전기정보공학부 컴퓨터비전 연구팀, 끝없이 영상 생성하는 AI 비디오 생성 기술 개발〉, 《서울대학교 공과대학》, 2024-11-11
참고자료[편집]
- 박현진 기자, 〈"3초, 1분이 아니다!"...우리는 별도의 학습 없이 무한 길이의 비디오 생성한다!〉, 《인공지능신문》, 2024-11-11
- 〈서울대 공대 전기정보공학부 컴퓨터비전 연구팀, 끝없이 영상 생성하는 AI 비디오 생성 기술 개발〉, 《서울대학교 공과대학》, 2024-11-11
- 이재성 기자, 〈서울대 공대 컴퓨터비전 연구팀, 끝없이 영상 생성하는 AI 비디오 생성 기술 개발〉, 《한국데이터경제신문》, 2024-11-12
- 김태봉 기자, 〈끝없이 영상 생성하는 AI 비디오 생성 기술 개발〉, 《한국IT산업뉴스》, 2024-11-15
같이 보기[편집]
