LMM

LMM(Large Multimodal Model)은 다양한 유형의 데이터를 통합하여 처리할 수 있는 고급 AI 모델이다. 텍스트뿐만 아니라 이미지, 오디오 등 여러 형태의 데이터를 이해하고 생성할 수 있는 능력을 갖추고 있다. 대형 멀티모달 모델이라고도 한다.

[아사달] 스마트 호스팅

개요

LMM(Large Multimodal Model)은 대규모의 멀티모달 데이터를 처리하도록 설계된 AI 모델로, 텍스트, 이미지, 음성, 동영상 등 다양한 유형의 데이터를 동시에 이해하고 생성할 수 있다. 기존의 LLM(Large Language Model)이 텍스트 기반의 자연어 처리를 중심으로 발전한 반면, LMM은 데이터를 다각적으로 활용하며, 사람과 유사한 방식으로 다양한 감각 데이터를 통합하고 해석할 수 있는 능력을 목표로 한다. LMM은 주로 트랜스포머(Transformer) 아키텍처를 기반으로 한다. 트랜스포머는 주의 메커니즘(attention mechanism)을 사용하여 입력 데이터의 중요한 부분에 집중할 수 있도록 돕는다. 또한 대규모 데이터셋을 사용하여 사전 학습을 진행하는데, 이 과정에서 모델은 다양한 데이터의 패턴과 구조를 학습하여, 새로운 데이터에 대한 이해도를 높인다. LMM은 자연어 처리, 이미지 인식, 음성 인식 등 다양한 분야에서 활용될 수 있다. 예를 들어, 텍스트와 이미지를 동시에 분석하여 문맥을 이해하거나, 음성과 텍스트를 결합하여 더 자연스러운 대화를 생성할 수 있다. 또한 LMM은 다양한 데이터 소스를 통합하여 더 풍부한 정보를 제공할 수 있는 장점이 있다. 이를 통해 복잡한 문제를 해결하거나, 보다 정교한 분석을 수행할 수 있다.

발전

최근 인공지능 분야에서는 '멀티모달 LLM' 대신 'LMM'이라는 새로운 용어가 주목받고 있다. 이는 오픈AI의 'GPT-4V(비전)'와 구글의 차세대 모델 [[제미나이] 같은 최신 AI 기술을 차별화하려는 시도에서 비롯되었다. 특히 오픈소스 커뮤니티에서는 라바(LLaVA) 1.5와 같은 모델이 개발자들 사이에서 인기를 끌고 있다. LMM은 기존 언어 학습 모델의 한계를 넘어, 이미지와 같은 시각적 데이터를 학습하여 이를 기반으로 텍스트와 통합된 응답을 생성할 수 있는 모델이다. 이는 텍스트 입력만을 처리하던 기존 LLM과는 달리, 이미지나 다른 멀티모달 데이터를 활용하여 더 넓은 활용 범위를 제공한다.

오픈AI는 2023년 3월 GPT-4를 통해 이미지 입력 기능을 상용화했고, 이를 통해 이미지 학습 기술이 AI 모델 개발의 표준으로 자리 잡았다. 이후 구글의 제미나이와 메타의 '메타 AI' 같은 대형 모델뿐만 아니라, 오픈소스 진영의 라바 1.5와 같은 프로젝트도 멀티모달 기능을 점점 더 강조하고 있다. 라바 1.5는 오픈AI의 클립(CLIP) 모델을 비전 인코더로 사용하고, 메타의 라마 기반 언어모델인 '비쿠나(Vicuna)'를 활용하여, LLM이 이미지를 기반으로 대화와 추론을 수행할 수 있도록 설계되었다. 이 모델은 GPT-4V와의 비교에서 성능 면에서 열세일 수 있으나, 비용 효율성과 오픈소스의 특성을 바탕으로 개발자들 사이에서 인기를 얻고 있다.

작동원리

거대 멀티모달 모델(Large Multimodal Model, LMM)은 다양한 유형의 데이터를 벡터 형태로 변환하고, 이를 바탕으로 모달리티 간의 관계를 학습하는 과정을 통해 작동한다. 이를 더 세부적으로 살펴보면 다음과 같은 주요 단계를 포함한다.

데이터 전처리 및 벡터화

데이터 임베딩

각 모달리티(텍스트, 이미지, 음성 등) 데이터는 고차원의 표현을 가지므로, 이를 기계 학습 모델에서 처리하기 위해 벡터로 변환해야 한다.

• 텍스트 데이터: 자연어 처리에는 트랜스포머(Transformer) 구조 기반의 언어 모델이 주로 활용된다. 입력 문장은 단어 단위로 나뉘고, 토큰화(Tokenization)된 각 단어는 고차원 벡터로 임베딩된다. 이 과정에서 모델은 문맥(context) 정보를 반영해 각 단어의 의미를 학습한다.
• 이미지 데이터: 이미지는 픽셀 데이터를 기반으로 비주얼 트랜스포머(Visual Transformer)와 같은 아키텍처를 통해 처리된다. 이미지는 작은 패치(patch)로 나뉘고, 각 패치는 벡터화되어 모델 입력으로 사용된다.
• 음성 및 동영상 데이터: 음성은 주파수 기반의 스펙트로그램(spectrogram)으로 변환된 후, 이를 CNN(Convolutional Neural Network) 또는 트랜스포머 기반 구조로 처리한다. 동영상 데이터는 시간 축을 포함해 여러 이미지 프레임을 처리하며, 시간 정보를 모델링하기 위해 LSTM(Long Short-Term Memory) 또는 트랜스포머 구조가 적용된다.

모달리티 간의 통합

크로스모달 학습(Cross-modal Learning)

다양한 데이터 유형을 통합하기 위해 크로스모달 학습 기술이 사용된다. 이는 서로 다른 모달리티에서 벡터화된 데이터를 동일한 임베딩 공간(Shared Embedding Space)으로 매핑하여, 모달리티 간의 관계를 학습할 수 있게 한다. 예를 들어, 텍스트 설명과 이미지 간의 연관성을 학습하는 CLIP(OpenAI의 Contrastive Language-Image Pre-training)이 있다. 데이터가 통합된 임베딩 공간에서는 텍스트와 이미지가 서로 밀접한 의미를 공유할 경우 벡터 간의 거리가 가까워지도록 학습된다.

멀티헤드 어텐션(Multi-head Attention)

트랜스포머 구조의 핵심인 멀티헤드 어텐션은 서로 다른 모달리티 간의 상호작용을 강화한다. 예를 들어, 텍스트의 단어가 이미지의 특정 영역과 관련이 있다면, 멀티헤드 어텐션 메커니즘이 이러한 관계를 학습한다.

융합 전략(Fusion Strategies)

멀티모달 데이터를 통합하기 위한 주요 융합 방법은 다음과 같다. 일찍 융합(Early Fusion)은 모달리티 데이터를 사전에 벡터화한 뒤, 하나의 입력으로 결합해 처리하는 방법이다. 늦게 융합(Late Fusion)은 각 모달리티 데이터를 독립적으로 처리한 후, 결과를 결합한다. 하이브리드 융합(Hybrid Fusion)은 두 방식을 조합하여 효율성을 극대화하는 방법이다.

사전 학습과 미세 조정

사전 학습(Pretraining)

LMM은 다양한 모달리티를 포함한 대규모 데이터셋으로 사전 학습된다. 이 단계에서 모델은 다음과 같은 태스크를 학습한다.

• 텍스트-이미지 정합(Task Matching): 주어진 이미지에 가장 적합한 텍스트 설명을 선택
• 생성 태스크(Generative Task): 텍스트를 기반으로 이미지를 생성하거나, 이미지를 기반으로 텍스트를 생성

미세 조정(Fine-tuning)

사전 학습된 모델은 특정 작업(예: 의료 데이터 분석, 자율주행 차량 등)에 맞추어 미세 조정된다. 이는 소규모 전문 데이터셋을 활용해 모델의 성능을 세부적으로 최적화하는 과정이다.

학습 결과 활용

학습된 LMM은 다음과 같은 작업을 수행할 수 있다.

• 텍스트-이미지 생성 및 변환: 예를 들어, "산 위에 있는 해질녘 풍경"이라는 텍스트로 이미지를 생성
• 이미지 설명 생성: 이미지 입력에 대해 자동으로 텍스트 설명을 작성
• 음성-텍스트 변환: 음성을 텍스트로 변환하고, 텍스트를 기반으로 음성을 생성

특징

• 멀티모달 이해: LMM은 이미지의 내용을 텍스트로 설명하거나, 음성을 텍스트로 변환하는 등 서로 다른 모달리티 간의 전환이 가능하다.
• 멀티모달 생성: 텍스트 설명을 기반으로 이미지를 생성하거나, 텍스트와 음악을 조합해 동영상을 생성하는 등의 작업을 수행할 수 있다.
• 일반화 능력: 다양한 작업에 적응할 수 있는 범용 모델로 설계되며, 기존 LLM보다 더 넓은 활용 범위를 갖는다.

장점

• 사람과 유사한 데이터 처리: 인간이 텍스트, 이미지, 음성 등의 정보를 동시에 처리하는 방식과 유사하게 동작해 보다 자연스러운 인터페이스를 제공한다.
• 확장된 응용 범위: 멀티모달 데이터를 필요로 하는 산업 전반에서 활용될 수 있다. 예를 들어, 자율주행 차량은 LMM을 활용해 카메라 영상과 센서를 통합 분석하고, 의료 AI는 영상 데이터와 진료 기록을 함께 처리할 수 있다.
• 새로운 가능성 창출: 예술, 교육, 엔터테인먼트 등 새로운 콘텐츠 생성 도구로도 활용 가능하다.

대표 사례

소라

오픈AI의 소라(Sora)는 텍스트 기반의 입력을 영상으로 변환해주는 비디오 생성 AI 모델이다. 이 기술은 단순히 텍스트를 이해하는 것을 넘어, 이를 시각적으로 구현하여 사용자가 원하는 내용을 약 1분 길이의 비디오로 변환하는 데 초점이 맞춰져 있다. 소라는 사용자가 입력한 문장이나 키워드를 바탕으로 AI가 상상력을 활용해 장면을 구성하며, 세부적인 동작, 배경, 캐릭터 등을 정확히 재현해낼 수 있다. 이러한 기능은 단순한 콘텐츠 생성의 차원을 넘어, AI의 창의성과 적용 범위를 한층 확장시킨 사례로 평가받는다. 소라의 활용 가능성은 다양하다. 마케팅 및 광고 분야에서는 브랜드 스토리텔링을 위한 짧은 영상을 제작하거나, 교육 분야에서 복잡한 개념을 시각적으로 표현해 학습 효과를 높이는 데 유용하다. 더 나아가, 영화나 게임 산업에서도 프로토타입 제작이나 시나리오 테스트를 위한 강력한 도구로 자리 잡을 수 있다. 소라의 기술적 발전은 범용 인공지능(AGI)로 나아가는 중요한 이정표로 간주되며, 이는 단순한 도구의 역할을 넘어 창작자와 AI가 협력하는 새로운 형태의 제작 환경을 조성하는 데 기여할 것으로 기대된다.

다만, 소라와 같은 기술이 대중화되기 위해서는 윤리적 문제와 기술적 안전성 확보가 필수적이다. 딥페이크와 같은 가짜 영상 생성의 잠재적 위험을 방지하기 위해, AI 기반의 가짜 영상 탐지 및 분류 도구가 함께 개발되고 있다. 이와 같은 노력은 기술이 신뢰받고 안전하게 사용될 수 있도록 하는 데 중요한 역할을 한다.

클로드3

클로드 3는 앤스로픽이 개발한 고도화된 LMM으로, 텍스트와 이미지 기반 데이터를 종합적으로 처리하며 분석할 수 있는 기술적 특징이 돋보인다. 이 모델은 단순한 텍스트 처리에서 벗어나, 사진, 차트, 그래프, 기술 다이어그램 등을 정확히 해석하고, PDF나 프레젠테이션 슬라이드의 내용을 분석하는 능력까지 갖추고 있다. 특히 한 번의 입력으로 최대 20개의 이미지를 동시에 분석할 수 있다는 점은 클로드 3의 강력한 처리 성능을 보여준다. 클로드 3는 사용 목적에 따라 학습량과 응답 범위를 달리한 오푸스(Opus), 소네트(Sonnet), 하이쿠(Haiku)의 세 가지 버전으로 제공된다. 오푸스는 학부 수준의 지식과 대학원 수준의 추론 능력을 갖췄으며, 기본 수학 계산과 복잡한 문제 해결에서 뛰어난 성능을 보인다. 이는 코딩과 과학적 쿼리에 강점이 있으며, 미묘한 콘텐츠를 생성하거나 복잡한 데이터 세트를 정밀하게 분석하는 데 특히 유용하다. 실제로 클로드 3는 오픈AI의 GPT-4와 구글의 제미나이 울트라를 성능 면에서 능가한 사례도 보고되었다. 그러나 클로드 3는 인간과 관련된 이미지를 식별하지 못하도록 설계되었다. 이는 윤리적, 법적 문제를 예방하기 위한 조치로, AI의 데이터 처리 과정에서 발생할 수 있는 개인정보 보호와 관련된 우려를 완화하고자 하는 의도를 반영한 것이다.

제미나이

구글은 생성형 AI 분야에서 강력한 리더십을 확보하기 위해 제미나이(Gemini)라는 브랜드로 AI 기술을 통합하고 있다. 제미나이는 초기 단계에서 대화형 AI인 바드(Bard)와 워크스페이스 AI인 듀엣(Duet)을 포함해 다방면으로 확장된 기능을 제공하려 했으나, 여러 이미지 생성 오류가 발견되면서 논란을 겪기도 했다. 예를 들어, 역사적 인물인 조지 워싱턴을 흑인으로 표현하거나, 제2차 세계대전 시기의 독일군을 흑인 여성으로 묘사하는 등 역사적 맥락과 어긋나는 생성물이 발생했다. 이는 텍스트, 이미지, 음성, 영상 데이터를 모두 생성하는 중형 멀티모달 모델임에도 불구하고, 초기 데이터 학습 과정에서의 한계를 드러낸 사례로 평가된다.

그럼에도 불구하고, 제미나이 1.5 프로는 전작 대비 처리 능력을 대폭 확대한 점에서 주목할 만하다. 최대 100만 개의 토큰을 처리할 수 있는 이 모델은 1.0 프로에 비해 약 30배 이상의 성능 향상을 이루었으며, 대규모 데이터 세트를 다룰 때 더욱 효율적인 성과를 보여준다. 이러한 기술적 진보에도 불구하고, 구글은 계속해서 신뢰성을 강화하기 위한 노력을 이어가고 있다. 이는 AI 기술이 정확성과 공정성을 동시에 담보할 수 있도록 데이터 개선과 알고리즘 최적화에 집중하고 있음을 보여준다.

LLM과 차이점

LLM과 LMM은 인공지능 언어모델의 두 가지 주요 유형이다. LLM은 방대한 텍스트 데이터를 학습하여 자연어 처리 작업에 특화된 모델인 반면, LMM은 텍스트뿐만 아니라 이미지, 오디오, 비디오 등 멀티모달 데이터를 통합적으로 처리할 수 있는 모델이다.

예를 들어, GPT-3나 버트(BERT)와 같은 LLM은 질문 답변, 텍스트 요약, 언어 번역 등 텍스트 기반 태스크에서 뛰어난 성능을 보인다. 반면에 달리(DALL-E), 이매진(Imagen), 플라밍고(Flamingo) 등의 LMM은 이미지 캡셔닝, 비디오 이해, 시각 질의응답 등 시각-언어 통합 태스크를 수행할 수 있다.

또한 LLM은 주로 트랜스포머 아키텍처를 기반으로 한 인코더-디코더 구조를 사용하는 반면, LMM은 각 모달리티별 인코더와 크로스 모달 정보 융합을 위한 추가적인 모듈을 포함하는 경우가 많다. 이러한 구조적 차이로 인해 LMM은 보다 풍부하고 다양한 정보 처리가 가능하지만, 모델 복잡도와 계산량 측면에서는 LLM에 비해 더 많은 자원을 필요로 한다.

한계

LMM은 매력적인 기술이지만 개발과 활용에 있어 몇 가지 도전 과제와 한계점이 존재한다. 우선 LMM 학습을 위해서는 대규모의 멀티모달 데이터셋이 필요한데, 양질의 데이터를 수집하고 정제하는 것이 쉽지 않다. 특히 이미지, 비디오 등 비정형 데이터의 경우 레이블링에 많은 비용과 시간이 소요된다. 또한 LMM의 복잡한 아키텍처로 인해 모델 학습과 추론에 막대한 컴퓨팅 자원이 필요하다. 수십~수백억 개의 파라미터를 가진 LMM을 다루기 위해서는 고성능 GPU 클러스터와 분산 학습 기술이 필수적이다. 이는 LMM 개발을 위한 진입 장벽을 높이는 요인으로 작용하고 있다.

아울러 LMM의 블랙박스적인 특성과 설명 가능성 부족은 또 다른 문제점으로 지적된다. LMM이 어떤 근거로 판단하고 예측했는지 명확히 설명하기 어려운 경우가 많아, 의사결정의 신뢰성과 책임성 확보가 쉽지 않다. 특히 의료, 금융, 법률 등 결과에 대한 높은 수준의 해석 가능성이 요구되는 분야에서는 LMM 활용에 제약이 있을 수 있다. 마지막으로 LMM이 학습한 데이터에 내재된 편향성과 윤리적 이슈도 간과할 수 없는 부분이다. 성별, 인종 등에 대한 차별적 표현이 모델에 반영될 위험이 있고, 악의적인 목적으로 LMM을 오용할 소지도 있다. 따라서 LMM 개발 과정에서 데이터 편향성을 최소화하고, 모델의 출력물을 면밀히 검토하며, 잠재적 위험 요인을 사전에 제거하려는 노력이 필요할 것이다.

전망

LMM은 멀티모달 데이터 처리 능력을 바탕으로 다양한 산업 분야에서 혁신을 불러일으킬 것으로 기대된다. 의료 영상 분석, 자율주행 자동차의 환경 인식, 스마트 팩토리에서의 이상 감지 등 시각, 청각, 언어 정보를 복합적으로 활용해야 하는 분야에서 LMM 기술이 핵심적인 역할을 할 것이다.

예를 들어, 의료 분야에서는 LMM을 활용해 CT, MRI 등의 의료 영상과 진단 리포트 텍스트를 통합 분석함으로써 보다 정확한 질병 진단과 예후 예측이 가능해질 것이다. 자율주행차의 경우 카메라, 라이다, 레이더 등 다양한 센서 데이터와 HD 맵, 교통 상황 정보 등을 LMM으로 실시간 처리하여 안전하고 효율적인 주행을 실현할 수 있다.

뿐만 아니라 LMM은 교육, 엔터테인먼트, 고객 서비스 등 일상 생활 전반에도 큰 변화를 가져올 것으로 전망된다. 예컨대 개인 맞춤형 지능형 튜터링 시스템, 실감나는 AR/VR 콘텐츠 제작, 멀티모달 감정 인식 기반 고객 응대 등 LMM 활용 사례는 무궁무진할 것이다. 머지않아 LMM이 만들어낼 새로운 미래를 직접 경험하게 될 것이다.

참고자료

• 〈LLM에서 LMM으로의 진화! AI의 새로운 시대를 알아보자〉, 《감자나라ai》
• 임대준 기자, 〈LLM은 옛말...이미지까지 학습한 'LMM' 뜬다〉, 《AI타임스》, 2023-10-12
• 전윤미 기자, 〈(2-②) 인간의 ‘五感’ 갖춘 ‘LMM’-‘시장 경쟁’ 치열〉, 《애플경제》, 2024-05-17

같이 보기

• LLM
• 멀티모달

이 LMM 문서는 인공지능 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술 □■⊕, 인공지능 기업, 인공지능 인물 인공지능 기술 AI 워싱 • 랭체인 • 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지능 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 • 프롬프트 • 프롬프트 엔지니어링 문자인식과 음성인식 ICR • OCR • OMR • TTS • URL • 글자 • 단어 • 답변 • 대화 • 동영상 • 디자인 • 맥락 • 문단 • 문서 • 문자 • 문자인식 • 문자채팅 • 문장 • 발음 • 번역 • 분류 • 상담 • 소스코드 • 스토리 • 얼굴 • 얼굴인식 • 음성 • 음성채팅 • 음성인식(STT) • 이미지 • 인공어 • 인공지능 음성 • 자막 • 자연어 • 질문 • 채팅 • 코드 • 코딩 • 텍스트 • 통번역 • 통역 • 파일 • 폴더 • 화상채팅 • 화자인식 인공지능 데이터 데이터라벨러 • 데이터라벨링 • 데이터셋 • 돌마 • 벡터 • 벡터DB • 벡터공간 • 스칼라 • 임베딩 • 청크(Chunk) • 크라우드워커 • 토큰 • 토큰화 인공지능 학습 ADP • CoLLM • DALL-E • DDPG • DQN • LAM • LMM • SARSA • sLLM • SLM • 강화학습 • 거대언어모델(LLM) • 결정이론적 메타추론 • 계통적 강화학습 • 과적합 • 동적 계획법 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 메타추론 • 모델 기반 강화학습 • 모델 프리 강화학습 • 미세조정(파인튜닝) • 반영식 아키텍처 • 비지도학습 • 사전학습 • 수시 알고리즘 • 어니 • 에이전트 • 인공지능 학습 • 자기지도학습 • 전이학습 • 준지도학습 • 지도학습 • 추론 • 학습 • 확률적 경사하강법 • 훈련 인공지능 알고리즘 AGI • ANI • ASI • RAG • XAI • 가중치 • 관계형 네트워크(RN) • 뉴런 • 다층퍼셉트론 • 단층퍼셉트론 • 데이터마이닝 • 방사신경망 • 볼츠만 머신 • 분산 샌드박스 • 생성대립신경망(GAN) • 생성형 AI • 수퍼얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그모이드 함수 • 신경망 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 은닉층 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 주의 메커니즘 • 코헨 자기조직 신경망 • 텍스트마이닝 • 트랜스포머 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN) 계산복잡도 NP • NP-완전 • 계산복잡도 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전 인공지능 프로그램 BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 AI • 모달 • 모달리티 • 모달창 • 알렉스넷 • 어니 • 알파고 • 알파고제로 • 알파폴드 • 왓슨 • 카페 • 컨트롤넷 • 텐서플로 • 텔레파시 • 토치 • 파이토치 • 한돌 인공지능 특징 결정이론 • 계산상의 합리성 • 논리학 • 논리주의자 • 분산성 • 불확실성 • 삼단논법 • 선호도 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 최대기대효용 • 할루시네이션 • 효용이론 인공지능 법적 지위 권리주체성 • 소버린 AI • 전자대리인 • 전자적 인간 • 책임법 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반