라마 (인공지능)

라마(LLaMA, Large Language Model Meta AI)는 2023년 3월 메타(Meta)에서 개발한 오픈소스 대규모 언어 모델(LLM)이다. 기존 LLM들이 가지고 있던 성능과 규모의 한계를 극복하고, 효율적인 자원 활용을 목표로 설계되었다. 특히 메타는 모델의 크기와 성능을 최적화하면서도, 상대적으로 적은 자원으로도 강력한 성능을 발휘할 수 있도록 개발했다. 특히, 멀티모달 기능을 갖추고 있어 이미지와 텍스트를 동시에 이해할 수 있는 능력을 가지고 있다.

[아사달] 스마트 호스팅

역사

라마1

라마 1은 2023년 2월 24일 메타에 의해 공개된 대규모 언어 모델로, 연구자들이 다양한 연구를 발전시키는 데 도움을 주기 위해 설계되었다. 라마 1은 특히 연구 목적에 맞춰 개발되었기 때문에 일반 사용자에게 공개되지 않았으며, 메타는 연구자들을 대상으로 사용 신청을 받았다. 이 모델은 챗GPT와 바드와 유사하게 질문에 대한 답변을 제공하는 방식으로 동작하지만, 그 구조와 성능에서 몇 가지 중요한 차이가 있다.

라마 1은 GPT-3.5와 구글 바드(람다)와 같은 경쟁 모델보다 적은 수의 매개변수를 가지고 있다. GPT-3.5가 1750억 개, 람다가 1370억 개의 매개변수를 사용하는 반면, 라마는 최대 650억 개의 매개변수를 갖는 네 가지 버전(70억, 130억, 330억, 650억)을 제공한다. 매개변수 개수가 상대적으로 적음에도 불구하고, 메타는 학습 데이터 양을 늘리고, 효율성을 높이는 데 중점을 두어 성능을 고도화했다. 결과적으로, 라마 1은 상식 추론과 같은 다양한 테스트에서 고성능을 보였으며, 특히 학습 데이터에 포함되지 않은 정보에 대한 추론에서도 뛰어난 결과를 기록했다.

특히 라마 1은 연구용 오픈소스 모델로 배포되었다는 점에서 큰 주목을 받았다. 비상업적 라이선스 하에 대학, 연구 기관, NGO, 산업 연구소 등에서 사용할 수 있게 되어 다양한 연구 프로젝트에서 활용될 수 있다. 이로써 연구자들은 적은 컴퓨팅 자원으로도 대규모 언어 모델을 학습하고 실험할 수 있는 기회를 얻게 되었다. 또한, 라마 1은 여러 언어에 대한 학습을 진행했으며, 라틴어 및 키릴 문자를 중심으로 사용자 수가 많은 20개 언어를 기반으로 훈련되었다.

라마2

라마 2는 2023년 7월 18일에 출시된 메타의 두 번째 대규모 언어 모델로, 라마 1에서의 성공적인 실험을 기반으로 더욱 발전된 기술을 반영하고 있다. 라마 2는 70억 개, 130억 개, 700억 개의 매개변수로 제공되며, 이전 버전보다 더 큰 규모의 모델로 다양한 작업에서 보다 효율적인 성능을 보여준다. 특히 라마 2 챗 LLM은 대화형 인공지능에 최적화되어 있으며, 메타의 내부 벤치마크 테스트에서 오픈소스 기반의 다른 채팅 모델들보다 뛰어난 성과를 보였다.

라마 2는 구글 트랜스포머 아키텍처를 개선한 모델로, RMSNorm 사전 정규화 및 SwiGLU 활성화 함수, 멀티쿼리 어텐션 등을 도입해 성능을 극대화했다. 이러한 기술적 개선은 텍스트 처리의 효율성을 높였으며, 특히 한 번에 처리할 수 있는 텍스트 양을 늘려 더 복잡한 명령어와 문맥을 이해할 수 있게 했다. 라마 2의 학습 데이터는 2조 개의 토큰으로 구성되어 있으며, 다양한 공개 소스에서 데이터를 수집하여 학습되었다. 이를 통해 메타는 데이터의 다양성과 품질을 유지하면서도 자사 서비스에서 발생한 데이터를 학습에 사용하지 않았다는 점을 강조하고 있다.

또한 라마 2는 학습 및 모델 개발에 메타의 리서치 수퍼 클러스터와 엔비디아 A100 GPU를 활용해 효율적인 학습 환경을 제공했다. 이러한 강력한 인프라는 모델의 성능을 높이는 데 기여했으며, 특히 700억 개의 매개변수 모델의 경우 약 170만 GPU 시간이 소요되었다. 라마 2는 허깅페이스와 같은 기존 오픈소스 플랫폼뿐만 아니라, MS 애저와 AWS 같은 클라우드 서비스에서도 이용 가능해졌다.

라마3

라마3는 2024년 4월 18일 공개되었으며, 80억 개(8B)와 700억 개(70B) 매개변수 모델 두 가지로 출시되었다. 라마3는 사전훈련과 미세조정을 통해 다양한 분야에서 성능을 크게 향상시킨 것이 특징이다. 이 모델은 사전 훈련 시 15조 개 이상의 토큰으로 훈련되었으며, 이는 라마2와 비교해 7배 더 많은 데이터를 사용한 것이다. 그 결과 코드 생성, 추론, 지시 수행 등 다양한 작업에서 뛰어난 성능을 발휘하며, 특히 대규모 다중작업 언어 이해(MMLU)와 같은 업계 표준 벤치마크에서 높은 성적을 기록했다.

사전 훈련 과정에서, 데이터의 양을 늘리고 철저한 필터링을 거쳐 고품질 데이터만을 사용해 모델의 정확도와 다양성을 높였다. 라마3는 과학, 기술, 공학, 수학(STEM) 분야는 물론 일상적인 질문과 코딩, 역사 지식 등 다양한 영역을 아우르는 데이터를 활용하여 다방면에서 우수한 성능을 보인다. 특히, 지시 미세조정(instruction fine-tuning)을 통해 사용자의 지시를 보다 정확하게 이해하고 응답할 수 있도록 고도화되었다.

안전한 사용을 보장하기 위해 라마 3는 다양한 안전장치를 도입했다. 이 모델은 레드팀 훈련을 통해 부적절한 답변 가능성을 최소화했다. 레드팀 훈련이란 전문가와 자동화된 도구를 통해 모델이 오류나 악의적인 데이터를 처리하는 방식을 평가하는 과정이다. 또한, 라마 3에는 '라마 가드2(Llama Guard 2)', '코드 쉴드(Code Shield)', '사이버 보안 평가 기준2(CyberSec Eval 2)' 등의 새로운 안전 도구가 도입되었으며, 대규모 언어모델을 책임감 있게 사용하는 방법을 설명하는 '책임감 있는 사용 가이드라인'도 업데이트되었다.

메타는 개방형 접근 방식을 통해 연구원과 개발자들에게 8B 및 70B 모델을 먼저 공개하고, 향후 더 큰 규모의 모델도 오픈소스로 제공할 계획이다. 라마3는 더욱 긴 컨텍스트를 이해하는 다국어 멀티모달 모델로 발전할 예정이며, 성능 개선을 목표로 지속적으로 업데이트될 것이다. 현재 라마3는 AWS, 구글 클라우드, 허깅페이스 등의 플랫폼에서 다운로드할 수 있으며, 하드웨어 측면에서는 AMD, 엔비디아 등 주요 파트너와 협력하여 제공된다.

라마 3.1

라마 3.1은 2024년 7월 23일에 공개된 4050억 개의 매개변수를 가진, 메타의 최대 규모 오픈 소스 AI 모델이다. 라마 3.1은 8개 언어(영어, 아랍어, 벵골어, 독일어, 힌디어, 포르투갈어, 태국어, 스페인어)를 지원하며, 특히 고난도의 컴퓨터 코드 작성과 복잡한 수학 문제 해결 능력이 크게 향상되었다. 라마 3.1 모델은 약 15조 개의 토큰을 학습하였으며, 컨텍스트 창 크기가 12만8000토큰으로 확장되어, 이전 버전보다 16배 더 많은 텍스트를 처리할 수 있다. 예를 들어, 한 번에 대략 50페이지 분량의 책 내용을 다룰 수 있다.

라마 3.1은 MMLU 벤치마크에서 정답률 88.6%를 기록하여, 오픈AI의 GPT-4o와 거의 동일한 성능을 보였다. 또한, 앤트로픽의 클로드 3.5 소네트의 88.3%를 뛰어넘는 성과를 보여주었다. 이 모델은 대규모 언어모델 중에서도 매우 강력한 성능을 자랑하며, 특히 경량 모델인 라마 3.1 8B 모델은 구글의 젬마 2 9B나 미스트랄 7B 같은 동급 모델들보다 우수한 성능을 기록했다.

그러나 라마 3.1에는 몇 가지 한계도 존재한다. 특히 모델 크기가 매우 커서 단일 GPU 또는 여러 개의 GPU에서도 효율적으로 실행하기 어렵다. 이를 해결하기 위해 메타는 엔비디아 H100 GPU 1만6000개를 사용해 모델을 훈련했다. 이와 같은 대규모 컴퓨팅 자원 덕분에 라마 3.1은 높은 성능을 발휘하면서도 비용은 GPT-4o의 절반밖에 들지 않는 효율성을 유지할 수 있었다.

또한, 라마 3.1은 멀티모달 모델이 아니기 때문에 이미지 입력이나 해석 기능을 제공하지 않으며, 텍스트 기반 작업에만 적합하다. 라마 3.1을 사용하고 싶은 개발자들은 메타의 AI 웹사이트나 왓츠앱 등에서 이 모델을 경험할 수 있다.

라마 3.2

라마 3.2는 2024년 9월 26일에 공개된 라마 시리즈 최초로 텍스트와 이미지를 모두 이해하는 멀티모달 모델이다. 라마 3.2는 오픈 소스 멀티모달 모델로, 오픈AI 및 앤트로픽 등의 폐쇄형 모델들과 경쟁할 수 있는 모델로 평가받고 있다. 이 모델은 다중 언어를 지원하며, 이미지 해석, 그래프 분석, 사진 속 특정 물체 식별 등의 기능을 갖추고 있어 다양한 시각적 작업에서도 강력한 성능을 발휘한다.

라마 3.2는 11B 및 90B 모델로 제공되며, 중소형 비전 LLM과 엣지 및 모바일 장치에 적합한 경량 텍스트 전용 모델로도 출시되었다. 이 외에도 온디바이스 AI용으로 1B 및 3B 매개변수 모델도 추가되었다. 라마 3.2는 12만8000토큰의 컨텍스트 길이를 가지고 있어, 수백 페이지에 달하는 텍스트도 한 번에 처리할 수 있다.

시각적 이해와 관련하여, 라마 3.2는 앤트로픽의 클로드 3 하이쿠와 오픈AI의 GPT4o-미니 모델과 경쟁하며, 벤치마크 결과에서도 우수한 성과를 보여주었다. 또한, 지시 수행, 요약, 도구 사용, 프롬프트 재작성 등의 작업에서 구글의 젬마나 마이크로소프트의 파이 3.5보다 높은 성능을 기록하였다. 라마 3.2는 메타의 AI 웹사이트나 허깅페이스에서 다운로드할 수 있으며, 메타 AI 플랫폼을 통해 다양한 기능을 경험할 수 있다.

주요 특징

• 다양한 크기의 모델 제공: 라마는 총 7B(70억), 13B(130억), 33B(330억), 65B(650억) 파라미터로 구성된 여러 가지 크기의 모델을 제공한다. 이를 통해 연구자와 개발자들이 모델의 규모와 성능을 선택적으로 사용할 수 있게 해, 자원에 따라 다양한 실험과 응용이 가능하다. 특히 작은 크기의 모델은 자원이 제한된 환경에서도 강력한 성능을 제공할 수 있다.

• 고성능: 라마는 GPT-3와 같은 이전 대규모 언어 모델에 비해 상대적으로 적은 학습 데이터를 사용했음에도 불구하고, 더 뛰어난 성능을 보이는 것이 특징이다. 이는 데이터 효율성을 극대화한 메타의 최적화된 학습 방식 덕분이다. 또한 LLaMA는 여러 자연어 처리 작업에서 경쟁 모델들을 능가하는 성능을 발휘하며, 많은 연구자들의 관심을 끌고 있다.

• 개방형 접근성: 메타는 라마의 일부를 연구 목적으로 공개했다. 이 모델은 학술 및 비상업적 연구를 위한 용도로 제한적으로 사용할 수 있으며, 이를 통해 많은 연구기관이 NLP 연구에 활용할 수 있게 되었다. 메타는 이를 통해 AI 연구 커뮤니티에서 더 많은 발전과 혁신이 이루어질 수 있도록 기여하고 있다.

• 데이터 효율성: 라마는 다른 대규모 언어 모델들과 비교했을 때 상대적으로 적은 학습 데이터로도 비슷하거나 더 나은 성능을 발휘한다. 이는 메타가 최적화된 데이터 샘플링과 모델 훈련 기법을 적용했기 때문이다. 특히 고성능을 요구하는 대규모 언어 모델을 개발하면서도 컴퓨팅 자원에 대한 부담을 줄일 수 있다는 점에서 중요한 기술적 진전으로 평가받고 있다.

• 범용성: 라마는 자연어 처리(NLP)의 다양한 작업에 적용될 수 있다. 텍스트 생성, 번역, 질의응답, 요약 등 다양한 언어 처리 작업에서 활용할 수 있으며, AI 연구와 개발에 필수적인 도구로 자리 잡고 있다.

활용

라마는 2024년 10월 기준 4억 회 이상 다운로드되었으며, 이를 기반으로 한 파생 AI 모델이 6만 5,000개 이상 개발되었다. 이러한 엄청난 다운로드 수와 파생 모델은 라마의 높은 활용도를 보여주는 지표로, 교육, 헬스케어, 연구 등 다양한 산업 분야에서 라마가 널리 쓰이고 있다. 특히 스타트업부터 대기업에 이르기까지 많은 비즈니스에서 라마의 유연성을 활용하여 AI 시스템을 구축하고 있다. 메타가 라마를 오픈소스로 공개한 이유는 개방형 생태계를 통해 기술 혁신 속도를 가속화하고, 시스템의 투명성과 안전성을 높이기 위함이다. 오픈소스 접근 방식을 통해 개발자들은 라마 모델을 기반으로 자신만의 모델을 훈련하고, 특정 용도에 맞게 미세 조정할 수 있다. 이로 인해 지속 가능한 AI 시스템을 구축하는 데 큰 도움이 되며, 각기 다른 분야에서의 혁신을 촉진하고 있다.

대한민국에서도 라마 기반의 LLM 구축 사례가 있는데, 대표적으로 한국과학기술정보연구원(KISTI)이 라마를 활용해 과학기술정보에 특화된 LLM인 고니(KONI)를 개발했다. LLM을 자체적으로 개발하는 데는 막대한 자원과 비용이 필요할 뿐만 아니라, 상용 LLM의 API를 활용할 경우 데이터 보안 문제로 내부 데이터가 외부로 유출될 가능성이 있다. 이러한 이유로 KISTI는 성능이 뛰어나고, 보안성이 확보된 라마 모델을 선택하게 되었다. KISTI는 라마를 활용하여 '사이언스온'이라는 웹사이트를 개발했으며, 이 웹사이트를 통해 국내 논문과 연구보고서를 손쉽게 검색하고 요약된 결과물을 받아볼 수 있다. 또한, 사이언스온 시스템은 과학 문헌을 분석하고 질의할 수 있는 기능을 탑재해 이달 중으로 공식적으로 서비스될 예정이다. 더 나아가, KISTI는 2025년 1월부터 AI가 스스로 과학기술 난제를 해결하고 과학적 발견을 이끌어내는 에이전트 모델 개발을 6년간 추진할 계획인데, 이 과정에서도 라마 모델이 핵심 역할을 할 것으로 기대된다.

참고자료

• 최창현 기자, 〈메타 '마크 저커버그', "오늘, 우리도 생성 AI 언어 모델 '라마(LLaMA)'를 출시했습니다!"〉, 《인공지능신문》, 2023-02-25
• 이슬아 기자, 〈메타, ‘라마(LLaMA)’로 AI 개발 경쟁 가세〉, 《주간동아》, 2023-03-05
• 박찬 기자, 〈메타, 상업용 오픈소스 LLM ‘라마2’ 공개〉, 《AI타임스》, 2023-07-19
• Martin Heller, 〈메타가 개발한 대규모 언어 모델, ‘라마 2’란 무엇인가?〉, 《아이티월드》, 2023-09-19
• 김보라 기자, 〈메타, 차세대 대규모 언어모델 '라마3' 오픈소스 공개〉, 《브랜드브리프》, 2024-04-19
• 박찬 기자, 〈메타, '라마 3.1' 출시..."오픈 소스 최강 넘어 GPT-4·클로드와 성능 맞먹어"〉, 《AI타임스》, 2024-07-24
• 이세연 기자, 〈메타, 라마 3.1 공개…“AI 게임 체인저될 듯”〉, 《포춘코리아》, 2024-07-24
• 임대준 기자, 〈메타, 첫 멀티모달모델 '라마 3.2' 출시..."오픈 소스로 폐쇄형 잡을 것"〉, 《AI타임스》, 2024-09-26
• 정한영 기자, 〈[AI 리뷰] 메타, 라마 3.2 모델 및 AI 탑재한 AR 안경 '오리온' 공개... LLM 오픈 소스 생태계와 차세대 AI 기술 선도〉, 《인공지능신문》, 2024-09-29
• 파이낸셜뉴스 조윤주 기자, 〈"4억회 다운로드 'AI라마' 교육·헬스케어 등 전방위 활용"〉, 《네이트뉴스》, 2024-10-10
• 변지희 기자, 〈마노하 팔루리 메타 부사장 “AGI도 오픈소스로 공개할 것… 라마, 4억회 이상 다운로드”〉, 《조선비즈》, 2024-10-10
• 김대영 기자, 〈'페북·인스타' 말고 또 있다…메타의 승부수, 무슨 기술?〉, 《한경닷컴》, 2024-10-10

같이 보기

• 메타

이 라마 (인공지능) 문서는 인공지능 서비스에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스 □■⊕, 인공지능 로봇, 인공지능 기술, 인공지능 기업, 인공지능 인물 거대언어모델(LLM) 그록 • 네모 • 라마 • 몰모 • 믹스트랄 • 믿음 • 바드 • 사하바트-AI • 솔라 미니 • 솔라 프로 • 아야23 • 엑사원 • 인플렉션 2.5 • 제미나이 • 제미나이 나노 • 챗GPT • 클로드 • 파이-3.5 • 팔미라-X-004 • 하이퍼클로바X 챗봇 라온 • 브리티 코파일럿 • 샵봇 • 시리 • 심심이 • 아숙업(AskUp) • 알로 • 알리GPT • 애플 인텔리전스 • 오토GPT • 이루다 • 채티 • 챗뤼튼 • 챗베이스 • 클로바X • 키미챗 • 테이 • 패브릭스 • 픽스트랄 • 허깅챗 인공지능 검색 구버 • 라이너 • 빙 • 서치GPT • 옴니서치 • 퍼플렉시티 인공지능 문서 감마 • 구글 번역 • 노션AI • 다글로 • 딥엘(DeepL) • 뤼튼 • 비토 • 스위치미팅 • 에버노트 • 캔바 • 클로바노트 • 클로바더빙 • 파파고 인공지능 코딩 깃허브 코파일럿 • 데빈 • 커서AI • 코덱스 • 코디움메이트 • 탭나인 인공지능 이미지 AI 모션 • AI 프로필 • NUI 스튜디오 • 달리(DALL·E) • 드림스튜디오 • 레오나르도 AI • 미드저니 • 비디스커버 • 스테이블 디퓨전 • 에픽 • 카카오브레인 • 칼로 • 캐럿 • 코파일럿 • 파이어플라이 • 플레이그라운드 인공지능 웹툰 딥툰 • 로어머신 인공지능 음악 및 음성 AI 보이스 스튜디오 • 뮤직LM • 복스박스 • 사운드풀 • 수노 • 에이바 • 유디오 • 이봄 • 일레븐랩스 • 타입캐스트 인공지능 동영상 더 프로스트 • 드림머신 • 디-아이디 • 런웨이 젠 • 런웨이 젠3 • 무비 젠 • 브루 • 브이 • 소라 • 스테이블 비디오 디퓨전 • 인비디오 AI • 카이버 AI • 크레아 AI • 클링 AI • 피카아트 • 피포 디퓨전 • 픽스버스 • 픽토리 인공지능 서비스 슈퍼로이어 인공지능 무기 가스펠 • 라벤더 인공지능 스피커(한국) 갤럭시홈미니 • 기가지니 • 기가지니2 • 누구 • 누구네모 • 엑스붐AI씽큐 • 카카오아이 • 카카오미니 • 큐보이스 • 클로바 • 클로바웨이브 인공지능 스피커(글로벌) 구글홈 • 구글홈미니 • 구글홈허브 • 두어 • 빅스비 • 샤오두 • 스마트스피커 • 알렉사 • 어시스턴트 • 에코 • 에코닷 • 에코쇼 • 코타나 • 티몰지니 • 홈팟 인공지능 행사 2024년 제2차 AX 컨퍼런스 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반