네모 (인공지능)

네모(NeMo)는 2022년 엔비디아에서 개발한 대규모 언어 모델(LLM)과 AI 애플리케이션을 손쉽게 개발하고 배포할 수 있도록 돕는 AI 플랫폼이다.

[아사달] 스마트 호스팅

개요

네모는 LLM, 멀티모달, 비전, 음성 AI 등의 맞춤형 생성형 AI를 어디에서든 개발하기 위한 엔드투엔드 플랫폼이다. 정밀한 데이터 큐레이션, 최첨단 맞춤화, 검색 증강 생성(RAG) 및 가속 성능을 통해 엔터프라이즈 지원 모델을 제공할 수 있다. 주로 자연어 처리(NLP), 음성 인식, 그리고 AI 기반 챗봇 개발을 지원하는 데 사용되며, 연구자와 개발자들이 LLM을 미세 조정하거나 특정 작업에 맞게 훈련할 수 있도록 다양한 도구와 서비스를 제공한다. 네모의 주요 특징 중 하나는 사전 훈련된 대규모 언어 모델을 제공하여 사용자들이 기본 모델을 활용해 자신만의 AI 애플리케이션을 쉽게 개발할 수 있도록 돕는다는 점이다. 이 모델들은 대규모 데이터셋으로 학습되어 있으며, 사용자는 이 모델을 기반으로 자신만의 데이터를 추가 학습시키거나 미세 조정할 수 있다.

특징

• 맞춤형 모델 학습: 네모 프레임워크는 사용자가 원하는 데이터에 맞게 AI 모델을 학습시키고, 이를 사용해 특정 목적에 맞게 미세 조정할 수 있도록 설계되었다. 이를 통해 대화형 AI, 텍스트 생성, 요약, 번역, 감정 분석 등 다양한 응용 프로그램에 활용될 수 있다.

• 멀티모달 AI: 텍스트뿐만 아니라 음성, 비디오 등 다양한 데이터를 활용해 AI 모델을 훈련할 수 있는 기능을 제공한다. 예를 들어, 음성 인식과 자연어 처리를 결합한 모델이나 텍스트와 이미지를 함께 처리하는 모델을 개발할 수 있다.

• 확장 가능성: 엔비디아 네모는 대규모 데이터 처리 및 모델 학습을 위해 고성능 컴퓨팅 환경에 최적화되어 있다. 엔비디아의 GPU 기술을 활용해 대규모 언어 모델 훈련 시간을 단축하고, 높은 성능을 유지하면서도 대규모 데이터를 처리할 수 있도록 한다. 특히, 엔비디아의 DGX 시스템과 같은 고성능 하드웨어와 통합되어 있어, 네모는 수백만 개의 매개변수를 포함한 초거대 모델을 효율적으로 학습시킬 수 있다.

• 클라우드 기반 서비스: 네모는 클라우드 기반에서도 쉽게 사용할 수 있으며, 이를 통해 AI 개발자들이 인프라 걱정 없이 모델을 학습시키고 배포할 수 있다. 특히 엔비디아 클라우드(NVIDIA NGC)에서 네모의 다양한 AI 모델과 데이터셋을 활용할 수 있는 생태계를 제공한다.

• 오픈소스 접근성: 네모는 오픈소스로 공개되어 있어 누구나 네모 프레임워크를 다운로드하여 사용할 수 있다. 이를 통해 AI 연구자, 기업, 개발자들이 네모를 사용해 다양한 AI 솔루션을 구축할 수 있다.

AI 파운드리 기술

네모 큐레이터

네모 큐레이터(NeMo Curator)는 대규모 AI 모델 학습을 위한 데이터 선별 및 처리 도구이다. 생성형 AI 모델을 개발할 때, 방대한 데이터셋에서 적절한 학습 데이터를 선정하고 이를 전처리하는 것이 매우 중요한데, 네모 큐레이터는 이를 자동화하고 최적화하는 기능을 제공한다. 기업들이 쉽게 데이터의 품질을 높이고, 모델 학습에 적합한 데이터를 준비하는 데 도움을 준다. 이를 통해 개발자는 더 나은 성능을 보장하는 고품질 AI 모델을 보다 빠르고 효율적으로 구축할 수 있다. 또한, 네모 큐레이터는 비정형 데이터와 정형 데이터를 처리할 수 있어 다양한 유형의 데이터셋을 손쉽게 처리하는 기능을 갖추고 있다. 텍스트, 이미지, 오디오 등 다양한 데이터를 선별하는 데 적합하며, 이를 통해 맞춤형 AI 모델 개발에 필요한 데이터를 빠르게 수집하고 정제할 수 있다.

네모 커스터마이저

네모 커스터마이저(NeMo Customizer)는 기업이 맞춤형 생성형 AI 모델을 구축할 수 있도록 지원하는 도구이다. 이 도구는 이미 학습된 대형 언어 모델을 기반으로 하여, 각 기업의 특정 요구에 맞는 추가적인 훈련을 수행할 수 있도록 해준다. 이를 통해 특정 산업, 분야, 또는 언어에 특화된 AI 모델을 만들 수 있다. 예를 들어, 금융, 의료, 제조 등 특정 산업에 맞춘 데이터로 모델을 훈련하여 해당 분야에서 정확하고 유용한 응답을 생성하는 AI를 만들 수 있다. 네모 커스터마이저는 엔드투엔드(end-to-end) 워크플로우를 제공하여, 모델 훈련부터 배포까지의 과정을 간소화한다. 이를 통해 기업은 자체 데이터를 사용해 모델을 미세 조정하고 최적화할 수 있으며, 기업 맞춤형 AI 모델을 신속하게 배포할 수 있다. 맞춤형 모델을 생성하는 데 필요한 복잡한 프로세스를 단순화하고, 개발 시간을 단축시켜 빠른 비즈니스 적용을 가능하게 한다.

네모 이밸류에이터

네모 이밸류에이터(NeMo Evaluator)는 생성형 AI 모델의 성능을 평가하는 데 필요한 도구이다. AI 모델을 개발한 후, 그 성능을 철저히 평가하는 것은 매우 중요한데, 네모 이밸류에이터는 학습된 모델의 정확도, 효율성, 응답 품질 등을 테스트하고 평가할 수 있는 기능을 제공한다. 이를 통해 개발자는 모델의 성능을 객관적으로 분석할 수 있으며, 필요한 경우 추가적인 개선 작업을 수행할 수 있다. 이밸류에이터는 다양한 테스트 세트를 사용해 AI 모델의 성능을 다각도로 평가할 수 있다. 예를 들어, 자연어 처리 모델의 경우 문장의 의미적 정확성, 문법적 오류, 문맥 이해 능력 등을 평가할 수 있다. 이러한 평가 결과는 모델을 개선하고 최적화하는 데 중요한 지표로 작용하며, 실제 비즈니스 적용 전에 모델의 안정성을 확인할 수 있게 한다.

네모 가드레일

네모 가드레일(NeMo Guardrails)은 생성형 AI 모델의 안전성과 보안을 보장하는 중요한 기능이다. 생성형 AI는 민감한 정보나 부적절한 내용을 생성할 가능성이 있기 때문에, 이러한 위험을 방지하고 AI의 윤리적인 사용을 보장하는 것이 중요하다. 네모 가드레일은 AI 모델이 비즈니스 요구 사항에 맞는 안전한 응답을 생성하도록 규정된 가이드라인을 제공하고, 이를 실시간으로 적용할 수 있는 도구이다. 이 도구는 기업이 생성형 AI를 사용하면서 발생할 수 있는 잠재적인 법적 문제나 사회적 책임을 관리하는 데 도움을 준다. AI가 생성하는 콘텐츠가 안전하고 적절한지 모니터링하고, 필요 시 즉시 수정할 수 있는 기능을 갖추고 있다. 이를 통해 기업은 AI 모델이 비즈니스 목표와 일치하는 방향으로 작동하는지 보장하고, 예상치 못한 문제가 발생하지 않도록 예방할 수 있다.

특히 네모 가드레일은 금융, 의료, 법률과 같은 민감한 데이터가 다뤄지는 분야에서 매우 중요한 역할을 한다. 예를 들어, 금융 분야에서는 AI가 민감한 금융 데이터를 처리할 때 규정을 준수하는지 확인하는 데 도움을 줄 수 있으며, 의료 분야에서는 개인 정보를 보호하고 윤리적 문제를 방지하는 데 기여할 수 있다.

활용 사례

라이터

엔비디아의 네모(NVIDIA NeMo) 프레임워크는 AI 스타트업 라이터의 성장을 크게 가속화하는 핵심적인 역할을 하고 있다. 이 스타트업은 소규모 AI 엔지니어 팀으로 운영되며, 네모 프레임워크를 사용해 대규모 언어 모델을 성공적으로 개발했다. 라이터는 20명 미만의 엔지니어로 구성된 팀임에도 불구하고, 각 모델에 300억 개 이상의 매개변수를 포함한 10개의 대형 AI 모델을 구축했다. 이로 인해 현재 수백 개의 기업이 라이터가 개발한 모델을 활용하고 있다. 이러한 모델은 금융, 의료, 소매 등 다양한 산업의 요구에 맞춰 맞춤형으로 개발되었으며, 이를 통해 업계에서 중요한 혁신을 이루고 있다.

라이터는 네모 프레임워크의 고유한 기능뿐만 아니라, 함께 제공되는 트리톤 추론 서버(Triton Inference Server)도 활용하여 고객의 프로덕션 환경에서 모델을 효율적으로 실행하고 있다. 특히, 트리톤은 지연 시간을 줄이고 처리량을 늘려, 실시간 데이터 처리에 매우 적합하다는 평가를 받는다. 와심 알시크(Wassim Alshik)는 트리톤을 사용하는 많은 기업이 AI 추론 과정에서 얻는 이점을 강조하며, 특히 성능 면에서 경쟁력을 갖추고 있다고 설명했다.

엑사원

LG AI연구원의 엑사원 3.0(EXAONE 3.0)은 네모 프레임워크와 엔비디아 H100 GPU를 활용해 학습되고 최적화되었다. 엑사원 3.0은 한국어와 영어, 코딩을 포함한 다양한 언어 및 기술 테스트에서 우수한 성과를 거두었으며, 여러 글로벌 오픈소스 AI 모델과 비교해도 높은 벤치마크 점수를 기록했다. 특히 메타(Meta)의 라마(Llama) 모델과 같은 대형 AI 모델과 견주어도 한국어와 영어 능력에서 뛰어난 성과를 보여, 엑사원 3.0의 기술적 우수성을 입증했다.

엑사원 3.0은 연구 목적으로 공개되었으며, 누구나 자유롭게 이 모델을 활용할 수 있다. 또한, LG AI연구원은 텐서RT-LLM(TensorRT-LLM) SDK를 통해 비용 효율적인 모델 배포를 지원하며, 이를 통해 연구 및 산업에서 더 폭넓게 사용할 수 있는 기반을 제공하고 있다. 엑사원 3.0을 바탕으로 LG는 챗엑사원(ChatEXAONE)이라는 엔터프라이즈 AI 에이전트를 개발하여 LG 그룹 내 다양한 부서에서 활용하고 있으며, 이 시스템은 업무 효율성을 크게 높이고 있다.

네모 마이크로서비스

엔비디아의 네모 마이크로서비스(NVIDIA NeMo Microservices)는 AI 에이전트 개발과 맞춤형 생성형 AI 애플리케이션의 빠른 출시를 돕는다. 이를 통해 기업들은 AI 개발 과정에서 발생하는 시간과 비용을 절감할 수 있다. 특히, 네모 커스터마이저, 네모 이밸류에이터, 네모 가드레일과 같은 새로운 기능들이 추가되면서, 대규모 데이터를 쉽게 관리하고 선별할 수 있는 능력이 향상되었다. 이러한 네모 마이크로서비스는 AI 모델의 사용자 정의와 평가 과정을 간소화하고, 기업의 비즈니스 목표에 맞춘 응답을 제공할 수 있도록 돕는다. 이를 통해 기업들은 다양한 GPU 환경에서 이러한 맞춤형 AI 모델을 쉽게 배포하고 관리할 수 있다. 특히, 포춘 50대 주택 개량 기업 중 하나인 로우즈(Lowe’s)는 네모 마이크로서비스를 활용해 매장 직원의 생산성을 높이고, 고객 경험을 개선하는 AI 솔루션을 개발하고 있다. 로우즈는 네모 가드레일을 이용해 AI 솔루션의 안전성과 보안을 강화하고, 생성형 AI를 안전하게 운영하고 있다.

저작권 논란

네모가 저작권 논쟁에 휘말렸다. 2024년 엔비디아는 세 명의 작가, 브라이언 킨, 압디 나제미안, 스튜어트 오난으로부터 저작권 침해 혐의로 고소당했다. 이 작가들은 엔비디아가 네모 프레임워크를 훈련시키는 과정에서 자신들의 저작물을 무단으로 사용했다고 주장했다. 그들이 제기한 소송은 샌프란시스코 연방법원에 접수되었으며, 집단 소송 형태로 진행되고 있다. 이 논쟁의 핵심은 엔비디아가 네모의 언어 모델을 훈련하는 과정에서 약 19만 권의 책을 사용했고, 그 안에 포함된 세 작가의 저작물이 무단으로 포함되었다는 주장이다. 특히 브라이언 킨의 『고스트 워크』, 압디 나제미안의 『러브 스토리처럼』, 스튜어트 오난의 『랍스터의 마지막 밤』이 AI 훈련 데이터셋에 포함된 것으로 드러났다. 이들 저작물은 엔비디아의 네모 개발 초기 단계에서 무단으로 사용되었으며, 이후 저자들이 문제를 제기하자 2023년 10월 해당 자료들이 데이터셋에서 제외되었다고 한다.

이 저작권 침해 소송은 생성형 AI의 발전에 제동을 거는 중요한 사건으로 평가받고 있다. 만약 법원이 저작권 침해를 인정하게 되면 엔비디아는 네모 플랫폼 운영을 일시 중단해야 하며, 원고 측에 막대한 손해배상을 해야 할 가능성도 있다. 월스트리트저널(WSJ)의 보도에 따르면 이 손해배상액은 수억 달러에 이를 것으로 예상된다. 이와 유사한 저작권 분쟁은 현재 마이크로소프트, 오픈AI, 메타와 같은 다른 기술 기업들도 겪고 있는 문제이다. 이번 논란은 AI가 저작권법과 어떻게 맞물릴 것인지에 대한 중요한 사례가 될 수 있다. 미국 법원은 AI가 생성한 콘텐츠에 대한 저작권 침해 문제에 대해 기존 저작권법을 어떻게 적용할지 신중한 입장을 보이고 있다. 특히 AI가 학습하는 과정에서 저작권이 있는 자료를 사용하는 것이 법적으로 허용될지에 대한 논의가 본격화되고 있다.

이에 대해 엔비디아는 자신들이 저작권법을 완전히 준수하며 네모 플랫폼을 개발했다고 주장했다. 2024년 3월, 엔비디아는 성명을 통해 모든 콘텐츠 제작자의 권리를 존중하며, 저작권을 위반하지 않았다는 입장을 밝혔다. 그러나 저자들은 엔비디아의 이러한 입장이 사실상 자신들의 저작물이 AI 훈련에 사용되었음을 인정하는 것이라고 주장하며, 엔비디아가 저작권 침해로 얻은 이익의 반환과 손해배상을 요구하고 있다. 이 논란은 AI 기술의 발전과 저작권 보호 사이에서 기술 기업들이 직면하는 복잡한 법적 문제를 잘 보여준다. 엔비디아의 네모뿐 아니라 AI 산업 전체가 이와 같은 법적 논쟁으로 인해 큰 영향을 받을 가능성이 있으며, 향후 AI 관련 저작권 규정이 어떻게 정비될지에 대한 관심이 집중되고 있다.

참고자료

• 〈NVIDIA NeMo〉, 《엔디비아》
• NVIDIA Korea, 〈엔비디아 NeMo, LLM 구축 지원으로 스타트업 ’라이터’ 성장 가속화〉, 《엔디비아코리아》, 2023-08-09
• 오현우 기자, 〈엔비디아의 AI '네모', 출시 1년 만에 저작권 침해 소송 휘말려〉, 《한국경제》, 2024-03-11
• 김태종 기자, 〈'저작권 피소' 엔비디아 "AI 플랫폼 '네모', 저작권법 준수"〉, 《연합뉴스》, 2024-03-12
• 장명곤 기자, 〈‘엔비디아 AI 파운드리’, 쉽고 빠른 기업 맞춤형 생성AI 모델 구축〉, 《지티티코리아》, 2024-07-26
• 박현진 기자, 〈엔비디아, AI 파운드리 서비스로 기업에 맞춤 생성형 AI 모델 구축 지원〉, 《인공지능신문》, 2024-07-28
• 최광민 기자, 〈LG AI연구원 '엑사원 3.0', 구글 클라우드와 '엔비디아 H100 GPU 및 네모 프레임워크' 기반으로 구축〉, 《인공지능신문》, 2024-09-24
• 박현진 기자, 〈엔비디아, AI 소프트웨어로 美 선도기업들과 전 세계 산업 혁신〉, 《인공지능신문》, 2024-10-14

같이 보기

• 엔디비아

이 네모 (인공지능) 문서는 인공지능 서비스에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스 □■⊕, 인공지능 로봇, 인공지능 기술, 인공지능 기업, 인공지능 인물 거대언어모델(LLM) 그록 • 네모 • 라마 • 몰모 • 믹스트랄 • 믿음 • 바드 • 사하바트-AI • 솔라 미니 • 솔라 프로 • 아야23 • 엑사원 • 인플렉션 2.5 • 제미나이 • 제미나이 나노 • 챗GPT • 클로드 • 파이-3.5 • 팔미라-X-004 • 하이퍼클로바X 챗봇 라온 • 브리티 코파일럿 • 샵봇 • 시리 • 심심이 • 아숙업(AskUp) • 알로 • 알리GPT • 애플 인텔리전스 • 오토GPT • 이루다 • 채티 • 챗뤼튼 • 챗베이스 • 클로바X • 키미챗 • 테이 • 패브릭스 • 픽스트랄 • 허깅챗 인공지능 검색 구버 • 라이너 • 빙 • 서치GPT • 옴니서치 • 퍼플렉시티 인공지능 문서 감마 • 구글 번역 • 노션AI • 다글로 • 딥엘(DeepL) • 뤼튼 • 비토 • 스위치미팅 • 에버노트 • 캔바 • 클로바노트 • 클로바더빙 • 파파고 인공지능 코딩 깃허브 코파일럿 • 데빈 • 커서AI • 코덱스 • 코디움메이트 • 탭나인 인공지능 이미지 AI 모션 • AI 프로필 • NUI 스튜디오 • 달리(DALL·E) • 드림스튜디오 • 레오나르도 AI • 미드저니 • 비디스커버 • 스테이블 디퓨전 • 에픽 • 카카오브레인 • 칼로 • 캐럿 • 코파일럿 • 파이어플라이 • 플레이그라운드 인공지능 웹툰 딥툰 • 로어머신 인공지능 음악 및 음성 AI 보이스 스튜디오 • 뮤직LM • 복스박스 • 사운드풀 • 수노 • 에이바 • 유디오 • 이봄 • 일레븐랩스 • 타입캐스트 인공지능 동영상 더 프로스트 • 드림머신 • 디-아이디 • 런웨이 젠 • 런웨이 젠3 • 무비 젠 • 브루 • 브이 • 소라 • 스테이블 비디오 디퓨전 • 인비디오 AI • 카이버 AI • 크레아 AI • 클링 AI • 피카아트 • 피포 디퓨전 • 픽스버스 • 픽토리 인공지능 서비스 슈퍼로이어 인공지능 무기 가스펠 • 라벤더 인공지능 스피커(한국) 갤럭시홈미니 • 기가지니 • 기가지니2 • 누구 • 누구네모 • 엑스붐AI씽큐 • 카카오아이 • 카카오미니 • 큐보이스 • 클로바 • 클로바웨이브 인공지능 스피커(글로벌) 구글홈 • 구글홈미니 • 구글홈허브 • 두어 • 빅스비 • 샤오두 • 스마트스피커 • 알렉사 • 어시스턴트 • 에코 • 에코닷 • 에코쇼 • 코타나 • 티몰지니 • 홈팟 인공지능 행사 2024년 제2차 AX 컨퍼런스 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반