위키원
파이-3.5
파이-3.5(Phi 3.5)는 2024년 8월 마이크로소프트(MS)가 출시한 소형언어모델(sLM)이다. 합성 데이터와 필터링한 공개 웹사이트 기반 데이터를 학습한 오픈 멀티모달 모델이다.
 .jpg) |
개요[편집]
파이-3.5는 마이크로소프트가 출시한 소형언어모델로, 효율적인 AI 응용을 위해 설계되었다. 이 모델은 제한된 자원을 활용한 빠른 처리, 멀티모달 기능 지원, 그리고 다양한 언어와 코드 작업에서 탁월한 성능을 자랑한다. 기존의 대형언어모델(LLM)에 비해 경량화된 설계 덕분에 모바일 장치와 노트북 등 컴퓨팅 환경이 제한된 기기에서도 원활하게 실행된다. 마이크로소프트는 이 모델이 구글, 메타, 오픈AI의 최신 모델들과의 벤치마크에서 경쟁력을 입증했다고 발표했다. 파이-3.5 시리즈는 허깅페이스(Hugging Face) 플랫폼에서 오픈소스로 제공되어, 누구나 이를 다운로드해 사용할 수 있으며 상업적 수정과 배포가 허용된다. 파이-3.5 시리즈는 세 가지 주요 모델로 구분된다. 파이-3.5 미니, 파이-3.5 MoE, 파이-3.5 비전으로 구성된 각 모델은 특정 작업에 최적화되어, 사용자에게 맞춤형 성능을 제공한다.[1]
모델[편집]
파이-3.5 미니[편집]
이 모델은 38억 2천만 개의 매개변수를 가지고 있어 경량화와 효율성에 중점을 두었다. 노트북이나 스마트폰 같은 제한된 장치에서도 원활하게 실행되며, 코드 생성, 수학 문제 해결, 다국어 대화와 같은 작업을 신속히 처리한다. 12만 8천 토큰의 긴 컨텍스트 창을 지원해 대규모 텍스트를 손쉽게 분석하고 추론할 수 있다. 특히 긴 문맥에서의 코드 이해를 평가하는 RepoQA 벤치마크에서 메타의 라마 3.1과 미스트랄의 7B 인스트럭트 모델보다 뛰어난 성과를 기록했다. 지원되는 언어는 한국어를 포함해 23개다. 같은 크기의 파라미터로 구성된 파이-3 미니보다 처리할 수 있는 문서 길이가 길어졌고, 아랍어·핀란드어 등 일부 언어 성능을 개선한 것이 특징이다.[2][1]
파이-3.5 MoE[편집]
고급 추론을 위한 이 모델은 419억 개의 매개변수를 가지고 있으며, 전문가 혼합(MoE) 구조를 채택했다. MoE는 요청에 따라 여러 작은 전문가 모델(Expert)을 활성화해 작업을 수행하는 방식으로, 전체 매개변수 중 66억 개만 활성화하여 효율성을 높인다. 이로 인해, 큰 규모의 언어모델을 전부 돌릴 때보다 시간과 비용을 절감하면서도 높은 성능을 유지한다. STEM, 인문학, 사회과학 등 다양한 분야의 이해도를 평가하는 MMLU 벤치마크에서는 GPT-4o 미니보다 평균 2~3% 높은 점수를 기록했다.[2][1]
파이-3.5 비전[편집]
파이-3.5 비전텍스트와 이미지, 비디오를 동시에 처리할 수 있는 멀티모달 모델로, 41억 5천만 개의 매개변수로 설계되었다. 2024년 5월에 출시된 파이-3 비전 모델에서 다중 프레임 이미지 이해 능력을 강화한 모델로, 달리나 스테이블 디퓨전처럼 이미지 생성을 하지 않는 대신 모델 크기를 줄이고 이미지 내용을 이해하고 분석하는 데 초점을 맞춘 모델이다. 그래서 이미지 이해, 광학 문자 인식(OCR), 차트 및 표 분석, 그리고 비디오 요약 작업에 최적화되었다. 또한 다중 프레임 시각적 작업을 지원하며, 12만 8천 토큰의 컨텍스트 창으로 복잡한 시각적 정보도 문제없이 다룬다. 이는 AI 기반 비전 분석이 필요한 분야에 특히 유용하다.[3][1]
성능[편집]
파이-3.5는 다수의 벤치마크에서 경쟁 모델들을 능가하는 성능을 보였다. 특히 긴 문맥 이해를 필요로 하는 RepoQA 테스트에서 탁월한 성능을 보였으며, 복잡한 추론을 요하는 MMLU 평가에서도 높은 점수를 기록했다. 마이크로소프트는 이 모델이 일부 작업에서 구글과 오픈AI의 최신 모델을 능가하는 성과를 달성했다고 발표했다. MoE 구조를 활용한 효율적인 전문가 모델 활용 덕분에 비용과 시간을 절감하면서도 정교한 작업을 수행할 수 있다.[4]
특징[편집]
- 오픈소스와 MIT 라이선스
파이-3.5는 허깅페이스를 통해 누구나 쉽게 접근할 수 있는 오픈소스 모델로 공개되었다. 마이크로소프트는 이 모델에 MIT 라이선스를 부여해 상업적 사용과 수정, 재배포를 모두 허용하며, 이를 통해 생성형 AI 생태계의 발전을 목표로 한다. 사용자는 이 모델을 다운로드해 자체 데이터로 미세 조정할 수 있으며, 다양한 산업에 맞게 응용 프로그램을 개발할 수 있다. 파이-3.5는 단순히 AI 기술의 제공을 넘어 개발자 커뮤니티와의 협력을 통해 더 나은 AI 생태계를 구축하고자 한다.[1]
전망[편집]
파이-3.5 시리즈는 데이터 분석, 연구, 교육, 소프트웨어 개발 등 다양한 분야에서 활용될 수 있다. 예를 들어, 미니 모델은 경량 기기에서의 빠른 처리에 적합하고, MoE 모델은 고난도 언어 추론 작업을 위한 최적의 선택이 될 수 있다. 비전 모델은 멀티미디어 분석과 시각적 정보 처리에 강점을 가지고 있어, 광학 문자 인식, 비디오 분석, 데이터 시각화와 같은 작업에 유용하다. 마이크로소프트는 이러한 모델들을 통해 AI 생태계 확장을 도모하며, 특히 개방형 기술의 중요성을 강조하고 있다.
각주[편집]
- ↑ 1.0 1.1 1.2 1.3 1.4 박찬 기자, 〈MS, sLM ‘파이 3.5’ 시리즈 오픈 소스 출시..."추론부터 이미지 분석까지"〉, 《AI타임스》, 2024-08-21
- ↑ 2.0 2.1 배한님 기자, 〈더 작고 효율적으로…MS, SLM '파이-3.5' 시리즈 출시〉, 《머니투데이》, 2024-08-27
- ↑ 유진 기자, 〈MS, 새로운 소형언어모델 '파이-3.5' 공개…"개발자들의 혁신 생태계 지원"〉, 《AI포스트》, 2024-08-22
- ↑ 남혁우 기자, 〈MS, 신규 SLM '파이3.5' 공개…"일부 성능 GPT-4o 미니 제쳐"〉, 《지디넷코리아》, 2024-08-21
참고자료[편집]
- 남혁우 기자, 〈MS, 신규 SLM '파이3.5' 공개…"일부 성능 GPT-4o 미니 제쳐"〉, 《지디넷코리아》, 2024-08-21
- 박찬 기자, 〈MS, sLM ‘파이 3.5’ 시리즈 오픈 소스 출시..."추론부터 이미지 분석까지"〉, 《AI타임스》, 2024-08-21
- 유진 기자, 〈MS, 새로운 소형언어모델 '파이-3.5' 공개…"개발자들의 혁신 생태계 지원"〉, 《AI포스트》, 2024-08-22
- 배한님 기자, 〈더 작고 효율적으로…MS, SLM '파이-3.5' 시리즈 출시〉, 《머니투데이》, 2024-08-27
같이 보기[편집]
