랭체인

랭체인(LangChain)은 자연어 처리(NLP)와 인공지능(AI) 모델을 활용하여 다양한 애플리케이션을 개발할 수 있도록 돕는 프레임워크이다. 주로 대화형 AI, 챗봇, 정보 검색 시스템 등에서 사용되며, 여러 가지 기능을 통합하여 복잡한 작업을 수행할 수 있도록 설계되었다.

개요

랭체인은 대규모 언어 모델(LLM)을 활용한 애플리케이션 개발을 돕는 프레임워크로, 특히 자연어 처리 기반 응용 프로그램을 효과적으로 구축할 수 있도록 다양한 도구와 기능을 제공한다. 이를 통해 개발자는 LLM을 활용한 체인 작업, 데이터 소스 통합, 사용자 맞춤형 대화 설계 등을 간편하게 구현할 수 있다. 랭체인은 다양한 모듈로 구성되어 있어, 사용자가 필요에 따라 특정 기능을 선택하고 조합할 수 있다. 예를 들어, 텍스트 생성, 정보 검색, 데이터베이스 연결 등 다양한 기능을 쉽게 통합할 수 있다. 또한 프롬프트를 효과적으로 관리할 수 있는 기능을 제공한다. 이를 통해 사용자는 AI 모델에 대한 입력을 최적화하고, 더 나은 결과를 얻을 수 있다. API, 데이터베이스, 파일 시스템 등 다양한 데이터 소스와도 통합할 수 있어, 실시간 데이터에 기반한 응답을 생성할 수 있다. 주로 고객 지원, 정보 제공, 예약 시스템 등 다양한 분야에서 챗봇을 구축하는 데 사용되며, 대량의 데이터에서 필요한 정보를 효율적으로 검색하고 제공하는 시스템 및 데이터 분석 결과를 바탕으로 자동으로 보고서를 생성하는 애플리케이션에 활용될 수 있다.

발전

랭체인은 2022년 10월 해리슨 체이스(Harrison Chase)에 의해 처음 공개되었다. 해리슨 체이스가 머신러닝 스타트업인 로버스트 인텔리전스(Robust Intelligence)에서 근무할 시절, 오픈소스 프로젝트로 공개했다. 이 프로젝트는 깃허브의 수백 명의 기여자의 개선 사항, 트위터의 최신 토론, 프로젝트 디스코드 (소프트웨어) 서버의 활발한 활동, 많은 유튜브 튜토리얼, 샌프란시스코와 런던의 모임을 통해 빠르게 인기를 얻었다. 2023년 4월 랭체인이 법인화되었고 새로운 스타트업은 벤치마크로부터 1,000만 달러의 초기 투자를 발표한 지 일주일 만에 벤처 회사 세쿼이아 캐피털로부터 최소 2억 달러의 가치로 2,000만 달러 이상의 자금을 조달했다. 오픈AI의 챗GPT 출시와 거의 같은 시기에 등장하여 LLM 활용을 혁신하는 중요한 도구로 자리 잡았다. 초기 단계부터 개발자 커뮤니티가 적극적으로 참여하며 프레임워크의 기능을 확장했고, 현재는 다양한 언어 모델과 통합되어 뛰어난 확장성을 자랑한다. 2023년 10월 랭체인은 LCEL(LangChain Expression Language) 프로토타입에서 프로덕션 지원 애플리케이션으로의 전환을 촉진하도록 설계된 배포 도구인 랭서브(LangServe)를 출시했다.

특징

랭체인에는 여러 모듈(Module)들이 존재한다. 랭체인의 핵심인 언어 모델과 인터페이스를 지원하는 모델 I/O(Model I/O), 한 모듈의 출력을 다른 모듈의 입력으로 연결하여 여러 구성 요소를 결합할 수 있도록 도와주는 체인(Chain), 일정 기간의 과거 데이터를 저장하고 접속할 수 있도록 지원하는 메모리(Memory) 등이다. 사용자는 이렇게 사전에 설정된 모듈을 적당히 혼합하여 구성 요소(Component)로 만들고, 각 구성 요소 간의 파이프라인을 설정해 일관된 단일 애플리케이션을 구축할 수 있다. 여러 개의 모듈이 모여 하나의 구성 요소를 만들고, 또 이렇게 모인 구성 요소를 체인으로 엮으면서, 마치 차곡차곡 블록을 쌓고 합쳐가듯 최종 애플리케이션을 완성하게 되는 방식이다.

기능

• LLM 체인 구성: 랭체인은 대화형 AI에서 텍스트 생성이나 데이터 분석 등 다양한 작업을 수행하는 체인을 쉽게 구성할 수 있는 기능을 제공한다. 이를 통해 LLM의 결과를 다른 프로세스로 연결하여 보다 복잡한 응용 프로그램을 구축할 수 있다.

• 데이터 소스 통합: 문서, 데이터베이스, API 등 다양한 외부 데이터 소스를 연결하여 검색 및 분석을 수행할 수 있다. 이를 통해 LLM의 정보 활용성을 극대화하며, 예를 들어 특정 데이터베이스에서 정보를 검색해 사용자 질문에 답변하는 시스템을 만들 수 있다.

• 프롬프트 관리: 랭체인은 다양한 상황에서 사용할 수 있는 프롬프트 템플릿과 함께 프롬프트 관리 기능을 제공한다. 이를 통해 사용자는 일관된 프롬프트를 작성하고 유지할 수 있다.

• 대화 컨텍스트 관리: 사용자의 이전 대화 내용을 유지하며 문맥에 맞는 답변을 생성하는 기능을 포함한다. 이를 통해 보다 자연스러운 대화 경험을 제공할 수 있다.

• 사용자 행동 기반 학습: 사용자 피드백과 행동 데이터를 분석하여 결과를 점진적으로 개선하며, 시간이 지나면서 더 정교한 사용자 맞춤형 서비스를 제공할 수 있다.

작동 원리

데이터 소스 연결

랭체인은 PDF, 웹 페이지, CSV, 데이터베이스 등 다양한 외부 데이터 소스와의 통합을 지원한다. 이를 통해 애플리케이션은 LLM에 전달할 컨텍스트를 구축하고 필요한 데이터를 검색할 수 있다.

단어 임베딩

외부 소스에서 가져온 데이터는 벡터 형식으로 변환되어야 하며, 이를 단어 임베딩 모델을 통해 처리한다. 랭체인은 사용자가 선택한 LLM에 적합한 최적의 임베딩 모델을 자동으로 선택한다.

벡터 데이터베이스 통합

변환된 임베딩은 벡터 데이터베이스에 저장되어 유사성 검색에 활용된다. 랭체인은 파인콘(Pinecone)과 같은 벡터 데이터베이스는 물론 메모리 내 배열과도 통합된다.

언어 모델(LLM) 통합

오픈AI, 코히어, AI21과 같은 주요 상용 LLM부터 허깅페이스의 오픈소스 모델까지 폭넓게 지원한다. 이를 통해 개발자는 다양한 언어 모델을 실험적으로 활용할 수 있다.

구성 요소

• 모델 I/O : 프롬프트를 관리하고 공통 인터페이스를 통해 언어 모델을 호출하고 모델 출력에서 정보를 추출할 수 있게 한다.
• 체인 : 랭체인의 체인은 여러 모듈과 LLM을 결합하여 데이터 처리 및 결과 도출을 위한 효율적인 워크플로우를 구축한다. 예를 들어, 문서를 요약한 뒤 그에 대한 감정 분석을 수행하는 체인을 생성할 수 있다.
• 에이전트(Agents) : 에이전트는 ReAct 프롬프트 기법을 사용하여 동적 작업 수행을 지원한다. 이 모듈은 LLM을 추론 엔진으로 활용해 프롬프트를 행동 계획으로 변환한다.
• 메모리 : LLM은 기본적으로 상태를 저장하지 않지만, 랭체인의 메모리 모듈은 단기 및 장기 메모리를 추가하여 대화 기록을 관리한다. 이는 Redis와 같은 외부 데이터베이스와 연계하여 더욱 효과적으로 작동한다.
• 콜백 : 개발자는 랭체인의 콜백 시스템을 통해 애플리케이션의 다양한 단계에서 데이터를 로깅하거나 작업을 스트리밍하는 등의 작업을 수행할 수 있다.
• 데이터 연결(Data Connectors) : 외부 문서를 로드하고 단어 임베딩으로 변환한 뒤 벡터 데이터베이스에 저장하는 ETL 파이프라인을 구성할 수 있다.

설치 및 사용 방법

라이브러리 설치

pip install langchain

오픈AI API 키 설정 후 모델 초기화

from langchain_openai import ChatOpenAI
model = ChatOpenAI(temperature=0.7)

체인 구성

from langchain_core.prompts import ChatPromptTemplate
prompt = ChatPromptTemplate.from_messages([('system', 'Translate to {language}:'), ('user', '{text}')])

참고자료

• 〈랭체인〉, 《위키백과》
• Janakiram MSV, 〈랭체인(LangChain)이란 무엇인가?〉, 《삼성SDS》, 2023-09-18
• 〈랭체인(LangChain), 그것이 알고 싶다〉, 《이글루》, 2023-11-04

같이 보기

• 대형언어모델

이 랭체인 문서는 인공지능 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술 □■⊕, 인공지능 기업, 인공지능 인물 인공지능 기술 AI 워싱 • 랭체인 • 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지능 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 • 프롬프트 • 프롬프트 엔지니어링 문자인식과 음성인식 ICR • OCR • OMR • TTS • URL • 글자 • 단어 • 답변 • 대화 • 동영상 • 디자인 • 맥락 • 문단 • 문서 • 문자 • 문자인식 • 문자채팅 • 문장 • 발음 • 번역 • 분류 • 상담 • 소스코드 • 스토리 • 얼굴 • 얼굴인식 • 음성 • 음성채팅 • 음성인식(STT) • 이미지 • 인공어 • 인공지능 음성 • 자막 • 자연어 • 질문 • 채팅 • 코드 • 코딩 • 텍스트 • 통번역 • 통역 • 파일 • 폴더 • 화상채팅 • 화자인식 인공지능 데이터 데이터라벨러 • 데이터라벨링 • 데이터셋 • 돌마 • 벡터 • 벡터DB • 벡터공간 • 스칼라 • 임베딩 • 청크(Chunk) • 크라우드워커 • 토큰 • 토큰화 인공지능 학습 ADP • CoLLM • DALL-E • DDPG • DQN • LAM • LMM • SARSA • sLLM • SLM • 강화학습 • 거대언어모델(LLM) • 결정이론적 메타추론 • 계통적 강화학습 • 과적합 • 동적 계획법 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 메타추론 • 모델 기반 강화학습 • 모델 프리 강화학습 • 미세조정(파인튜닝) • 반영식 아키텍처 • 비지도학습 • 사전학습 • 수시 알고리즘 • 어니 • 에이전트 • 인공지능 학습 • 전이학습 • 준지도학습 • 지도학습 • 추론 • 학습 • 확률적 경사하강법 인공지능 알고리즘 AGI • ANI • ASI • RAG • XAI • 가중치 • 관계형 네트워크(RN) • 뉴런 • 다층퍼셉트론 • 단층퍼셉트론 • 데이터마이닝 • 방사신경망 • 볼츠만 머신 • 분산 샌드박스 • 생성대립신경망(GAN) • 생성형 AI • 수퍼얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그모이드 함수 • 신경망 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 은닉층 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 주의 메커니즘 • 코헨 자기조직 신경망 • 텍스트마이닝 • 트랜스포머 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN) 계산복잡도 NP • NP-완전 • 계산복잡도 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전 인공지능 프로그램 BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 AI • 모달 • 모달리티 • 모달창 • 알렉스넷 • 어니 • 알파고 • 알파고제로 • 알파폴드 • 왓슨 • 카페 • 컨트롤넷 • 텐서플로 • 텔레파시 • 토치 • 파이토치 • 한돌 인공지능 특징 결정이론 • 계산상의 합리성 • 논리학 • 논리주의자 • 분산성 • 불확실성 • 삼단논법 • 선호도 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 최대기대효용 • 할루시네이션 • 효용이론 인공지능 법적 지위 권리주체성 • 소버린 AI • 전자대리인 • 전자적 인간 • 책임법 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반