루씬

루씬(Lucene)

루씬(Lucene)

일래스틱서치(Elastic Search)

루씬(Lucene)은 자바(Java) 언어로 개발된 오픈소스 정보 검색 라이브러리이다. 1999년 더그 커팅에 의해 개발되었다. 루씬 개발 프로젝트는 아파치재단이 관리하는 최상위 프로젝트이다. 아파치 루씬(Apache Lucene)이라고 한다. 루씬을 기반으로 일래스틱서치(Elastic Search) 검색엔진이 개발되었다.

개요

루씬은 최초 1999년 더크 커팅의 개인적인 관심에 의해 시작되었으며 2003년 3월 버전 0.01이 SourceForge 사이트에 최초 공개 되었다.

루씬은 고성능 정보 검색 IR(Information retrieval) 라이브러리다. IR은 문서를 검색하거나, 문서와 연관된 메타 정보를 검색하는 과정을 말한다. 루씬을 사용하면 개발하고자 하는 어플리케이션에 정보 검색 기능을 손쉽게 추가할 수 있다. 자바로 구현되어 있고 아파치 소프트웨어 재단에서 아파치 소프트웨어 라이센스로 배포중이다.

루씬은 다양한 프로젝트와 어플리케이션에서 검색 엔진으로 사용되고 있으며, 오픈소스 검색 애플리케이션의 양대 축 Solr와 Elasticsearch에서 검색 엔진으로 사용되고 있다. 최근 Solr 프로젝트가 아파치 소프트웨어 재단으로 이관되면서 루씬과 통합되어 개발되고 있다.

역사

• 1999년 : 더크 커팅에 의해 최초 개발
• 2000년 03월 : 루씬 0.01 SourceForge 사이트에 최초 공개
• 2000년 10월 04일 : 루씬 1.0 출시, 버그 수정 및 성능 최적화
• 2005년 : 아파치 재단의 최상위 프로젝트로 등록
• 2006년 02월 27일 : 루씬 1.9 최종 출시, 버그 수정 및 최적화
• 2007년 06월 19일 : 루씬 2.2.0 출시, RemoteSearcher 및 기타 Searchable 구현과 함께 사용할 수 있도록 FieldSelector 기능을 Searchable 추가
• 2008년 10월 08일 : 루씬 2.4.0 출시, BitVector.subset () 추가
• 2009년 11월 25일 : 루씬 3.0.0 출시, 모든 기본 속성에 대한 토큰 인스턴스를 작성하는 편리한 AttributeFactory 제공
• 2011년 07월 01일 : 루씬 3.3.0 출시, 다양한 샤드 (Uwe Schindler, Mike McCandless)의 결과를 쉽게 병합 할 수 있도록 TopDocs.merge 추가
• 2012년 08월 13일 : 루씬 4.0.0 베타, BasicAutomata.makeStringUnion 메소드 추가
• 2012년 10월 12일 : 루씬 4.0.0 출시
• 2013년 10월 05일 : 루씬 4.5.0 출시
• 2013년 11월 24일 : 루씬 4.6.0 출시
• 2014년 02월 26일 : 루씬 4.7.0 출시, 대문자 토큰을 만들기 위한 UpperCaseFilter 추가
• 2014년 03월 12일 : 루씬 4.8.0 출시
• 2016년 04월 08일 : 루씬 6.0.0 출시
• 2017년 03월 27일 : 루씬 6.5.0 출시
• 2017년 09월 20일 : 루씬 7.0.0 출시
• 2018년 09월 24일 : 루씬 7.5.0 출시
• 2019년 03월 14일 : 루씬 8.0.0 출시
• 2019년 07월 26일 : 루씬 8.2.0 출시

검색 엔진 작동 원리

검색엔진은 링크와 텍스트 기반 인식 기본이다. 크롤러가 방문한 웹 페이지에서 새로운 링크를 발견하면 웹 서버에 데이터 정보를 요청하고 이때 웹 서버는 검색엔진에게 웹 페이지 정보를 보내는데 이것이 바로 메타태그가 포함된 사이트 정보다. 크롤러는 그렇게 추가된 수집한 URL에서 단어와 문구를 분리하여 저장한다. 저장과정에서 각 단어와 문구(쿼리)에서 가중치(weight)와 연관도(relevance)를 부여하고 최종 결과 값을 인덱스(색인)한다.

검색자가 검색창에 검색어를 입력하면 그 때 필요한 것을 끄집어 내는 것이 아니라 검색엔진이 미리 구축해 두었던 인덱스(색인)을 검색하는 것이다. 이 과정이 없으면 검색 결과를 얻기까지 엄청난 시간이 소요된다.

특징

확장 가능한 고성능 정보검색 라이브러리로, 소프트웨어 프로그램에 색인과 검색 기능을 간단하게 추가할 수 있도록 지원한다. 라이선스는 아파치 라이선스 2.0을 사용하고 있으며, 운영 체제는 크로스 플랫폼을 이용하고 있다. 또한 루씬 사용 시 검색과 관련한 전문적인 지식은 필요하지 않으며, 간단한 사용법들만 익히면 색인과 검색 기능을 직접 추가할 수 있다. 또한 자바로 만들어졌지만 파이썬, C++ 등의 언어로 사용할 수 있다.

기능

검색과 생인

루씬은 빠른 검색 응답(fast search response)을 성취할 수 있다. 텍스트를 직접적으로 검색하는 대신에 루씬은 인덱스로 검색하기 때문이다. 이것은 책의 맨 마지막에 색인을 이용해 관련된 키워드를 검색해 페이지를 찾는 것과 같다고 볼 수 있다.

문서

루씬에서는 하나의 문서(Document)는 검색과 인덱스의 단위다. 하나의 인덱스는 하나 또는 그 이상의 문서로 구성되어 있다.

분야

하나의 문서는 하나의 또는 그 이상의 분야(Fields)로 구성되어 있다. 하나의 Field는 단순한 이름과 값(name-value)으로 된 쌍이다. 예시로 애플리케이션에서 사용되는 하나의 문서는 타이틀이다. 타이틀 문서의 경우, 문서 이름은 타이틀이고, 값은 그 내용의 제목이다.

루씬에서 인덱싱은 분야(Fields)로 구성되어있는 문서(Documents)를 만드는 것과, 이러한 문서를 IndexWriter에 추가하는 것을 포함한다.

쿼리

루씬은 검색을 수행하는데 있어 루씬의 고유 Mini-languge를 가지고 있다.

루씬 쿼리 언어(Lucene Query Language)는 사용자가 검색을 위해 어떤 Field(s)를 사용할지, 어떤 Field(s)에 더 중접을 둘지, Boolean qeury(AND, OR,NOT)의 수행할수 있는 능력, 그 밖에 다른 기능들을 사용할수 있게 해준다.

활용

• 이메일 검색 : 저장된 메시지를 검색, 새로 도착한 메세지를 색인에 추가할 수 있다.
• 온라인 문서 검색 : 온라인 문서나 저장된 출판물을 검색할 수 있는 CD 또는 웹 기반에 포함된 문서 판독기 역할을 할 수 있다.
• 버전 관리 및 콘텐츠 관리 : 문서나 문서 버전을 색인화하여 쉽게 검색할 수 있도록 하는 시스템이다.
• 웹 페이지 검색 : 사용자가 방문한 모든 웹 페이지를 색인화하기 위해 개인 검색 엔진을 만들 수 있는 웹 브라우저 또는 프록시 서버이다.
• 내용 검색 : 저장된 문서에서 특정 내용 검색할 수 있다.
• 뉴스 및 유선 서비스 : 뉴스가 도착했을 때 기사를 색인할 수 있는 뉴스 서버나 릴레이 서버이다.

루씬 기반 프로젝트

• Apache Nutch : 웹 기어 및 HTML 구문 분석 기능 제공
• Apache Solr : 엔터프라이즈 검색 서버
• Compass : 루씬을 기반으로 구축된 오픈 소스 분산 SQL 데이터베이스
• DocFetcher : 다중 형식 데스크톱 검색 응용 프로그램
• Elastic Search : 2010년에 출시된 엔터프라이즈 검색 서버
• Kinosearch : Perl과 Cand에서 작성된 검색 엔진
• Swiftype : 루씬을 기반으로 한 엔터프라이즈 검색 시작

한계

루씬을 이용하여 개발할 수는 있지만 각각에 대한 전용 라이브러리를 지원하진 않는다. 또한 내용을 단어로 나누는 방법을 구현해야 하며, 국어에 대한 이해를 기반으로 구현하는 것이 어렵다고 한다.

참고자료

• linuxism, 〈linuxism 블로그〉, 《개인 블로그》, 2012-09-24
• 나데다, 〈Lucene〉, 2014-11-17
• 〈Lucene Change Log〉, 《루씬 공식 사이트》
• 〈Welcome to Apache Lucene〉, 《루씬 공식 사이트》
• 〈Apache Lucene〉, 《위키백과》

같이 보기

• 더그 커팅
• 아파치재단
• 일래스틱서치
• 오픈소스

이 루씬 문서는 솔루션에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

개발 : 프로그래밍, 소프트웨어, 데이터, 솔루션 □■⊕, 보안, 하드웨어, 컴퓨터, 사무자동화, 인터넷, 모바일, 사물인터넷, 게임, 메타버스, 디자인 솔루션 CMS • CRM • DRM • ERP • HMS • LCMS • LMS • PMS • SCM • VOC • 그룹웨어 • 모니터링 솔루션 • 솔루션 • 웹빌더 • 위키 • 지식관리시스템(KMS) • 커스터마이징 • 패키지 소프트웨어 • 패키지 제품 프레임워크 넥스코어 • 노드제이에스(node.js) • 닷넷(.NET) • 라프제이(Laf/J) • 레일즈 • 마이바티스(MyBatis) • 맵리듀스 • 스트럿츠 • 스프링 프레임워크 • 아두이노 • 아이바티스(iBatis) • 아파치 스파크 • 애니프레임 • 앵귤러제이에스(Angular.js) • 에이에스피닷넷(ASP.NET) • 인텔리제이 아이디어(IntelliJ IDEA‎) • 장고 • 전자정부 표준 프레임워크 • 하둡 • 하이버네이트 콘텐츠관리시스템 iCS • 드루팔 • 아사프로 • 오픈웍스 • 워드프레스 • 윅스 • 줌라 • 지니웍스 • 콘텐츠와이즈 • 홈스토리 • 홍익인간 홈페이지 솔루션 GPKI • LBS • PKI • 게시판 • 공인인증서 • 구글 애널리틱스 • 구글 애드센스 • 그누보드 • 네이버 애널리틱스 • 넷퍼넬 • 달력 • 대댓글 • 댓글 • 덱스트업로드 • 방명록 • 블로그 • 비즈니스 애널리틱스 • 선플 • 설문조사 • 소셜로그인 • 스킨 • 아이핀 • 악플 • 에이스카운터 • 웹로그 • 위젯 • 익스프레스엔진(제로보드XE) • 인증 • 접속통계 • 제로보드 • 지핀(G-PIN) • 카운터 • 커뮤니티 • 테크노트 • 투표 • 파일업로드 • 회원관리 이메일 솔루션 깨비메일 • 메일플러그 • 썬더메일 • 에어즈락메일 쇼핑몰 솔루션 고도몰 • 굿모닝샵 • 메이크샵 • 카페24 쇼핑몰 • 퍼스트몰 • 후이즈몰 동영상 솔루션 1그램플레이어 • 5K플레이어 • ACG플레이어 • KM플레이어 • VLC미디어플레이어 • 곰플레이어 • 디코더 • 와우자 • 웹엑스 • 인코더 • 코덱 • 코디 • 팟플레이어 검색 솔루션 검색 • 검색엔진 • 독크루저 • 레피아 • 루씬 • 마리너 • 미르서치 • 서치포뮬러원 • 아이트리니티 • 엑스텐 • 엑스퍼서치 • 일래스틱서치 리포팅툴 사이냅 • 알메이트차트 • 오즈리포트 • 유비리포트 • 차트 • 크로닉스리포트(리포트 디자이너) • 클립리포트(렉스퍼트) BI 솔루션 BI • BI매트릭스 • OLAP • 옥타곤 • 코그너스 • 태블로 연계 솔루션 메심 • 비즈위버 • 웹크롤러 • 이크로스 비즈아이 스위트 • 인디고 • 코어브릿지 • 크롤러 • 프로버스 데이터 솔루션 BTL 데이터 인테그레이터 • ETL 솔루션 • 딥솔루션 • 아이샤크 • 이노쿼츠 • 인포매티카 • 탈렌드 • 탈렌드 오픈스튜디오 • 테라스트림 자료공유 솔루션 구글 드라이브 • 나스 • 드롭박스 • 시놀로지 나스 • 원드라이브 • 웹하드 그룹웨어 거래처 관리 • 구글 워크스페이스 • 근태관리 • 노츠 • 노트 • 다우오피스 • 다이렉트 클라우드 • 더존 솔루션 • 메일플러그 • 브레인스톰 • 비즈메카 • 엘지 유플러스 그룹웨어 • 연락처 • 연락처 관리 • 오피스365 • 온타임 • 웍스모바일 • 위하고 • 인사관리 • 일정관리 • 전자결재 • 지스위트 • 지투웍스 • 코디네이터 • 팀포커스 • 하이웍스 • 핸디 • 헬로윈 클라우드 솔루션 오픈네뷸라 • 오픈스택 • 유칼립투스 • 클라우드스택 • 클라우드잇 지도 솔루션 구글 지도 • 네이버 지도 • 바이두 지도 • 지도 • 지도 API • 카카오 지도 • 티맵 모바일 솔루션 모피어스 기타 솔루션 딥오씨알 • 리무트콜 • 스카우터 • 알서포트 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반