검수요청.png검수요청.png

더그 커팅

위키원
이동: 둘러보기, 검색
더그 커팅 (Doug Cutting)
아파치 소프트웨어 재단(Apache Software Foundation, ASF)

더그 커팅(Doug Cutting)은 아파치 소프트웨어 재단(Apache Software Foundation)의 회장이이다. 또한, 소프트웨어 디자이너이자 오픈소스 검색 기술의 옹호자이자 하둡(Hadppo)의 창안자이기도 하다. 루씬(Lucene)을 설립하고, 마이크 카파렐라(Mike Cafarella)와 같이 아파치 너치(Nutch) 등 오픈소스 검색 기술 프로젝트를 모두 설립했다.[1]

생애[편집]

더그 커팅은 1981년에 스탠퍼드 대학교(Stanford University)에 입학했고, 1985년에 언어학 학사 학위를 받았다. 루씬(Lucene)을 개발하기 전에 더그 커팅은 팰로앨토 연구소(Xerox PARC)에서 검색 기술 직책을 맡아 수집/분석 알고리즘(Scatter/Gather algorithm) 및 계산 양식(computational stylistics) 대해 연구했다. 더그 커팅은 익사이트(Excite), 브이트윈(V-Twin)에서 검색 엔진의 수석 디자이너로 일했었고, 텍스트 검색 프레임워크의 주요 저자였던 애플(Apple)에서도 일했다.[1] 현재 하둡의 상용 버전을 판매하고 지원하는 크라우데라의 아키텍츠로 재작중이며, 오픈 소스 소프트웨어 연구센터(CROSS)의 조언자, 웰컴 트러스트의 조언자, 카머스 에너지의 조언자로 재직 중이다.[2]

약력[편집]

  • 1985년 : 스탠퍼드 대학교 언어학 학사 학위 취득
  • 1986년 : 스코틀랜드 에든버러의 음성 기술 연구 센서에서 연구 조교
  • 1987년 : 팰로앨토 연구소(Xerox PARC)에서 연구원 취직
  • 1992년 : 애플(Apple)에서 첨단 기술 그룹 수석 기술자
  • 1996년 : 익사이트(Excite)에서 수석 엔지니어
  • 2000년 : 인프라 서치(InfraSearch)에서 수석 엔지니어
  • 2001년 : 그랜드 센트럴에서 수석 엔지니어
  • 2001년 : 아파치 소프트웨어 재단 커미터(Committer)
  • 2005년 : 인터넷 아카이브에서 검색 부분의 이사를 담당
  • 2006년 : 야후의 기술 담당
  • 2009년 : 아파치 소프트웨어 재단의 디렉터(Director), 이사회에 선출[1]
  • 2009년 : 클라우데라(Cloudera) 수석 설계사
  • 2016년 : 오픈 소스 소프트웨어 연구 센터(CROSS)의 조언자
  • 2010년 : 아파치 소프트웨어 재단의 회장으로 선출
  • 2019년 : 웰컴 트러스트(Wellcome Data Labs)의 조언자, 자문 그룹 회원
  • 2020년 : 카머스 에너지의 오픈 소스 전략에 대한 자문에 대한 조언자[3]
수상
  • 2015년 : 구글 오'리얼리 오픈 소스 어워드(Google O'Reilly Open Source Award) 수상[1]

주요 활동[편집]

오픈 소스 프로젝트[편집]

검색 인덱서인 루씬(Lucene)과 스파이더 또는 크롤러인 아파치 너치(Nutch)는 오픈 소스 일반 검색 플랫폼의 두 가지 핵심 구성 요소로, 먼저 웹에서 콘텐츠를 탐색한 다음 검색 기능을 한 인덱스로 구조화한다. 이러한 두 프로젝트는 리눅스, MySQL 등 일반적인 오픈 소스 소프트웨어 프로젝트의 리더가 되어 이러한 오픈 소스 소프트웨어 프로젝트의 개념과 기능을 검색의 영역까지 수직으로 확장시켰다.[1] 사이버 보안을 수행하는 오픈 소스 빅 데이터 스타일인 아파치 스팟(Apache Spot) 프로젝트를 통해 클라우델라을 돕고 있다. 이 프로젝트는 이전에 공격적인 측면으로 누군가 수동 코딩한 특정 유형의 동작을 스캔하는 필터를 사용하여 검열하는 기존의 접근 방식이 아니다. 이러한 새로운 공격을 포착하는 것은 어렵지만 일반적인 동작을 정의하는 모델의 구축하여 다른 이상 동작을 할 때 포착이 가능하도록 시스템을 구축했다.[4] 이러한 아파치 스폿은 확장이 가능한 오픈 소스 프로젝트로 모든 IT 원격 측정 데이터에 고급 분석을 제공하기 위하여 구축된 커뮤니티 기반 사이버 보안 프로젝트이다. 스폿은 머신 러닝을 통해 위협을 감지하고 조사 및 치료를 신속하게 처리한다. 모든 엔터프라이즈 보안 데이터를 개방형 데이터 모델을 기반으로 하는 포괄적인 IT 측정 허브로 통합하고 관리한다. 이러한 스폿의 확장성 및 기계 학습 기능은 하나로 공유되고 또한 이러한 경험으로 모인 풍부한 데이터 세트는 동시에 실행될 수 있는 ML 기반 애플리케이션 에코 시스템을 지원하여 최대의 분석 유연성을 제공한다.[5]

하둡 개발[편집]

더크 커팅은 오픈소스 프로젝트의 최대 성공작 중 하나인 하둡(Hadoop)을 창시했다. 2006년, 대학원생 마이크 카파렐라(Michael Cafarella)와 오픈소스 검색엔진의 하부 프로젝트인 하둡을 시작할 때는 오늘날의 하둡과 같이 대규모로 커질 줄은 몰랐다. 소프트웨어에는 두 가지 흐름이 있는데 더그 커팅 자신은 해커 소프트웨어 흐름 속에 속해있다고 생각했다. 해커 소프트웨어는 일찍이 프리소프트웨어 운동을 전개한 리차드 스톨만(Richard Stallman), 인터넷 혁명을 가져온 월드 와이드 웹(WWW)의 창시자 팀 버너스리(Tim Bernersr-Lee), 리눅스를 만들어 소스를 공개한 리누스 토르발스(Linus Torvalds), 위키피디아를 무료로 운영하고 있는 지미 웨일스(Jimmy Wales) 등의 흐름을 의미한다. 더그 커팅은 스탠포드에서 언어학을 전공하고 애플, 제록스 팔로알토 연구소 등에서 개발자로 근무했다. 그는 C++ 언어를 가장 좋아하며 평소에는 자전거타기를 즐기고 아이들과 놀아주기를 좋아하는 실리콘밸리의 개발자였다. 그런데 자바 언어를 배우면서 2000년 이후에 오픈소스 검색엔진 루씬(Lucene)과 너치(Nutch)를 마이크 카파렐라와 함께 만들어 인터넷에 소스를 공개했고, 아파치재단은 이를 최고 레벨 프로젝트로 승격시킨다. 이어서 2004년에는 본인이 검색엔진의 효율적인 분산처리를 위해 당시 구글에서 논문으로 발표한 분산파일 시스템 NDFS(Nutch Distributed File System)을 시작한다. 2005년 12월 NDFS는 새로운 프레임워크인 하둡으로 포팅되고, 하둡은 20개의 노드에서 안정적으로 실행되었다. 당시 야후에서는 구글과 같은 분산파일시스템을 고안하던 중 하둡에 관심을 두게 되었고, 2006년에 더크 커팅을 합류시켜 본격적으로 하둡을 발전시키게 한다. 2007년에는 페이스북, 트위터, 링크드인과 같은 SNS에서 하둡을 적용하면서 새로운 시대를 열어가는 게임체인저로서 본격적으로 등장하게 된다. 그리고 지금은 빅데이터 시대를 대표하는 오픈소스로 자리매김하게 된다. 더그 커팅은 기존에 없어던 것을 만든 것도 아니며, 다른 사람들이 절대로 따라올 수 없는 초절정의 개발을 해낸 것도 아니었지만 오픈소스라는 시대의 과제에 적극 부응함으로써 새로운 시대를 열었다. 더그 커팅은 하둡 10주년 인터뷰에서 하둡이라는 이름은 아들이 가지고 놀던 노란 코끼리 인형의 이름에서 따왔다고 밝힌 바 있다. 하둡이라는 노란 코끼리 이름의 영향으로 이후 추가된 하둡 생태계의 소프트웨어 이름은 동물과 관계된 이름으로 주로 지어지게 된다. 스크립팅의 언어인 돼지 피그(PIG), 에스큐엘 쿼리를 가능하게 하는 벌떼 하이브(HIVE), 로그를 수집하는 거북이 척와(CHUKWA), 생태계를 조율하는 동물원 사육사 주키퍼(Zookeeper) 등이 대표적인 예이다.[6]

각주[편집]

  1. 1.0 1.1 1.2 1.3 1.4 Doug Cutting〉, 《Wikipedia》
  2. 인터뷰 | 하둡 창안자 더크 커팅 “폭발적인 관심 지속될 것”〉, 《ITWORLD》, 2011-11-09
  3. Doug Cutting〉, 《linkedin》
  4. Brian McKenna, 〈Doug Cutting, ‘father’ of Hadoop, talks about big data tech evolution〉, 《ComputerWeekly.com》, 2017-06-02
  5. Apache Spot (Incubating)〉, 《Apache Spot》
  6. 루나, 〈빅데이터 시대를 열다, 하둡을 창시한 더그 커팅〉, 《브런치》, 2020-04-16

참고자료[편집]

같이 보기[편집]


  검수요청.png검수요청.png 이 더그 커팅 문서는 프로그래밍에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.