더그 커팅

더그 커팅 (Doug Cutting)

아파치 소프트웨어 재단(Apache Software Foundation, ASF)

더그 커팅(Doug Cutting)은 아파치 소프트웨어 재단(Apache Software Foundation)의 회장이이다. 또한, 소프트웨어 디자이너이자 오픈 소스 검색 기술의 옹호자이자 창안자이기도 하다. 루씬(Lucene)을 설립하고, 마이크 카파렐라(Mike Cafarella)와 같이 아파치 너치(Nutch) 등 오픈 소스 검색 기술 프로젝트를 모두 설립했다.

생애

더그 커팅은 1981년에 스탠퍼드 대학(Stanford University)에 입학했고, 1985년에 언어학 학사 학위를 받았다. 루씬(Lucene)을 개발하기 전에 더그 커팅은 팰로앨토 연구소(Xerox PARC)에서 검색 기술 직책을 맡아 수집 / 분석 알고리즘(Scatter/Gather algorithm) 및 계산 양식(computational stylistics) 대해 연구했다. 더그 커팅은 익사이트(Excite), 비트윈(V-Twin)에서 검색 엔진의 수석 디자이너로 일했었고, 텍스트 검색 프레임워크의 주요 저자였던 애플(Apple Inc.)에서도 일했다. 현재 하둡의 상용 버전을 판매하고 지원하는 크라우데라의 아키텍츠로 재작중이며, 오픈 소스 소프트웨어 연구센터(CROSS)의 조언자, 웰컴 트러스트의 조언자, 카머스 에너지의 조언자로 재직 중이다.

약력

• 1985년 : 스탠퍼드 대학교 언어학 학사 학위 취득
• 1986년 : 스코틀랜드 에든버러의 음성 기술 연구 센서에서 연구 조교
• 1987년 : 팰로앨토 연구소(Xerox PARC)에서 연구원 취직
• 1992년 : 애플(Apple)에서 첨단 기술 그룹 수석 기술자
• 1996년 : 익사이트(Excite)에서 수석 엔지니어
• 2000년 : 인프라 서치(InfraSearch)에서 수석 엔지니어
• 2001년 : 그랜드 센트럴에서 수석 엔지니어
• 2001년 : 아파치 소프트웨어 재단 커미터(Committer)
• 2005년 : 인터넷 아카이브에서 검색 부분의 이사를 담당
• 2006년 : 야후의 기술 담당
• 2009년 : 아파치 소프트웨어 재단의 디렉터(Director), 이사회에 선출
• 2009년 : 클라우데라(Cloudera) 수석 설계사
• 2016년 : 오픈 소스 소프트웨어 연구 센터(CROSS)의 조언자
• 2010년 : 아파치 소프트웨어 재단의 회장으로 선출
• 2019년 : 웰컴 트러스트(Wellcome Data Labs)의 조언자, 자문 그룹 회원
• 2020년 : 카머스 에너지의 오픈 소스 전략에 대한 자문에 대한 조언자

수상

• 2015년 : 구글 오'리얼리 오픈 소스 어워드(Google O'Reilly Open Source Award) 수상

주요 활동

오픈 소스 프로젝트

검색 인덱서인 루씬(Lucene)과 스파이더 또는 크롤러인 아파치 너치(Nutch)는 오픈 소스 일반 검색 플랫폼의 두 가지 핵심 구성 요소로, 먼저 웹에서 콘텐츠를 탐색한 다음 검색 기능을 한 인덱스로 구조화한다. 이러한 두 프로젝트는 리눅스, MySQL 등 일반적인 오픈 소스 소프트웨어 프로젝트의 리더가 되어 이러한 오픈 소스 소프트웨어 프로젝트의 개념과 기능을 검색의 영역까지 수직으로 확장시켰다.

사이버 보안을 수행하는 오픈 소스 빅 데이터 스타일인 아파치 스폿 (Apache Spot) 프로젝트를 통해 클라우델라을 돕고 있다. 이 프로젝트는 이전에 공격적인 측면으로 누군가 수동 코딩한 특정 유형의 동작을 스캔하는 필터를 사용하여 검열하는 기존의 접근 방식이 아니다. 이러한 새로운 공격을 포착하는 것은 어렵지만 일반적인 동작을 정의하는 모델의 구축하여 다른 이상 동작을 할 때 포착이 가능하도록 시스템을 구축했다. 이러한 아파치 스폿은 확장이 가능한 오픈 소스 프로젝트로 모든 IT 원격 측정 데이터에 고급 분석을 제공하기 위하여 구축된 커뮤니티 기반 사이버 보안 프로젝트이다. 스폿은 머신 러닝을 통해 위협을 감지하고 조사 및 치료를 신속하게 처리한다. 모든 엔터프라이즈 보안 데이터를 개방형 데이터 모델을 기반으로 하는 포괄적인 IT 측정 허브로 통합하고 관리한다. 이러한 스폿의 확장성 및 기계 학습 기능은 하나로 공유되고 또한 이러한 경험으로 모인 풍부한 데이터 세트는 동시에 실행될 수 있는 ML 기반 애플리케이션 에코 시스템을 지원하여 최대의 분석 유연성을 제공한다.

맵리듀스 패러다임 사용

2004년 12월, 구글 리서치(Google Research)는 대규모 서버 클러스터에서 대규모 계산을 사소하게 병렬화할 수 있는 맵리듀스(MapReduce) 알고리즘에 대한 논문을 발표했다. 이러한 맵리듀스는 더욱 효율적인 분산 처리가 가능하다. 이때 더그 커팅과 마이크 카파렐라는 이러한 구글에서 논문으로 발표한 맵리듀스 기반으로 분산 파일 시스템으로 NDFS(Nutch Distributed File System)를 본격적으로 작업하기 시작한다. 2005년 12월에 NDFS는 더그 커팅이 자신의 아들이 가지고 놀던 코끼리 인형의 이름에서 따와 하둡(Hadoop) 프레임워크라고 이름을 붙인다. 하둡은 20개의 노드에서 안정적으로 실행되는 모습을 보인다. 이때 야후!(Yahoo!)도 구글과 같은 분산 파일 시스템을 고민하던 중이었고, 자연스럽게 하둡에 관심을 두게 되었고 본격적으로 2006년 더그 커팅을 하둡 프로젝트에 합류시킨다. 2007년에 페이스북(Facebook), 트위터(Twitter), 링크드인(Linkedin)과 같은 소셜네트워크서비스, SNS에서 하둡을 적용하면서 새로운 시대인 빅데이터 시대를 대표하는 오픈 소스로 자리매김하게 되었다.

참고자료

• Wikipedia, 〈Doug Cutting〉, 《Wikipedia》
• ITWORLD, 〈인터뷰 | 하둡 창안자 더크 커팅 “폭발적인 관심 지속될 것”〉, 《ITWORLD》, 2011-11-09
• linkedin, 〈Doug Cutting〉, 《linkedin》
• Brian McKenna, 〈Doug Cutting, ‘father’ of Hadoop, talks about big data tech evolution〉, 《ComputerWeekly.com》, 2017-06-02
• Apache Spot, 〈Apache Spot (Incubating)〉, 《Apache Spot》
• 루나, 〈빅데이터 시대를 열다, 하둡을 창시한 더그 커팅〉, 《브런치》, 2020-04-16

같이 보기

• 하둡
• 아파치 소프트웨어 재단
• 아파치 너치
• 루씬

이 문서는 사진 수정이 필요합니다.

이 더그 커팅 문서는 컴퓨터에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

개발 : 프로그래밍, 소프트웨어, 데이터, 솔루션, 보안, 하드웨어, 컴퓨터 □■⊕, 사무자동화, 인터넷, 모바일, 사물인터넷, 게임, 메타버스, 디자인 컴퓨터 종류 PC • 넷북 • 노트북 • 데스크톱 • 마이크로컴퓨터 • 매킨토시 • 미니컴퓨터 • 서버컴퓨터 • 서피스 • 슈퍼컴퓨터 • 스마트워치 • 스마트폰 • 슬레이트PC • 양자컴퓨터 • 울트라북 • 워크스테이션 • 웨어러블 컴퓨터 • 조립컴퓨터 • 카PC • 컴퓨터 • 크롬북 • 태블릿PC • 펜티엄 • 피디에이(PDA) 컴퓨터 본체 CPU • GPU • 가속처리장치(APU) • 그래픽처리장치(GPU) • 랜카드 • 램(RAM) • 롬(ROM) • 마이크로프로세서 • 메모리 • 메모리 세그먼트 • 메모리 슬롯 • 메인보드 • 배드섹터 • 버스 • 보조기억장치 • 본체 • 사운드카드 • 슬롯 • 에스에스디(SSD) • 주기억장치 • 중앙처리장치(CPU) • 진공관 • 칩 • 칩셋 • 캐시메모리 • 쿨러 • 트랜지스터 • 파워서플라이 • 프로세서 • 플래시메모리 • 하드디스크 • 확장슬롯 컴퓨터 주변장치 CRT • LCD • LED • SATA • SD카드 • 결선 • 광디스크 • 낸드메모리 • 동글 • 디램(DRAM) • 디브이디(DVD) • 디스크 • 마우스 • 마이크 • 메모리카드 • 모니터 • 모바일 어시스턴트 • 방향키 • 블루레이 • 블루레이디스크 • 스피커 • 씨디(CD) • 씨디롬(CD-ROM) • 에어팟 • 웹캠 • 유에스비(USB) • 유에스비 메모리(USB 메모리) • 이어폰 • 인텔 HD 그래픽스 • 입력장치 • 조이스틱 • 조이패드 • 주변장치 • 차음성 • 출력장치 • 커서 • 컨트롤러 • 케이블 • 키 • 키보드 • 프린터 • 프로젝터 • 플로피디스크 • 헤드 마운트 디스플레이(HMD) • 헤드셋 • 헤드폰 • 화면 컴퓨터 명칭 8086 • 8088 • 80286 • 80386 • 80486 • ABC컴퓨터 • IBM • Z1 • 리스크파이브 • 마크원 • 메인프레임 • 바이낙 • 브리슬콘 • 시카모어 • 알테어 8800 • 에니악 • 에드박 • 에드삭 • 유니박 • 이아스 • 일리악 • 조니악 • 콜로서스 슈퍼컴퓨터 HPC5 • 누리온 • 마르코니-100 • 서밋 • 선웨이타이후라이트 • 셀레네 • 시에라 • 티앤허-2A • 프론테라 • 피즈 다인트 • 후가쿠 양자컴퓨터 53 큐빗 양자컴퓨터 • 디웨이브2 • 디웨이브2X • 디웨이브시스템즈 • 퀀타플로우 계산장치 계산기 • 계산장치 • 기계식 연산장치 • 라이프니츠 계산기 • 전자계산기 • 전자회로 • 차분기관 • 톱니바퀴를 이용한 수동계산기 • 파스칼린 • 해석기관 컴퓨터 연산 PPI • 니블 • 바이트 • 비트 • 연산 • 컴퓨팅 • 큐비트 컴퓨터 인물 더글러스 엥겔바트 • 리처드 파인만 • 리 펠젠스타인 • 밥 알브레히트 • 스티브 돔피어 • 스티브 잡스 • 시모어 크레이 • 앨런 튜링 • 에드 로버츠 • 제임스 서덜랜드 • 존 드레이퍼 • 찰스 배비지 • 콘라트 추제 • 토머스 왓슨 • 하워드 에이킨 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반