크롤링

크롤링(crawling)이란 데이터를 수집하고 분류하는 것을 의미한다. 주로 인터넷상의 웹페이지를 수집해서 분류하고 저장하는 것을 뜻하며 데이터가 어디에 저장되어 있는지 위치에 대한 분류 작업이 크롤링의 주요 목적이다. 크롤링의 주요 대상은 다양한 형태로 존재하는 데이터로, 데이터 생성 스타일에 따라, 정형, 반정형 그리고 비정형 데이터로 구분되기도 하지만, 데이터를 생산하는 주체에 따라 기업과 사용자가 생성하는 데이터로 분류할 수 있다.

개요

크롤링은 웹페이지를 그대로 가져와서 거기서 데이터를 추출하는 행위이다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 한다. 검색엔진(search engine)에서도 유사한 것을 필수적으로 사용한다. 검색엔진(search engine)은 웹상에 존재하는 정보와 웹사이트를 검색하기 위한 프로그램이며 스파이더(spider), 봇(bot), 지능 에이전트라고도 한다. 일일이 해당 사이트의 정보를 검색하는 것이 아니라 컴퓨터 프로그램의 미리 입력된 방식에 따라 끊임없이 새로운 웹페이지를 찾아 종합하고, 찾은 결과를 이용해 또 새로운 정보를 찾아 색인을 추가하는 작업을 반복 수행한다. 단, 로봇의 검색 기능을 역이용하여 순위를 조작하거나 검색을 피할 수 있는 단점도 있다. 참고로 네이버㈜(Naver), 구글(Google) 등도 이런 봇을 이용해 운영된다.

원리

크롤링의 원리를 알기 전에 먼저 웹페이지의 구성을 알아야 한다. 웹페이지는 HTML 문서로 작성되어 있다. 그리고 CSS를 참조하여 디자인을 활용할 수 있으며 자바스크립트(JavaScript)까지 참조하면 상호작용이 가능해진다. 그리고 크롤러를 만들 때, HTML 태그 등을 찾아서 원하는 데이터를 추출이 가능하다. 예를 들어, 영화 목록을 크롤링하려고 한다. "영화"라고 검색된 페이지의 HTML문서를 확인해 보면 영화 제목을 어떤 HTML 태그로 사용했는지 알 수 있고, 원하는 데이터를 추출하기 위해서 HTML 문서를 확인한 뒤 원하는 데이터를 추출할 수 있도록 크롤러를 만들면 된다.

종류

정적 크롤링

정적 크롤링은 정적인 데이터를 수집하는 방법을 말한다. 정적인 데이터란 변하지 않는 데이터를 의미한다. 한 폐이지 안에서 원하는 정보가 모드 드러날 때 정적 데이터라고 할 수 있다. 즉 정적 크롤링은 주소를 통해 단발적으로 접근하여 한 페이지 내에서 모든 작업이 이루어지기 때문에 속도가 매우 빠르다는 장점이 있지만, 수집 데이터의 한계가 존재한다는 단점이 있다.

동적 크롤링

동적 크롤링은 동적인 데이터를 수집하는 방법을 말한다. 동적인 데이터란 입력, 클릭, 로그인 등과 같이 페이지 이동이 있어야 보이는 데이터를 의미한다. 예를 들어서, 메일함에 있는 메일 제목 데이터를 수집할 때 로그인 과정을 거친 후 메일함에 들어가야 하는 동적인 과정이 필요하다. 이런 경우가 동적인 크롤링이다. 동적인 크롤링은 브라우저를 사용하여 연속적으로 접근하여 수집 데이터의 한계가 없지만, 속도가 느리다는 단점이 있다.

웹크롤러

웹크롤러란 인터넷에 있는 웹페이지에 방문하여 자료를 수집하는 일을 하는 프로그램을 말한다. 이때 한 페이지만 방문하는 것이 아니라 그 페이지에 링크된 또 다른 페이지를 차례대로 방문하고 이처럼 링크를 따라 웹을 돌아다니는 모습이 마치 거미와 비슷하다고 하여 스파이더(Spider)라고 부르기도 한다. 엄청난 분량의 웹 문서를 사람이 일일이 구별하여 모으는 일은 사실상 거의 불가능에 가깝다고 볼 수 있기 때문에 웹 문서 검색에서는 사람이 일일이 하는 대신에 이를 자동으로 수행해 준다. 예를 들어 '현재 음악 차트 순위 자료'가 필요할 경우에 물론 사이트에 들어가서 일일이 보고 정리할 수는 있다. 하지만 음악 차트에도 카테고리, 순위, 제목, 그룹 이름 등 여러 정보가 있어서 이 데이터를 다른 프로그램이나 무언가를 만들 때 사용하려면 데이터베이스(Database) 형태로 저장해 놓을 필요가 있다. 웹은 기본적으로 HTML 형태로 되어 있어 해당 정보가 HTML 형태로 어떻게 보이는지도 '페이지 소스 보기' 또는 '개발자 검사'로 볼 수 있다. 이런 소스들은 보통 개발자들이 정형화된 형태로 관리하는데, 이런 규칙을 분석해서 우리가 원하는 정보들만 뽑아오는 것을 웹크롤링 작업이라고 볼 수 있다.

사례

기업의 고객 정보 또는 마케팅 정보, 금융 데이터, 국내 지리 정보와 같은 데이터들의 공통점이 있다. 그건 바로 데이터의 양이 어마어마하다는 것이다. 이런 데이터를 분석하는 과정에서 단순 반복 과정을 기술의 도움 없이는 일의 효율성이 매우 떨어지게 될 것이다. 각종 비즈니스 모델을 만드는 것의 시작은 데이터를 수집하는 것으로부터 시작하는 만큼 크롤링은 4차 산업혁명 시대의 주요한 대응 전략으로 손꼽히고 있다. 웹 크롤링을 통해 가지고 올 수 있는 정보의 종류에는 HTML기반의 웹 사이트, 이미지, 문서 등이 있고, 얻을 수 있는 정보의 종류와 양이 많아 활용 분야도 다양하다. 다양한 대화 지식이 필요한 챗봇 구현이나 빅데이터 분석 연구에도 활용 할 수 있고 사람들이 자주 이용하는 구글과 네이버 등이 다양한 검색 서비스를 제공할 수 있는 이유도 수많은 웹사이트를 크롤링하기 때문이다.

관련 소프트웨어

파이썬

파이썬(Python)은 크롤링의 선두 주자로서, 컴퓨터 프로그래밍이 익숙하지 않은 비전공자들이 쓰기 쉽도록 라이브러리들이 발달하면서 급격히 발전하고 있다. 대표적인 파이썬 라이브러리로 뷰티풀 수프(Beautiful Soup) 이 있다. 그 외에도 셀레니움(selenium)이라는 라이브러리가 인기를 끌고 있고, webdriver과 headless 옵션을 함께 이용해서 웹을 자동화시킬 수도 있다.

자바

자바(Java)는 jsoup이라는 HTML 파싱 라이브러리가 존재한다. 파이썬의 뷰티풀 수프처럼 특정 조건을 가진 태그들을 선택하는 것이 가능하고 GET/POST 요청을 보내서 응답을 받아오는 것도 가능하다. 즉, URL을 가져오고 데이터를 추출 및 조작하는데 매우 편리한 API를 제공한다. 전문적인 크롤링 소프트웨어는 아니지만, 일반인들이 사용할 만한 도구로 httrack과 wget-curl 정도가 있고, 2000년대 초반에는 웹집(WebZIP)이라는 것도 자주 사용되었다.

법적 문제

웹사이트 콘텐츠를 긁어오는 '크롤링'을 이용해 확보한 콘텐츠를 자신의 영업에 무단 사용하는 것은 데이터베이스 침해 행위라는 대법원 판단이 나왔다. 온라인 웹사이트를 운영하는 사업자 사이에서 광범위하게 이용되는 크롤링에 대한 법적 판단의 기준을 세웠다는 점에서 주목되었다. 최근 크롤링 행위자에 대한 민·형사상 책임이 인정되는 법원의 판례들이 속속 등장하고 있다. 크롤링 행위 그 자체는 위법하지도 적법하지도 않은 무색투명한 개념이라 우리 형법 어디에도 '크롤링 죄'를 두고 있지는 않다. 하지만 문제 되는 것은 크롤링 행위가 우리 형법이 보호하고 있는 다른 법익을 침해하여 별개의 죄를 구성하는 경우다. 예를 들어, 요리의 도구로서 식칼을 사는 행위는 위법하지는 않는다. 하지만 살인의 도구로서 사는 행위는 살인예비죄로서 위법한 행위가 될 수 있는 것과 같다. 크롤링 행위에서 문제 되는 대표적인 두 가지 법적 문제가 있다. 하나는 '정당한 접근 권한 없이 또는 허용된 접근 권한을 넘어 정보통신망에 침입'하는 행위를 금지하는 '정보통신망법' 위반이 대표적이다. 두 번째는 저작권 법 침해 문제이다. 크롤링의 최종 목적은 데이터 수집으로 수집과 저장의 과정을 알고리즘화한 프로그램으로 하여금 자동적이고 효율적으로 데이터를 수집하기 위함이다. 정보통신망 침입의 문제를 별개로 수집하는 것이 낱개의 데이터인 경우라면 큰 문제는 발생하지 않는다. 하지만 크롤링의 목적을 고려한다면 가장 효율적인 대상으로는 이미 타인이 수집해 체계화가 된 데이터베이스일 것이다. 우리 저작권법 역시 데이터베이스 제작자의 권리를 명시적으로 보호하고 있다. 그러므로 크롤링을 계획하는 경우 그 데이터 수집 행위가 이미 타인이 인적·물적 투자로 제작·관리하고 있는 데이터베이스 전부 혹은 상당한 부분을 복제하는 것은 아닌지를 신중히 검토해야 할 것이다. 이렇듯 크롤링 행위는 그 자체가 언제나 위법은 아니지만 그 행위가 형법이 금지하는 위법 행위를 구성하는 경우에 한해 위법한 것이다.

참고자료

• 〈원하는 정보만 수집한다! 크롤링과 빅데이터 분석 활용〉, 《삼성디스플레이 뉴스룸》, 2020-04-22
• 〈크롤링〉, 《나무위키》
• 〈검색 엔진〉, 《나무위키》
• 〈jsoup〉, 《jsop》
• 김동훈 기자, 〈대법원 "웹사이트 무단 크롤링은 불법"〉, 《비즈니스워치》, 2017-09-27
• 장영은 기자, 〈(민후의 기·꼭·법)크롤링의 위법성은?〉, 《이데일리》, 2021-07-08
• Jaaa_mj, 〈크롤링 종류(정적vs동적)〉, 《티스토리》, 2021-01-17
• Junee01, 〈Web Scraping(웹 크롤링) 이란?〉, 《네이버 블로그》, 2016-01-22
• 과학기술정보통신부, 〈지루한 검색은 이제 그만! 정보를 빠르게 수집하는 '크롤링'〉, 《네이버 블로그》, 2020-03-09
• 투얼쓰 Hula_Hula, 〈크롤링이란?〉, 《티스토리》, 2018-10-30

같이 보기

• 웹크롤링
• 스크래핑
• 파싱
• 웹
• 파이썬

이 크롤링 문서는 인터넷에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

개발 : 프로그래밍, 소프트웨어, 데이터, 솔루션, 보안, 하드웨어, 컴퓨터, 인터넷 □■⊕, 모바일, 사물인터넷, 사무자동화, 디자인, 게임, 메타버스 인터넷 PC통신 • 그누텔라 • 네트워크 • 다크넷 • 다크웹 • 딥웹 • 무선인터넷 • 슈퍼피어 • 스타링크 • 아르파넷 • 아이투피(I2P) • 엑스트라넷 • 오버레이 네트워크 • 오투오(O2O) • 오프라인 • 온라인 • 온오프라인 • 유선인터넷 • 인터넷 • 인트라넷 • 초고속 인터넷 • 토어(토르) • 표면웹 • 프리넷 • 피투피(P2P) • 하이브리드 피투피(P2P) • 홈네트워크 인터넷 기술 ARP • DNS • FTP • G-클라우드 • HTTP • HTTPS • IPFS • IPv4 • IPv6 • IRC • IRI • ISBN • LDAP • MOIP • OpenSSL • OSI 7 계층 • RFC • RFID • SFTP • SOAP • SSH • SSL • SSO • TCP • TCP/IP • TLS • UCI • UDP • URI • URL • URN • VoIP • 강화 내부 게이트웨이 라우팅 프로토콜 • 검색 • 검색엔진 • 게이트웨이 • 경계 경로 프로토콜 • 내부 게이트웨이 라우팅 프로토콜 • 다운로드 • 데몬 • 동적 크롤링 • 라우팅 정보 프로토콜 • 백엔드 • 사물인터넷 • 서버 • 서버-클라이언트 • 서브넷마스크 • 세션 • 스크래핑 • 스트리밍 • 식별자 • 아이피(IP) • 업로드 • 에듀테크 • 온프레미스 • 원격 프로시저 호출(RPC) • 웹크롤링 • 유비쿼터스 • 인터넷 기술 • 자율시스템 • 정보기술 • 정보통신 • 정적 크롤링 • 채팅 • 챗봇 • 최단경로 우선 프로토콜(OSPF) • 쿠키 • 크롤링 • 클라이언트 • 키워드 • 텔넷 • 토폴로지 • 트래픽 • 패킷 • 포털 • 포트 • 프런트엔드 • 프로토콜 • 프록시 • 해시태그 이메일 IMAP • POP3 • SMTP • 계정메일 • 네이버 메일 • 다음 메일 • 센드메일 • 스팸 • 스팸메일 • 스팸필터링 • 아웃룩 익스프레스 • 야후 메일 • 웹메일 • 이메일 • 지메일 • 카카오 메일 • 한메일 • 핫메일 웹 KWCAG • WCAG • 서핑 • 시맨틱 웹 • 오프라인 웹 • 웹 • 웹 1.0 • 웹 2.0 • 웹 3.0 • 웹개방성 • 웹서비스 • 웹접근성 • 웹접근성 인증마크 • 웹주소 • 웹표준 • 웹호환성 • 피드 웹사이트 BBS • GNB • LNB • UI/UX • 게시판 • 관리자 사이트 • 그래픽 사용자 인터페이스(GUI) • 누리집 • 대시보드 • 동적 웹페이지 • 드롭다운 메뉴 • 랜딩 템플릿 • 랜딩 페이지 • 리더보드 • 마이홈피 • 메뉴 • 모달창 • 미니홈피 • 방명록 • 배너 • 사용자 경험(UX) • 사용자 인터페이스(UI) • 섹션 • 왼쪽메뉴 • 웹기획 • 웹사이트 • 웹페이지 • 인터페이스 • 정적 웹페이지 • 쪽지 • 캐러셀 • 커뮤니티 • 탑메뉴 • 탭메뉴 • 템플릿 • 팝업 • 페이지 • 페이지뷰 • 햄버거 메뉴 • 호버 • 홈페이지 • 화면 웹브라우저 넷스케이프 • 모자이크 • 브라우저 • 브레이브 브라우저 • 블록체인 브라우저 • 사파리 • 삼성인터넷 • 스윙 • 엣지 • 오시리스 • 오페라 • 웨일 • 웹브라우저 • 인터넷 익스플로러(IE) • 크롬 • 파이어폭스 • 판도브라우저 인터넷 서비스 구글 • 구글 미트 • 구글챗 • 구글 행아웃 • 깃허브 • 네아로 • 네이버 • 네이버 웹툰 • 네이버 카페 • 넷플릭스 • 다음 • 라이코스 • 레진코믹스 • 메일루 • 멜론 • 바이두 • 바이트댄스 • 비트토렌트 • 빌리빌리 • 빙 • 소리바다 • 스포티파이 • 아마존 웹서비스(AWS) • 애플 • 야후 • 야후재팬 • 얀덱스 • 에버노트 • 에어비앤비 • 왓챠 • 웹소설 • 웹툰 • 유튜브 • 인스타툰 • 인터넷 서비스 • 인터넷카페 • 잼라이브 • 줌 • 카카오 • 카카오 웹툰 • 카카오페이지 • 탑툰 • 텐센트 • 팟캐스트 • 패스 • 페이오니아 • 페이팔 • 해시넷 • 화상통화 • 화상회의 인터넷쇼핑 11번가 • 그립 • 네이버 쇼핑 • 네이버 쇼핑 라이브 • 라이브방송 • 라이브커머스 • 모바일쇼핑 • 쉬인 • 스쉐라이브 • 스타일쉐어 • 아마존 • 알리바바 • 오픈마켓 • 옥션 • 온라인쇼핑 • 위메프 • 이베이 • 인터넷쇼핑 • 인터파크 • 전자상거래 • 지마켓 • 징동닷컴 • 카카오 쇼핑 • 카카오 쇼핑 라이브 • 커머스 • 쿠팡 • 쿠팡 라이브 • 타오바오 • 테무 • 티몬 • 핀둬둬 소셜 네트워크 SNS(소셜 네트워크 서비스) • 구글 블로거 • 네이버 밴드 • 네이버 블로그 • 디시인사이드 • 링크드인 • 마이크로블로그 • 맞팔 • 브런치스토리 • 블로그 • 소셜 네트워크 • 엑스 (트위터) • 웨이보 • 인스타그램 • 트루스소셜 • 티스토리 • 팔로우 • 페이스북 • 플리커 • 핀터레스트 메신저 골프메신저 • 님버즈 • 대화방 • 두레이 • 디스코드 • 딩톡 • 라인 • 라인웍스 • 마이크로소프트 팀즈 • 메시지 • 메신저 • 버디버디 • 스냅챗 • 스노우 • 스카이프 • 슬랙 • 아이씨큐(ICQ) • 왓츠앱 • 웹메신저 • 위챗 • 잔디 • 직톡 • 채팅방 • 카카오워크 • 카카오톡 • 카톡방 • 큐큐(QQ) • 탱고 • 텔레그램 • 틱톡 • 페이스북 메신저 • 플로우 도메인 네임서버 • 다국어도메인 • 도메인 • 레지스트라 • 레지스트리 • 아이피 • 인터넷주소 • 인터넷키워드 • 한글인터넷주소 • 후이즈 호스팅 메일호스팅 • 서버호스팅 • 웹호스팅 • 코로케이션 • 클라우드 • 클라우드 네이티브 • 파킹 • 포워딩 • 호스팅 위키 구스위키 • 그로키피디아 • 나무위키 • 노스모크 • 더위키 • 디시위키 • 리그베다위키(엔하위키) • 리브레위키 • 미디어위키 • 바다위키 • 백괴사전 • 아이티위키 • 알파위키 • 엔하계 위키 • 요다위키 • 우만위키 • 위키 • 위키낱말사전 • 위키독스 • 위키문법 • 위키문서 • 위키문헌 • 위키미디어재단 • 위키백과 • 위키스 • 위키엔진 • 위키원 • 위키원드 • 위키트리 • 위키휴가 • 제이위키 • 제타위키 • 중국위키 • 팬덤(위키아) • 한국어 위키백과 • 한국위키미디어협회 • 항공위키 인터넷 사용자 가입 • 가입자 • 강퇴 • 계정 • 관리자 • 그룹 • 네트워크 관리자 • 네티즌 • 누리꾼 • 대기자 • 데이터베이스 관리자 • 등록자 • 디지털 원패스 • 로그아웃 • 로그인 • 방문자 • 방장 • 부방장 • 블로거 • 블록체인 관리자 • 비회원 • 사용자 • 사이트 관리자 • 서버관리자 • 시삽 • 시스템 관리자 • 아이디(ID) • 운영자 • 운영진 • 웹관리자 • 웹마스터 • 유튜버 • 접속자 • 정회원 • 준회원 • 차단 • 최고관리자 • 탈퇴 • 탈퇴자 • 회원 • 회원가입 • 회원제 • 회원탈퇴 • 휴면 • 휴면계정 인터넷 단체 IANA • ICANN • W3C • 다르파 • 유럽입자물리연구소(CERN) 위키 : 인공지능, 개발, 자동차, 교통, 아시아, 세계, 산업, 기업, 단체, 업무, 생활, 지도, 블록체인, 암호화폐, 인물, 행사, 일반

개발 : 프로그래밍, 소프트웨어, 데이터 □■⊕, 솔루션, 보안, 하드웨어, 컴퓨터, 인터넷, 모바일, 사물인터넷, 사무자동화, 디자인, 게임, 메타버스 데이터 ACID • CRUD • CSV • DAO • DB • DBMS • DB 명령어 • DCL • DDL • DML • DTO • ERD • ETL • JDBC • JPA • LOD • MDM • ODBC • ORM • RDBMS • RDF • SQL • 가상 데이터베이스 • 관계형 데이터베이스 • 그래프 • 기본키(PK) • 내부조인 • 널 • 노드 • 다이어그램 • 대리키 • 대체키 • 데이터 • 데이터댐 • 데이터 레이크 • 데이터마트 • 데이터 모델링 • 데이터뱅크 • 데이터베이스(DB) • 데이터베이스 언어 • 데이터 사이언스 • 데이터 사전 • 데이터 웨어하우스 • 데이터 정의어(DDL) • 데이터 제어어(DCL) • 데이터 조작어(DML) • 데이터 클러스터 • 데이터 토큰 (문자열) • 데이터 통합 • 덱 • 디비서버 • 라이트조인 • 락 • 레코드 • 레프트조인 • 로그 • 로그파일 • 로깅 • 롤백 • 리두로그 • 릴레이션 • 마스터데이터 • 마스터데이터관리(MDM) • 마이그레이션 • 메타데이터 • 배열 • 뷰 • 빅데이터 • 서브쿼리 • 수퍼키 • 순차리스트 • 스키마 • 스택 • 슬로우쿼리 • 엔티티 • 역정규화 • 연결리스트 • 외래키(FK) • 외부조인 • 인덱스 • 인덱싱 • 인젝션 • 자료구조 • 정규화 • 정보 • 조인 • 커밋 • 쿼리 • 큐 • 키 • 타깃 • 테이블 • 튜플 • 트랜잭션 • 트리 • 트리거 • 티비마이그레이터 • 풀조인 • 프로시저 • 필드 • 해시 • 해시맵 • 해시태그 • 해시테이블 • 해시함수 • 해싱 • 후보키 데이터베이스 관리 시스템 (DBMS) 관계형 데이터베이스 관리 시스템(RDBMS) • 노에스큐엘(NoSQL) • 데이터베이스 관리 시스템(DBMS) • 더비 • 디비투(DB2) • 레디스 • 마리아디비(MariaDB) • 마이에스큐엘(MySQL) • 몽고디비 • 빅테이블 • 사이베이스 • 선디비 • 알티베이스 • 액세스 • 에스큐엘(SQL) • 에스큐엘라이트(SQLite) • 에이치베이스 • 엠에스에스큐엘(MS-SQL) • 오라클(Oracle) • 인터베이스 • 인포믹스 • 카산드라 • 카우치디비 • 큐브리드 • 티베로 • 파이어버드 • 포스트그레스큐엘(PostgreSQL) • 하이퍼테이블 DB 명령어 alter • array • create • delete • drop • from • full join • grant • group by • having • inner join • insert • join • left join • null • order by • outer join • rename • revoke • right join • select • truncate • update • where 시스템 연계 API • CGI • EAI • ESB • JPA • RSS • SOA • SOAP • SSL • SSO • web3.js • XML • 디비투디비(DB-to-DB) • 레스트풀(RESTful) • 상호운용성 • 시스템 인터페이스 • 신디케이션 API • 오픈 API • 웹 API • 웹개방성 • 윈도우 API • 자바 API • 크롤링 • 프라이빗 API 위키 : 인공지능, 개발, 자동차, 교통, 아시아, 세계, 산업, 기업, 단체, 업무, 생활, 지도, 블록체인, 암호화폐, 인물, 행사, 일반