크롤링

크롤링(crawling)이란 데이터를 수집하고 분류하는 것을 의미한다. 주로 인터넷 상의 웹페이지를 수집해서 분류하고 저장하는 것을 뜻하며 데이터가 어디에 저장되어 있는지 위치에 대한 분류 작업이 크롤링의 주요 목적이다. 크롤링의 주요 대상은 다양한 형태로 존재하는 데이터로, 데이터 생성 스타일에 따라, 정형, 반정형 그리고 비정형 데이터로 구분되기도 하지만, 데이터를 생산하는 주체에 따라 기업과 사용자가 생성하는 데이터로 분류할 수 있다.

개요

크롤링은 웹페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위로써 크롤링하는 소프트웨어는 크롤러(crawler)라고 한다.

검색엔진(search engine)에서도 유사한 것을 필수적으로 사용한다. 검색엔진(search engine)은 웹 상에 존재하는 정보와 웹 사이트를 검색하기 위한 프로그램이며 스파이더(spider),봇(bot), 지능 에이전트라고도 한다. 일일이 해당 사이트의 정보를 검색하는 것이 아니라 컴퓨터 프로그램의 미리 입력된 방식에 따라 끊임없이 새로운 웹페이지를 찾아 종합하고, 찾은 결과를 이용해 또 새로운 정보를 찾아 색인을 추가하는 작업을 반복 수행한다. 단, 로봇의 검색 가능을 역이용하여 순위를 조작하거나 검색을 피할 수 있는 단점도 있다. 참고로 네이버, 구글 등도 이런 봇을 이용해 운영된다.

크롤링

크롤링 종류

• 정적 크롤링

정적 크롤링은 정적인 데이터를 수집하는 방법을 말한다. 정적인 데이터란 변하지 않는 데이터를 의미한다. 한 폐이지 안에서 원하는 정보가 모드 드러날 때 정적 데이터라고 할 수 있다. 즉 정적 크롤링은 주소를 통해 단발적으로 접근하여 한 페이지 내에서 모든 작업이 이루어지기 때문에 속도가 매우 빠르다는 장점을 가지고 있지만 수집 데이터의 한계가 존재한다는 단점이 있다.

• 동적 크롤링

동적 크롤링은 동적인 데이터를 수집하는 방법을 말한다. 동적인 데이터란 입력, 클릭, 로그인 등과 같이 페이지 이동이 있어야 보이는 데이터를 의미한다. 예를 들어서, 메일함에 있는 메일 제목 데이터를 수집할 때 로그인 과정을 거친 후 메일함에 들어가야 하는 동적이 과정이 필요하다. 이런 경우가 동적인 크롤링이다. 동적인 크롤링은 브라우저를 사용하여 연속적으로 접근하여 수집데이터의 한계가 없지만 속도가 느리다는 단점이 있다.

웹 크롤러

웹 크롤러란 인터넷에 있는 웹페이지에 방문하여 자료를 수집하는 일을 하는 프로그램을 말한다. 이때 한 페이지만 방문하는 것이 아니라 그 페이지에 링크되어 있는 또 다른 페이지를 차례대로 방문하고 이처럼 링크를 따라 웹을 돌아다니는 모습이 마치 거미와 비슷하다고 하여 스파이더(Spider)라고 부르기도 한다.

엄청난 분량의 웹 문서를 사람이 일일이 구별하여 모으는 일은 사실상 거의 불가능에 가깝다고 볼 수 있기 때문에 웹 문서 검색에서는 사람이 일일이 하는 대신에 이를 자동으로 수행해 준다. 예를 들어 '현재 음악 차트 순위 자료'가 필요할 경우에 물론 사이트에 들어가서 일일이 보고 정리할 수는 있다. 하지만 음악 차트에도 카테고리, 순위, 제목, 그룹 이름 등 여러 정보가 있기 때문에 이 데이터를 다른 프로그램이나 무언가를 만들 때 사용하려면 데이터베이스(DB)형태로 저장해 놓을 필요가 있다.

웹은 기본적으로 HTML형태로 되어 있어 해당 정보가 HTML형태로 어떻게 보여지는지도 '페이지 소스 보기' 또는 '개발자 검사'로 볼 수 잇다. 이런 소스들은 보통 개발자들이 정형화된 형태로 관리하는데, 이런 규칙을 분석해서 우리가 원하는 정보들만 뽑아오는 것을 웹 크로링 작업이라고 볼 수 있다.

관련 소프트웨어

파이썬(Python)

이 분야의 선두주자로서, 컴퓨터 프로그래밍이 익숙하지 않은 비전공자들이 쓰기 쉽도록 라이브러리들이 발달하면서 급격히 발전하고 있다.

대표적인 파이썬(Python) 라이브러리로 beautifulsoup이 있다. 그 외에도 selenium이라는 라이브러리가 인기를 끌고 있고, webdriver와 headless옵션을 함께 이용해서 웹을 자동화 시킬수도 있다.

자바(Java)

jsoup이라는 HTML 파싱 라이브러리가 존재한다. 파이썬(Python)의 beautifulsoup처럼 특정 조건을 가진 태그들을 선택하는 것이 가능하고 GET/POST 요청을 보내서 응답을 받아오는 것도 가능하다. 즉, URL을 가져오고 데이터를 추출 및 조작하는데 매우 편리한 API를 제공한다.

전문적인 크롤링 소프트웨어는 아니지만, 일반인들이 사용할 만한 도구로 httrack과 wget-cut 정도가 있고, 2000년대 초반에는 WebZip이라는 것도 자주 사용 되었다.

법적문제

웹사이트 콘텐츠를 긁어오는 '크롤링'을 이용해 확보한 콘텐츠를 자신의 영업에 무단 사용하는 것은 데이터베이스(DB)권 침해 행위라는 대법원 판단이 나왔다. 온라인 웹사이틀 운영하는 사업자 사이에서 광범위하게 이용되는 크롤링에 대한 법적 판단의 기준을 세웠다는 점에서 주목되었다.

최근 크롤링 행위자에 대한 민·형사상 책임이 인정되는 법원의 판례들이 속속 등장하고 있다. 크롤링 행위 그 자체는 위법하지도 적법하지도 않은 무색투명한 개념이라 우리 형법 어디에도 '크롤링죄'를 두고 있지는 않다. 하지만 문제되는 것은 크롤링 행위가 우리 형법이 보호하고 있는 다른 법익을 침해하여 별개의 죄를 구성하는 경우다.

예를 들어, 요리의 도구로서 식칼을 구입하는 행위는 위법하지는 않는다. 하지만 살인의 도구로서 구입하는 행위는 살인예비죄로서 위법한 행위가 될 수 있는 것과 같다.

크롤링 행위에서 문제되는 대표적인 두 가지 법적 문제가 있다.

하나는 '정당한 접근 권한 없이 또는 허용된 접근 권한을 넘어 정보통신망에 침입'하는 행위를 금지하는 '정보통신망법' 위반이 대표적이다.

두 번째는 '저작권법'침해 문제이다. 크롤링의 최종 목적은 데이터 수집으로 수집과 저장의 과정을 알고리즘화 한 프로그럄으로 하여금 자동적이고 효율적으로 데이터를 수집하기 위함이다. 정보통신망 침입의 문제를 별개로 수집하는것이 낱개의 데이터인 경우라면 큰 문제는 발생하지 않는다. 하지만 크롤링의 목적을 고려한다면 가장 효율적인 대상으로는 이미 타인이 수집해 체계화가 된 데이터베이스일 것이다. 우리 저작권법 역시 데이터베이스 제작자의 권리를 명시적으로 보호하고 있다. 그러므로 크롤링을 계획하는 경우 그 데이터 수집행위가 이미 타인이 인적·물적 투자로 제작·관리하고 있는 데이터베이스 전부 혹은 상당한 부분을 복제하는 것은 아닌지를 신중히 검토해야 할 것이다.

이렇듯 크롤링 행위는 그 자체가 언제나 위법은 아니다. 하지만 그 행위가 형법이 금지하는 위법행위를 구성하는 경우에 한해 위법한 것이다.

참고자료

• 〈원하는 정보만 수집한다! 크롤링과 빅데이터 분석 활용〉, 《삼성디스플레이 뉴스룸》, 2020-04-22
• 〈크롤링〉, 《나무위키》
• 〈검색 엔진〉, 《나무위키》
• 〈jsoup〉, 《jsop》
• 김동훈 기자, 〈대법원 "웹사이트 무단 크롤링은 불법"〉, 《비즈니스와치》, 2017-09-27
• 장영은 기자, 〈(민후의 기·꼭·법)크롤링의 위법성은?〉, 《이데일리》, 2021-07-08
• Jaaa_mj,<크롤링 종류(정적vs동적)〉,《티스토리》, 2021-01-17

같이 보기

• 라이브러리
• 빅데이터
• 웹
• 파싱
• 파이썬

이 크롤링 문서는 프로그래밍에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

개발 : 프로그래밍 □■⊕, 소프트웨어, 데이터, 솔루션, 보안, 하드웨어, 컴퓨터, 사무자동화, 인터넷, 모바일, 사물인터넷, 게임, 메타버스, 디자인 프로그래밍 언어 ASP • C 언어 • C++ • C# • CSS • D 언어 • HTML • HTML5 • JSP • PHP • R • XHTML • XML • XSLT • 고(Go) • 고급언어 • 기계어 • 델파이 • 러스트 • 루비 • 루아 • 리액트 • 리퀴디티 • 무브 • 미켈슨 • 베이직 • 브이비스크립트 • 비주얼 C++ • 비주얼베이직(VB) • 비주얼베이직닷넷(VB.NET) • 솔리디티 • 스몰토크 • 스위프트 언어 • 스칼라 • 스크립트 언어 • 알골 • 어셈블리 • 언리얼스크립트 • 얼랭 • 에이잭스(Ajax) • 엠에프씨(MFC) • 오브젝티브-C • 오브젝트 파스칼 • 오카멜 • 웹어셈블리(WASM) • 이와즘(eWASM) • 자바 • 자바스크립트 • 저급언어 • 제이슨(JSON) • 제이쿼리(jQuery) • 카멜 • 코볼 • 코틀린 • 콜드퓨전 • 타입스크립트 • 파스칼 • 파워스크립트 • 파이썬 • 펄(Perl) • 포트란 • 프로씨(Pro-C) • 피엘에스큐엘(PL/SQL) • 피엘원(PL/I) • 하스켈 개발방법론 CBD 개발방법론 • EA • 구조적 개발방법론 • 객체지향 개발방법론 • 라이브러리 • 람다 아키텍처 • 모듈 • 모듈화 • 벤치마킹 • 소프트웨어 개발방법론 • 스크럼 • 스프린트 • 아키텍처 • 아키텍트 • 애자일 • 웹개발방법론 • 정보공학 개발방법론 • 컴포넌트 • 테일러링 • 템플릿 • 폭포수 모델 • 프로젝트 • 프로토타입 • 피드백 코딩 EUC-KR • UTF-8 • 값 • 글루웨어 • 노팔로우 링크 • 두팔로우 링크 • 디버깅 • 디코딩 • 마크업 • 버그 • 부트스트랩 • 세이브포인트 • 소스코드 • 시큐어코딩 • 아스키 • 액티브엑스 • 오픈소스 • 유니코드 • 인코딩 • 재컴파일 • 주석 • 컴파일 • 컴퓨터 프로그램 • 코드 • 코딩 • 태그 • 테스트 • 테이블 • 텍스트 • 파싱 • 퍼블리싱 • 퓨니코드 • 하드코딩 • 하이퍼링크 • 하이퍼텍스트 프로그래밍 C 명령어 • 객체 • 객체지향 • 객체지향 프로그래밍 • 거짓 • 관계연산자 • 기본형 변수 • 널 • 논리 • 논리연산 • 논리연산자 • 다중상속 • 다형성 • 대입 • 대입문 • 대입연산자 • 더블 • 도스 명령어 • 디폴트 • 레지스터변수 • 루프 • 리눅스 명령어 • 리턴 • 메모리 주소 • 메소드 • 멤버 • 명령문 • 명령어 • 무한루프 • 문자 • 문자열 • 바이트 • 반복문 • 배열 • 변수 • 분기 • 분기문 • 불린 • 브레이크 • 비교연산자 • 비트연산자 • 산술연산자 • 상속 • 상수 • 생성자 • 선언 • 선언문 • 설정자 • 속성 • 스위치 • 스태틱 • 시프트연산자 • 실행 • 실행문 • 어노테이션 • 에코 • 역참조 • 연산 • 연산문 • 연산자 • 오버로딩 • 오버라이딩 • 외부변수 • 윈도우 명령어 • 유닉스 명령어 • 인스턴스 • 인스트럭션 • 인클루드 • 인터페이스 • 임포트 • 입력 • 입력문 • 입출력 • 입출력문 • 자료형(데이터 타입) • 자바 명령어 • 자바 예약어 • 자바 컬렉션 • 전역변수 • 접근자 • 접근제어자 • 정보은닉 • 정수형 • 정적변수 • 제어 • 제어문 • 제어자 • 조건 • 조건문 • 조건연산자 • 주소 • 증감연산자 • 지역변수 • 참 • 참조 • 참조변수 • 초기화 • 추상메소드 • 추상클래스 • 추상화 • 출력 • 출력문 • 캡슐화 • 케이스 • 클래스 • 파라미터(매개변수) • 파이널 • 패키지 • 퍼블릭 • 포인터 • 프라이빗 • 프로텍티드 • 필드(멤버변수) • 함수 • 환경변수 명령어 abstract • array • boolean • break • byte • case • char • continue • default • double • do while • echo • elif • else • else if • false • final • float • for • gosub • goto • if • if else • import • include • int • join • long • long long • null • print • printf • println • private • protected • public • return • scanf • short • stdio.h • static • string • switch • temp • then • true • unsigned • void • while 디자인패턴 구조패턴 • 동시성패턴 • 동시실행패턴 • 모델-뷰-컨트롤러 패턴 • 상태패턴 • 생성패턴 • 싱글톤패턴 • 아키텍처패턴 • 전략패턴 • 커맨드패턴 • 행동패턴 프로그래밍 인물 귀도 반 로썸 • 그레이스 머레이 호퍼 • 니클라우스 비르트 • 댄 브릭클린 • 더그 커팅 • 데니스 리치 • 리누스 토르발스 • 리처드 그린블라트 • 마거릿 해밀턴 • 마크 앤드리슨 • 빈트 서프 • 빌 게이츠 • 빌 조이 • 스티브 잡스 • 에이다 러브레이스 • 제임스 고슬링 • 척 벤턴 • 켄 톰슨 • 팀 패터슨 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반