"빅데이터"의 두 판 사이의 차이

위키원
이동: 둘러보기, 검색
잔글
1번째 줄: 1번째 줄:
−
'''빅데이터'''<!--빅 데이터-->(big data)는 생성된 양(volume), 형식(variety), 속도(velocity) 등이 방대한 [[데이터]]를 말한다. 예를 들어 기계장치에 의해 자동으로 생성된 방대한 비정형 데이터인 [[기계 데이터]](machine data) 등이 있다. '빅데이타'가 아니라 '빅데이터'가 올바른 표기법이다.
+
==정의==
 +
'''빅데이터'''<!--빅 데이터-->(big data)란 기존 데이터에 비해 너무 방대해 이전 방법이나 도구로 수집, 저장, 검색, 분석, 시각화 등이 어려운 정형 또는 비정형 데이터 세트를 의미하며 <ref>네이버 국어사전 https://ko.dict.naver.com/search.nhn?query=%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0&kind=all </ref> 그 데이터로부터 가치를 추출하고 결과를 분석하는 기술 <ref> John Gantz & David Reinsel, << Extracting Value from Chaos >>, IDC IVIEW , 2011년 6월 </ref> 이다. 
 +
 
 +
빅 데이터는 과거에 비해 데이터의 양이 증폭했다는 점과 함께 종류도 다양해져서 사람들의 위치정보와 행동뿐만 아니라 SNS를 통해 개인의 의견까지 분석하고 예측할 수 있다.
 +
규모가 방대한 만큼, 정치, 문화, 사회, 경제, 과학기술 등 많은 영역에서 인류와 사회에게 필요한 정보들을 제공할 수 있는 가능성을 보여주고 있으며 그 중요성이 부각되고 있다.
 +
세계경제포럼은 2012년 떠오르는 10대 기술 가운데 그 첫 번째를 빅 데이터로 선정<ref> Global Agenda Council on Emerging Technologies, << The top 10 emerging technologies for 2012 >>, World Economic Forum, 2012.Feb 15th </ref> 했으며
 +
대한민국 지식경제부 R&D 전략기획단은 IT 10대 핵심기술 가운데 하나로 빅 데이터를 선정 <ref>"융합스마트시대 IT산업 주도를 위한 잰걸음" , <<지식경제부 보도자료>>, 2012년 4월 5일 </ref> 하는 등 빅 데이터에 전 세계는 주목하고 있다.
 +
 
 +
==등장배경==
 +
컴퓨터와 인터넷, 스마트폰 등 모바일 기기 이용이 보편화되면서 사람들이 남긴 흔적(데이터)은 기하급수적으로 증가하는 중이다.
 +
 
 +
예를 들어 인터넷쇼핑에 대해 생각해보자. 과거에는 옷 가게에서 물건을 살 때만 데이터가 기록되었다. 그러나 인터넷쇼핑의 경우에는 구매하지 않아도 방문자의 기록이 데이터로 저장된다.
 +
 
 +
쇼핑뿐만 아니라 자료검색과 e-mail, 교육과 학습, 은행 증권과 같은 금융거래, 취미생활 등 다양한 활동들이 PC와 인터넷에서 이뤄지고 있다.
 +
자체제작으로 만들어지는 UCC를 비롯한 동영상콘텐츠를 인터넷상에 업로드하고, 영상속의 정보들을 통해 정보를 얻는 것이 일반화 되었다.
 +
 
 +
또, 핸드폰과 SNS(Social Network Service)에서 생성되는 문자나 대화 등은 데이터의 속도가 증가할 뿐만 아니라, 질과 형태에서도 다른 양상을 보이고 있다. 특히 카페, 블로그나 SNS에서 유통되는 텍스트는 내용을 통해 글쓴이의 성향과 감정뿐만 아니라, 소통하는 상대방의 관계까지도 분석할 수 있다.
 +
 
 +
위의 예시들처럼 PC, 인터넷, 스마트폰 등 기기가 생활화 되면서 과거에 비해 축적할 수 있는 데이터의 범위와 양이 증가하게 되고, 이를 찾아볼 수 있는 수단 역시 발달되어 있다 보니 기존의 데이터에 개인의 평가를 비롯한 정보를 추가해 더 광범위한 데이터를 만들 수 있게 되었다.
 +
 
 +
==특징==
 +
빅데이터의 특징은 크게 3V로 설명할 수 있다. 3V란,  데이터의 다양성(variety), 데이터의 속도(Velocity), 데이터의 크기(Volume)를 나타낸다.
 +
 
 +
-데이터 다양성(Variety)은 다양한 형태의 데이터를 포함하는 것을 뜻한다. 정형 데이터뿐만 아니라 사진, 오디오, 비디오, 소셜미디어 데이터, 위치데이터, 로그 파일 등과 같은 비정형 데이터도 포함된다.<ref> 국립중앙과학관 https://smart.science.go.kr/scienceSubject/bigdata/view.action?menuCd=DOM_000000101001013000&subject_sid=1202 </ref>
 +
 
 +
-데이터 속도(Velocity)는 데이터의 실시간 처리를 뜻한다. 이는 데이터가 생성되고, 저장되며, 시각화되는 과정이 얼마나 빠르게 이뤄져야 하는지에 대한 중요성을 나타낸다.<ref> 국립중앙과학관 https://smart.science.go.kr/scienceSubject/bigdata/view.action?menuCd=DOM_000000101001013000&subject_sid=1202 </ref>
 +
 
 +
-데이터 크기(Volume)는 단순하게 저장되는 물리적 데이터양을 나타내며 빅데이터의 가장 기본적인 특징이다.<ref> 국립중앙과학관 https://smart.science.go.kr/scienceSubject/bigdata/view.action?menuCd=DOM_000000101001013000&subject_sid=1202 </ref>
 +
 
 +
 
 +
 
  
−
빅데이터는 기존의 [[오라클 (제품)|오라클]](Oracle) 등 관계형 데이터베이스 관리 시스템(RDBMS)으로는 분석이 어려워, [[하둡]](Hadoop)이나 [[노에스큐엘]](NoSQL) 계열의 [[몽고디비]](MongoDB), [[에이치베이스]](HBase), [[카산드라]](Cassandra) 등을 사용하여 분석한다. 빅데이터 분석 솔루션에는 [[스플렁크]](Splunk) 등이 있다.
 
  
−
== 특징 ==
 
−
* 비정형의 다양한 데이터
 
−
* 문자 데이터(SMS, 검색어)
 
−
* 영상 데이터(CCTV, 동영상)
 
−
* 위치 데이터
 
−
* 클라우드 컴퓨팅 등 비용 효율적인 장비 활용 가능
 
−
* [[오픈 소스]] 형태의 무료 소프트웨어
 
−
* [[하둡]](Hadoop), [[노에스큐엘]](NoSQL)
 
−
* 오픈 소스 통계 솔루션(R)
 
−
* 텍스트 마이닝(text mining)
 
−
* 온라인 버즈 분석(opinion mining)
 
−
* 감성 분석(sentiment analysis)
 
  
 
== 같이 보기 ==
 
== 같이 보기 ==

2018년 9월 5일 (수) 14:23 판

정의

빅데이터(big data)란 기존 데이터에 비해 너무 방대해 이전 방법이나 도구로 수집, 저장, 검색, 분석, 시각화 등이 어려운 정형 또는 비정형 데이터 세트를 의미하며 [1] 그 데이터로부터 가치를 추출하고 결과를 분석하는 기술 [2] 이다.

빅 데이터는 과거에 비해 데이터의 양이 증폭했다는 점과 함께 종류도 다양해져서 사람들의 위치정보와 행동뿐만 아니라 SNS를 통해 개인의 의견까지 분석하고 예측할 수 있다. 규모가 방대한 만큼, 정치, 문화, 사회, 경제, 과학기술 등 많은 영역에서 인류와 사회에게 필요한 정보들을 제공할 수 있는 가능성을 보여주고 있으며 그 중요성이 부각되고 있다. 세계경제포럼은 2012년 떠오르는 10대 기술 가운데 그 첫 번째를 빅 데이터로 선정[3] 했으며 대한민국 지식경제부 R&D 전략기획단은 IT 10대 핵심기술 가운데 하나로 빅 데이터를 선정 [4] 하는 등 빅 데이터에 전 세계는 주목하고 있다.

등장배경

컴퓨터와 인터넷, 스마트폰 등 모바일 기기 이용이 보편화되면서 사람들이 남긴 흔적(데이터)은 기하급수적으로 증가하는 중이다.

예를 들어 인터넷쇼핑에 대해 생각해보자. 과거에는 옷 가게에서 물건을 살 때만 데이터가 기록되었다. 그러나 인터넷쇼핑의 경우에는 구매하지 않아도 방문자의 기록이 데이터로 저장된다.

쇼핑뿐만 아니라 자료검색과 e-mail, 교육과 학습, 은행 증권과 같은 금융거래, 취미생활 등 다양한 활동들이 PC와 인터넷에서 이뤄지고 있다. 자체제작으로 만들어지는 UCC를 비롯한 동영상콘텐츠를 인터넷상에 업로드하고, 영상속의 정보들을 통해 정보를 얻는 것이 일반화 되었다.

또, 핸드폰과 SNS(Social Network Service)에서 생성되는 문자나 대화 등은 데이터의 속도가 증가할 뿐만 아니라, 질과 형태에서도 다른 양상을 보이고 있다. 특히 카페, 블로그나 SNS에서 유통되는 텍스트는 내용을 통해 글쓴이의 성향과 감정뿐만 아니라, 소통하는 상대방의 관계까지도 분석할 수 있다.

위의 예시들처럼 PC, 인터넷, 스마트폰 등 기기가 생활화 되면서 과거에 비해 축적할 수 있는 데이터의 범위와 양이 증가하게 되고, 이를 찾아볼 수 있는 수단 역시 발달되어 있다 보니 기존의 데이터에 개인의 평가를 비롯한 정보를 추가해 더 광범위한 데이터를 만들 수 있게 되었다.

특징

빅데이터의 특징은 크게 3V로 설명할 수 있다. 3V란, 데이터의 다양성(variety), 데이터의 속도(Velocity), 데이터의 크기(Volume)를 나타낸다.

-데이터 다양성(Variety)은 다양한 형태의 데이터를 포함하는 것을 뜻한다. 정형 데이터뿐만 아니라 사진, 오디오, 비디오, 소셜미디어 데이터, 위치데이터, 로그 파일 등과 같은 비정형 데이터도 포함된다.[5]

-데이터 속도(Velocity)는 데이터의 실시간 처리를 뜻한다. 이는 데이터가 생성되고, 저장되며, 시각화되는 과정이 얼마나 빠르게 이뤄져야 하는지에 대한 중요성을 나타낸다.[6]

-데이터 크기(Volume)는 단순하게 저장되는 물리적 데이터양을 나타내며 빅데이터의 가장 기본적인 특징이다.[7]




같이 보기

  • ↑ 네이버 국어사전 https://ko.dict.naver.com/search.nhn?query=%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0&kind=all
  • ↑ John Gantz & David Reinsel, << Extracting Value from Chaos >>, IDC IVIEW , 2011년 6월
  • ↑ Global Agenda Council on Emerging Technologies, << The top 10 emerging technologies for 2012 >>, World Economic Forum, 2012.Feb 15th
  • ↑ "융합스마트시대 IT산업 주도를 위한 잰걸음" , <<지식경제부 보도자료>>, 2012년 4월 5일
  • ↑ 국립중앙과학관 https://smart.science.go.kr/scienceSubject/bigdata/view.action?menuCd=DOM_000000101001013000&subject_sid=1202
  • ↑ 국립중앙과학관 https://smart.science.go.kr/scienceSubject/bigdata/view.action?menuCd=DOM_000000101001013000&subject_sid=1202
  • ↑ 국립중앙과학관 https://smart.science.go.kr/scienceSubject/bigdata/view.action?menuCd=DOM_000000101001013000&subject_sid=1202
    • 원본 주소 "http://wiki1.kr/index.php?title=빅데이터&oldid=10806"