해시넷
하둡 편집하기
편집을 되돌릴 수 있습니다.
이 편집을 되돌리려면 아래의 바뀐 내용을 확인한 후 저장해주세요.
| 최신판 | 당신의 편집 | ||
| 20번째 줄: | 20번째 줄: | ||
*2012년 : 하둡v2 | *2012년 : 하둡v2 | ||
*2017년 : 하둡v3 | *2017년 : 하둡v3 | ||
| − | === | + | ===하둡v1의 특징=== |
*분산저장(HDFS) | *분산저장(HDFS) | ||
*네임노드, 데이터 노드가 처리 | *네임노드, 데이터 노드가 처리 | ||
| 28번째 줄: | 28번째 줄: | ||
*작업 처리를 슬롯(slot) 단위로 처리 | *작업 처리를 슬롯(slot) 단위로 처리 | ||
*맵, 리듀스 슬롯을 구분하여 처리 | *맵, 리듀스 슬롯을 구분하여 처리 | ||
| − | === | + | ===하둡v2의 특징=== |
*클러스터 관리 | *클러스터 관리 | ||
*작업 관리 | *작업 관리 | ||
| 34번째 줄: | 34번째 줄: | ||
*클러스터당 1만개 이상의 노드 등록 가능 | *클러스터당 1만개 이상의 노드 등록 가능 | ||
*작업 처리를 컨테이너(container) 단위로 처리 | *작업 처리를 컨테이너(container) 단위로 처리 | ||
| − | === | + | ===하둡v3의 특징=== |
*이레이져 코딩 도입 | *이레이져 코딩 도입 | ||
*YARN 타입라인 서비스 v2 도입 | *YARN 타입라인 서비스 v2 도입 | ||
| 41번째 줄: | 41번째 줄: | ||
*네이티브 코드 최적화 | *네이티브 코드 최적화 | ||
*고가용성을 위해 2개 이상의 네임노드 지원 <ref name="하둡"> 위키독스 공식 홈페이지 - https://wikidocs.net/ </ref> | *고가용성을 위해 2개 이상의 네임노드 지원 <ref name="하둡"> 위키독스 공식 홈페이지 - https://wikidocs.net/ </ref> | ||
| − | |||
==특징== | ==특징== | ||
하둡은 빅데이터 분산시키는 프로그램이기 때문에 각각의 빅데이터 플랫폼에서 좋은 혹평을 듣고 있다. 단일서버에서 많은 머신으로 확장할 수 있게 제작되었으며 각 머신은 계산, 정리 등 할 수 있다. 하둡 자체에는 높은 가용성을 제공하기 위해 하드웨어만 쓰는게 아니라 여러 응용프로그램 계층도 사용할 수 있다.응용프로그램 계층은 오류를 감지하거나 처리를 할 수 있고, 에러가 발생한 클러스터는 해결방안을 제시한다. 또, 일반적인 스토리지는 초기에 애플리케이션에서 사용할 용량을 예측하여 미리 스토리지 용량을 확보한 상태에서 시스템이 오픈되나, 하둡 파일 시스템을 이용할 경우에는 서비스 초기에 필요한 수준으로만 스토리지 용량을 확보해 시스템을 오픈한 후 스토리지 증가 추이를 보면서 용량을 추가하는 방식으로 진행 할 수 있다. (기존의 방법보다 관리가 용이함) | 하둡은 빅데이터 분산시키는 프로그램이기 때문에 각각의 빅데이터 플랫폼에서 좋은 혹평을 듣고 있다. 단일서버에서 많은 머신으로 확장할 수 있게 제작되었으며 각 머신은 계산, 정리 등 할 수 있다. 하둡 자체에는 높은 가용성을 제공하기 위해 하드웨어만 쓰는게 아니라 여러 응용프로그램 계층도 사용할 수 있다.응용프로그램 계층은 오류를 감지하거나 처리를 할 수 있고, 에러가 발생한 클러스터는 해결방안을 제시한다. 또, 일반적인 스토리지는 초기에 애플리케이션에서 사용할 용량을 예측하여 미리 스토리지 용량을 확보한 상태에서 시스템이 오픈되나, 하둡 파일 시스템을 이용할 경우에는 서비스 초기에 필요한 수준으로만 스토리지 용량을 확보해 시스템을 오픈한 후 스토리지 증가 추이를 보면서 용량을 추가하는 방식으로 진행 할 수 있다. (기존의 방법보다 관리가 용이함) | ||
