샤딩

샤딩(sharding)이란 하나의 거대한 데이터베이스나 네트워크 시스템을 여러 개의 작은 조각으로 나누어 분산 저장하여 관리하는 것을 말한다.

개요

샤딩은 전체 네트워크를 분할한 뒤 트랜잭션을 영역별로 저장하고 이를 병렬적으로 처리하여 블록체인에 확장성을 부여하는 On-Chain 솔루션 으로 데이터를 샤드라는 단위로 나눠서 저장 및 처리 하며 샤딩 개념의 근원은 데이터베이스 샤딩에 있고, 데이터베이스 샤딩이란 대용량의 데이터를 처리하기 위해 테이블을 수평 분할하여 데이터를 분산 저장하고 처리하는 것이다.

등장배경

샤딩은 블록체인 시스템의 확장성(scalability) 문제를 해결하기 위한 방법 중 하나이다. 확장성은 시간이 지남에 따라 생겨나는 변화를 받아들이는 능력이다. 시간이 지남에 따라 블록체인 기반 서비스는 대체로 사용자 수가 증가하기 때문에, 확장성 문제란 결국 더 많은 사용자들이 만들어내는 트랜잭션을 블록체인 시스템으로 처리할 수 있는 능력의 문제이다. 대개 블록체인의 확장성 지표로 TPS를 사용한다. TPS는 Transaction per Second의 약자로서 1초당 처리할 수 있는 트랜잭션의 개수를 나타내는 단위이다. 기존 비트코인과 이더리움의 경우 확장성 문제가 심각하여, TPS를 획기적으로 증가시키기 위한 다양한 방법이 고안되고 있는데, 그 중 대표적인 것이 샤딩이다. 샤딩은 플라즈마, 라이덴 네트워크 등과 마찬가지로 확장성 문제를 해결하기 위해 제안된 솔루션이고, 플라즈마, 라이덴 네트워크는 Off-chain 솔루션인 반면 샤딩은 On-chain 솔루션 이며, On-chain 솔루션이란 메인체인 자체의 프로토콜을 변경시켜서 메인체인의 성능을 향상시키는 방법을 말한다. On-chain 솔루션을 적용하기 위해서는 메인 네트워크의 하드 포크가 필수적 으로 Off-chain 솔루션이 메인체인 바깥에 다른 시스템을 추가하여 해결하기 때문에 하드 포크가 필요없는 것과 대비 되는데 확장성 문제 솔루션 중 하나로, 이더리움이 PoS (Proof of Stake) 합의 알고리즘으로 전환할 것을 기반으로 설계되었다.

특징

• 주요 용어

Collation : 샤드 체인에서 메인 체인의 블록과 같은 역할을 하며, 크게 collation header와 트랜잭션 목록으로 구성된다.

Collation header : collation을 구성하는 정보를 담고있으며, proposer의 sign을 거쳐 메인 체인에 제출 하고, 트랜잭션 목록은 collation에 담긴 트랜잭션들의 목록이다.

Proposer : 제안자라는 뜻으로 트랜잭션들을 모아 proposal을 만들고 collator에게 제출 하며, Proposal은 검증되지 않은 collation이다.

Collator : Proposer가 제출한 proposal을 검증한다. period 마다 한 샤드에는 여러 collator들이 배정되는데 이들은 해당 period에 진입하기 일정 기간 이전에 무작위로 선정 된다.

Executor : Collation header를 메인체인의 SMC (Sharding Manager Contract) 에 전달 하고, 샤드 체인의 실제 state가 변경된다. (Executor는 샤딩 phase 3에 등장)

Period : 메인 체인에서 샤드 체인의 collation header를 제출 받는 주기 이며, 단위는 메인 체인에서의 블록의 개수로 PERIOD_LENGTH = 5 라면 5개의 블록이 생성되는 것이 1 period이다.

Lookahead period : Collator는 샤드체인에서 collation을 검증하기 이전에 SMC에 의해 의해 pseudo-random하게 배정 되는데, 'lookahead period'는 collator가 몇 period에 앞서서 어떤 샤드 체인에 배정되는지를 나타 내고, LOOKAHEAD_PERIODS = 4이면 4 period 이전에 collator는 샤드 체인에 배정되므로 Collator는 사전에 자신이 배정된 샤드 체인의 state 정보를 다운받는 시간을 확보할 수 있다.

Sharding Manager Contract (SMC) : SMC는 샤드체인에서 가장 중요한 역할을하는 스마트 컨트랙트 로 SMC는 메인 체인과 샤드 체인을 연결하며, collator, proposer, collation tree를 관리 하며, 샤드체인이 메인체인에 참여하기 위해서는 SMC의 역할이 필수적이다.

• 샤딩 체인 동작방식

1. proposer가 되고 싶은 네트워크 참여자는 SMC를 통해 balance를 예치 한다.
2. collator가 되고 싶은 네트워크 참여자는 SMC를 통해 deposit을 예치 한다.
3. Collator들은 주기적으로 SMC status를 확인해서, 자신이 collator에 선정되었는지 여부를 확인 한다.
4. Collator들은 SMC에 의해 각 샤드체인에 pseudo-random하게 배정 되고, lookahead period 동안에 해당 샤드의 이전 기록들(state)을 다운받으면 선택된 proposal을 제안한 proposer로부터 proposal bid를 받는다.
5. Proposer는 트랜잭션을 담은 proposal을 collator에게 제출 하는데, proposal은 아직 검증되지 않은 collation을 의미 하며, 선택된 proposal을 제출한 proposer는 트랜잭션 발송자로부터 트랜잭션 fee를 받는다.
6. Collator들은 해당 proposal에 속한 트랜잭션들이 valid한지를 검증하는 투표를 한다.
7. 표에서 2/3 이상의 collator들이 proposal에 포함된 트랜잭션이 valid 하다고 찬성할 경우, 해당 proposal은 유효한 collation이 된다.

종류

• 데이터베이스 샤딩(database sharding) : 하나의 거대한 데이터베이스 테이블을 수평 분할(horizontal partitioning)하여 여러 개의 작은 단위로 나눈 후, 물리적으로 다른 위치에 분산하여 저장·관리하는 기술이다. 이 때 수평 분할된 1개의 작은 테이블을 샤드(shard)라고 한다.
• 네트워크 샤딩(network sharding) : 블록체인 기반 암호화폐를 채굴하기 위한 네트워크를 샤드(shard)라는 작은 노드 그룹으로 나누어 관리하는 기술이다.

활용

싱가포르의 신슈 동이 개발한 암호화폐인 질리카(Zilliqa)는 샤딩 기술을 활용함으로써 트랜잭션 처리 속도를 획기적으로 향상시켰다. 질리카의 샤딩 기술은 네트워크 샤딩(network sharding), 트랜잭션 샤딩(transaction sharding), 연산 샤딩(computational sharding)과 같은 다양한 형태로 구성되어 있다. 그 중 가장 중요한 건 네트워크 샤딩인데, 네트워크 샤딩은 질리카 채굴 네트워크를 샤드(shard)라는 작은 노드 그룹으로 나눌 수 있는 메커니즘이다. 이 네트워크 샤딩은 질리카를 확장시킬 수 있는 도구로서, 이 샤딩을 활용하게 되면 초당 수천 건의 트랜잭션 처리가 가능해진다.

참고자료

• "Shard (database architecture)", Wikipedia
• sobly tv, 〈샤딩이란? 쉽게 이해해보자〉, 《미디엄》, 2018-09-03
• 고란 기자, 〈성공한 플랫폼은 보이지 않는다〉, 《중앙일보》, 2018-10-17
• 핵심만 콕콕! 암호화폐 분석, 〈이더리움의 샤딩(Sharding) 기술은 무엇인가? 이더리움의 진화〉, 《블록센스》, 2018-06-30
• 오세진, 〈블록체인 확장성 솔루션 시리즈 4–1 :: Sharding 샤딩〉, 《medium》, 2018-06-08

같이 보기

• 질리카

이 샤딩 문서는 블록체인 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

블록체인 : 블록체인 기술 □■⊕, 합의 알고리즘, 암호 알고리즘, 알고리즘, 블록체인 플랫폼, 블록체인 솔루션, 블록체인 서비스 블록체인 기술 Bech32 • BTP • DRC-20 • EIP • IPFS • KRC-20 • NFT 마켓플레이스 • P2P • P2PKH • P2SH • PFP • PUF • SPV • TPS • TRC-20 • UTXO • 가나슈 • 가명성 • 가스 • 가십 • 가십 프로토콜 • 개념증명(PoC) • 검증가능지연함수(VDF) • 게스 • 고스트 프로토콜 • 공공예산 • 글로벌신뢰인공지능 • 대체가능토큰 • 대체불가토큰(NFT) • 도지더리움 브릿지 • 디지털 자산 • 디지털 희소성 • 라운드 • 라운드 로빈 • 라이트하우스 • 랜덤 • 레그테크 • 레이든 • 리카르디안 계약 • 린스타트업 • 마스터키 • 마스트 • 메인넷 • 멜팅 • 믹싱 • 민팅 • 밈블윔블 • 반감기 • 베타넷 • 변경불가성 • 브릿지 • 블록체인 생태계 • 블록체인 클라우드 서비스(BaaS) • 블룸필터 • 비블록체인 • 비앱 • 비콘체인 • 비트코인코어 • 빤통경제 • 수정 고스트 프로토콜 • 스냅샷 • 스마트 계약 • 스마트 브리지 • 스웜프로토콜 • 스크립트퍼브키 • 스테이킹 • 스텔스 주소 • 스핀오프코인 • 슬래싱 • 시크릿 컨트랙트 • 심플 컨트랙트 • 아토믹스왑 • 암호경제(크립토 이코노미) • 앤드어스체인인공지능 • 앵커링 • 언스테이킹 • 에어드랍 • 에폭 • 오프체인 오더락 • 오피리턴 • 옵코드 • 원토큰 문제 • 웨이 • 위스퍼 프로토콜 • 위임 • 유니스왑 • 유동성 • 이더리움 가상머신(EVM) • 이더리움 클라이언트 • 이중지불 • 익명성 • 인증된 익명 아이디 • 인터레저 프로토콜(ILP) • 자산화 • 잠금 스크립트 • 최소기능제품(MVP) • 컨소시엄 블록체인 • 컬러드코인 • 코인셔플 • 코인소각 • 코인에이지 • 코인조인 • 코인토싱 • 크립토노트 • 키스토어 • 타임락 • 테스트넷 • 토다 • 토큰 이코노미 • 토큰화 • 튜링완전 • 튜링불완전 • 트랜잭션 아이디(TxID) • 트러스트 컨트랙트 • 트루빗 • 트릴레마 • 파워 • 파티셔닝 • 퍼블릭 블록체인 • 페널티 • 프라이버시 • 프라이빗 블록체인 • 플랫폼 • 플러딩 • 피어 • 피투피(P2P) • 하이브리드 블록체인 • 합의 • 해시락 • 해시타임락(HTLC) • 해제 스크립트 • 확장성 해시 레인보우 테이블 • 매핑 • 머클경로 • 머클루트 • 머클트리 • 분산해시테이블(DHT) • 블록해시 • 스큐드 머클트리 • 온라인툴즈 • 이전블록해시 • 카뎀리아 • 해시 • 해시레이트 • 해시맵 • 해시충돌 • 해시테이블 • 해시파워 • 해시함수 • 해싱 블록 고아블록 • 그래핀 • 논스 • 마이크로블록 • 베이킹 • 북키퍼 • 브랜치블록 • 브로드캐스팅 • 블록 • 블록높이 • 블록바디 • 블록생성자 • 블록정보 • 블록타임 • 블록헤더 • 비츠 • 세그윗 • 엉클블록 • 완결성 • 제네시스블록 • 타임스탬프 • 프룻 • 프룻체인 체인 더블체인 • 라이트닝 네트워크 • 라이트닝 루프 • 루트체인 • 루프체인 • 메인체인 • 방향성 비순환 그래프(DAG) • 베리파이어블 프루닝 • 블록격자 • 블록체인 • 사용자 활성화 소프트포크(UASF) • 사용자 활성화 하드포크(UAHF) • 사이드체인 • 서브체인 • 소프트포크 • 오페라체인 • 오프체인 • 온체인 • 인터체인 • 차일드체인 • 체인 • 탱글 • 테스트체인 • 토카막 네트워크 • 포크 • 포크체인 • 퓨어체인 • 프로덕트체인 • 프루닝 • 프리포크 • 플라즈마 알고리즘 • 플라즈마캐시 • 플래시 계층 • 하드포크 • 해시그래프 • 홀로체인 노드 검증인(밸리데이터) • 기본노드 • 노드 • 라이트노드 • 랜덤노드 • 마스터노드 • 베이킹노드 • 보조노드 • 보증노드 • 슈퍼노드(슈퍼대표, 대표노드) • 슬롯 • 슬롯리더 • 엔드포인트노드(레인저노드) • 의회 네트워크 • 작업노드 • 종단노드 • 종자노드(시드노드) • 중계노드 • 지갑노드 • 채굴노드(마이닝노드) • 쿼럼 • 풀노드 • 합의노드 샤딩 네트워크 샤딩 • 데이터베이스 샤딩 • 동적샤딩 • 샤드 • 샤딩 • 스테이트 샤딩 • 알고리즘 샤딩 • 적응형 상태 샤딩 • 체인샤딩 • 트랜잭션 샤딩 채굴 병합채굴 • 사전채굴 • 에이식(ASIC) • 에이식부스트 • 에이식 저항 • 일드파밍 • 채굴 • 채굴 난이도 • 채굴량 • 탄소감축채굴 • 페어런치 탈중앙화 TVL • 거버넌스 • 게임파이 • 다오(DAO) • 다이코(DAICO) • 닥(DAC) • 닥스(DAX) • 덱스(DEX) • 디앱(DApp) • 디지오(DGO) • 디튜브 • 디파이(DeFi) • 분산경제 • 분산원장(DLT) • 분산 클라우드 • 소셜파이 • 씨파이(C-Fi) • 오프체인 거버넌스 • 온체인 거버넌스 • 원장 • 준중앙화 • 중앙화 • 탈중앙화 • 탈중앙화 TPS • 탈중앙화 조직(DO) • 탈중앙화 지수(DQ) 분산아이디 DIDs • IETF • ToIP • 검증가능한 자격증명 • 검증인 • 디지털아이덴티티재단 • 발급자 • 보유자 • 분산아이디(DID) • 분산아이디 기관 • 분산아이디 인증(DID Auth) • 아이온 • 자기주권 • 자기주권신원 • 최소화된 자격증명 데이터 • 탈중앙화 키관리시스템 • 통합해석기 오라클 상호인증 블록체인 • 오라클 • 오라클 머신 • 오라클 문제 • 오라클 서비스 • 중간자 BIP BIP • BIP9 • BIP16 • BIP32 • BIP39 • BIP43 • BIP44 • BIP47 • BIP49 • BIP63 • BIP70 • BIP84 • BIP141 • BIP148 ERC ERC • ERC-20 • ERC-165 • ERC-223 • ERC-621 • ERC-721 • ERC-777 • ERC-827 • ERC-884 • ERC-998 • ERC-1155 • ERC-1404 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반