동적샤딩

동적샤딩(Dynamic sharding) 구조

동적샤딩(Dynamic sharding)

특징

네이밍(Naming) 그대로 동적으로 바꿀수 있는데, 로케이터 서비스를 통해 샤드 키를 얻는다. 클러스터에 노드가 증가하거나 감소해도 로케이터 스비스에 샤드 키만 추가하면 되며, 기존 데이터의 샤드 키 변경은 없기 때문에 확장에 유연한 구조이다. 데이터를 재배치하게 되면 로케이터 서비스의 샤드 키 테이블도 일치시켜줘야 한다. 로케이터가 성능을 위해 캐시(Cache)하거나 복제(Replication)를 하면 잘못된 라우팅을 통해 데이터를 찾지 못하고 에러가 발생한다. 로케이터에 의존할 수 밖에 없는 단점이 있다. 키 값(Key-Value)이 아닌 다양한 객체들로 구성되는 경우도 있다. 관계형 데이터베이스 관리 시스템(RDBMS)의 조인(join), 인덱스(index), 트랜잭션을 사용함으로써 어플리케이션의 복잡도를 줄일수 있다. 이와 유사한 방법으로 샤딩하는 방법이 엔티티 그룹(Entity Group)이다. 하나의 물리적인 샤드에 쿼리를 진행한다면 효율적이며, 하나의 샤드에서 강한 응집도를 가질 수 있어 데이터는 자연스럽게 사용자별로 분리되어 저장되고, 사용자가 늘어남에 따라 확장성이 좋은 파티셔닝이다. 반대로 크로스 파티션 쿼리는 단일 파티션 쿼리보다 일관성의 보장과 성능을 보장하지 않는다. 그렇기 때문에 이런 쿼리들이 자주 실행하지 않도록 만들어야 한다.

• 장점

1. 네이밍 그대로 동적으로 바꿀수 있다.
2. 로케이터 서비스를 통해 샤드키를 얻는다.
3. 클러스터가 포함하는 노드 개수를 늘리면, 로케스터 서비스에 샤드 키를 추가만하고, 기존의 데이터 샤드키는 변경이 없으며, 확장에 유연한 구조이다.
4. Example : HDFS - Name Node, MongoDB - ConfigServer

• 단점

1. 데이터를 재배치 하게 되면, 로케이터 서비스의 샤드키 테이블도 일치시켜줘야 한다.
2. 로케이터가 성능을 위해 캐시 하거나 재배치를 하면, 잘못된 라우팅을 통해 데이터를 찾지 못하고 에러가 발생하며, 로케이터에 의존할 수 밖에 없다.

• 동적샤드 등록

동적 샤드 등록에서 샤드는 추적 프로세스의 일부로 등록되어 인덱스를 형성하므로 솔러(Solr)노드에서 수동 샤드 분배 패턴을 따를 필요가 없다. 수동샤딩과 달리 동적샤딩에는 샤드 및 인스턴스를 알려진 호스트 집합에 올바르게 분산시킬 필요가 없다. 퀴리는 탄력적이며, 인스턴스에 대해 구성 가능한 지연이 발생한다. 수동샤딩의 경우 모든 인스턴스는 예상 URL의 예상 URK에서 사용 가능해야 한다. 동적 샤드 등록은 샤드마다 다른 수의 인스턴스를 허용하지만 수동샤딩은 그렇지 않다. 동적 샤딩을 사용하려면 alfresco-global.properties 파일에서 다음 특성을 설정한다.

solr . useDynamicShardRegistration = true

그런다음 속성은 퀴리에 선택된 인스턴스를 제어한다.

search . solrShardRegistry . purgeOnInit = true를 
search . solrShardRegistry . shardInstanceTimeoutInSeconds = 300 
search . solrShardRegistry . maxAllowedReplicaTxCountDifference = 1000

속 성	기 술	예
search.solrShardRegistry. purgeOnInit	사실인 경우이 특성은 서브 시스템이 시작될 때 데이터베이스에서 지속된 샤드 상태를 제거한다.	사실
search.solrShardRegistry. shardInstanceTimeoutInSeconds	이 시간내에 샤드가 추적 요청을 하지 않으면 쿼리에 사용되지 않도록 지정한다. 큰 변경 세트를 추적하거나 색인을 다시 빌드 할 때 샤드 제한 시간을 늘린다. 예를들어 이 속성 값을 3200 또는 7200초로 변경한다.	300초
search.solrShardRegistry. maxAllowedReplicaTxCountDifference	샤드가 선행 인스턴스 뒤의 이 트랜잭션 수보다 많은 경우 사용되지 않도록 지정한다.	1000건의 거래

상점에 대해 둘 이상의 인덱스가 있는 경우 최신 인덱스, 대부분의 트랜잭션을 인덱스 한 인덱스가 사용된다. 각 샤드에 대해 인스턴스는 적극적으로 추적하고 리드 인스턴스의 1000개 트랜잭션 내에있는 모든 샤드에서 임의로 선택된다. 샤드는 다음과 같은 경우에 동일한 색인의 일부로 간주된다.

1. 같은 매장을 추적
2. 동일한 템플릿을 사용하므로 솔러 스키마
3. 샤드 수가 동일하다.
4. 필요한 경우에 도일한 구성으로 동일한 파티션 방법을 사용한다.
5. 콘텐츠를 변형 하거나 무시하는 동일한 설정

http : // localhost : 8080 / solr4 / admin / cores? action = newCore & storeRef = workspace : // SpacesStore & numShards = 10 & 
numNodes = 1 & nodeInstance = 1 & property . data . dir . root = < ALFRESCO_HOME > / solr4 / workspace - SpacesStore & shardIds = 0 , 1 , 2 , 3 , 4

동적샤딩에서 수동샤딩과 동일한 API를 사용하여 샤드를 만들거나 필요한 샤드를 쉼표로 구분된 목록으로 나열할 수 있다. 샤드 ID. 사용 가능한 모든 인덱스, 샤드 및 인스턴스의 상태는 JMX를 클라이언트를 사용하여 찾을 수 있다. 동적샤딩은 현재 부분 인덱스를 사용하여 쿼리에 응답하고, 예를들어 샤드1과 샤드2의 두 샤드가 있는데 샤드2에 대한 인스턴스가 없으면 쿼리는 샤드1만 사용한다.

활용

로커스체인

로커스체인(Locus Chain)

로커스체인(Locus Chain)은 샤드 수 만큼 네트워크 사용량과 스토리지 사용량을 나누고, 고유의 알고리즘으로 샤드 간 균형을 지속적으로 유지하는 동적 샤딩이다. 계정 단위로 샤드를 재배치하여 샤드의 수와 사이즈, 밸리데이터 비율 등을 조절하는 동적 샤딩으로, 동적 샤딩은 로커스체인이 어카운트 별 트랜잭션 체인을 갖는 AWTC 원장 구조이기 때문에 보다 용이하게 구현이 가능하여, 애초에 샤딩을 실현하기 위해 채택한 구조이다. 로커스체인은 모든 사용자가 모바일과 같은 작은 기기로도 네트워크에 노드로 참여하고, 그로 인해 높은 탈중앙화를 이룰 수 있도록 노드가 부담해야 하는 자원요구량 네트워크 대역폭 소모, 원장 용량 차지을 최소한으로 낮추고자 다이나믹 샤딩을 적용했다. 이중 네트워크 샤딩은 네트워크를 여러 샤드로 나눠 같은 샤드에 속한 노드들끼리 메시지를 주고 받도록 하는 것인데, 메시지를 주고 받아야 하는 영역 자체가 쪼개진 셈으로 이때 샤드를 나누는 기준은 물리적 거리가 아니며, 물리적 거리로 하면 보안에 치명적인 문제가 발생하기 때문이다. 그리고 필요 시 서로 다른 샤드끼리 메시지를 주고 받을 수 있는 인터샤드 트랙잭션도 가능하며, 추가적으로 데이터베이스 샤딩도 들어간다. 하지만 원장 사이즈 문제는 처음에 말한대로 원래의 도입 취지를 베리파이어블 프루닝으로 거의 다 해결할 수 있게 되어서 보조적으로 쓰인다고 표현한다. 로커스체인은 샤드수만큼 네트워크 사용량과 스토리지 사용량을 나누고, 고유의 알고리즘으로 샤드간 균형을 유지하는 동적샤딩으로 계정단위로 샤드를 재배치하여 샤드의 수와 사이즈, 밸리데이터 비율 등을 조절하는 동적 샤딩인데, 이것은 로커스체인이 어카운트별 트랜잭션 체인을 갖는 AWTC 원장구조이기 때문에 용이한 방식이다.

로커스체인의 동적샤딩 기술은 노드가 부담해야 하는 네트워크 부하를 샤드 수만큼 나누고 네트워크 전체의 트랜잭션 처리량을 샤드 수만큼 늘리면서 알고리즘으로 샤드를 재배치하여 서로간의 균형을 유지하는 기술이다. 각 샤드는 독립적으로 BFT합의알고리즘을 수행하고, 한 어카운트는 한번에 하나의 샤드에서만 처리되는 방식이기 때문에 노드의 네트워크 사용량은 줄어들고 트랜잭션 처리량은 노드 숫자가 늘어날수록 이에 비례하여 늘어난다. 또한 로커스체인은 원장 구조가 어카운트 별(AWTC: Account-wise Transaction Chain)로 되어 있어 샤드간 불균형이 일어났을 경우 계정 단위로 샤드를 재배치하여 샤드의 수와 사이즈, 밸리데이터 비율 등을 조절하는 것이 용이하다. 여기에 추가적으로 원장을 쪼개는 스테이트 샤딩을 더해 스토리지 사용량 역시 샤드 수만큼 나눌 계획이라고 한다. 로커스체인은 DAG상에서 BFT합의알고리즘을 구현해냈기 때문에 일반 샤딩이 가졌던 문제점을 해결했다고 주장한다.

참고자료

• 알프레스코 공식 홈페이지 - https://docs.alfresco.com/5.1/concepts/dynamic-sharding.html
• 처음처럼, 〈타블록체인 샤딩과 로커스체인의 다이나믹샤딩의 차이?〉, 《코박》, 2019-05-01
• RASTA LION, 〈샤드와 샤딩 (Shard and Sharding)〉, 《개인블로그》, 2019-08-27
• 여용준, <로커스체인, 세계 최초 'DAG-BFT 확정합의 알고리즘' 블록체인 기술 구현 성공>, 《이뉴스투데이》, 2019-02-21
• nesoy, 〈Database의 샤딩(Sharding)이란?〉, 《개인블로그》, 2018-05-30

같이 보기

• 샤드
• 샤딩
• 알고리즘샤딩
• 데이터베이스 샤딩

이 동적샤딩 문서는 블록체인 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

블록체인 : 블록체인 기술 □■⊕, 합의 알고리즘, 암호 알고리즘, 알고리즘, 블록체인 플랫폼, 블록체인 솔루션, 블록체인 서비스 블록체인 기술 Bech32 • BTP • DRC-20 • EIP • IPFS • KRC-20 • NFT 마켓플레이스 • P2P • P2PKH • P2SH • PFP • PUF • SPV • TPS • TRC-20 • UTXO • 가나슈 • 가명성 • 가스 • 가십 • 가십 프로토콜 • 개념증명(PoC) • 검증가능지연함수(VDF) • 게스 • 고스트 프로토콜 • 공공예산 • 글로벌신뢰인공지능 • 대체가능토큰 • 대체불가토큰(NFT) • 도지더리움 브릿지 • 디지털 자산 • 디지털 희소성 • 라운드 • 라운드 로빈 • 라이트하우스 • 랜덤 • 레그테크 • 레이든 • 리카르디안 계약 • 린스타트업 • 마스터키 • 마스트 • 메인넷 • 멜팅 • 믹싱 • 민팅 • 밈블윔블 • 반감기 • 베타넷 • 변경불가성 • 브릿지 • 블록체인 생태계 • 블록체인 클라우드 서비스(BaaS) • 블룸필터 • 비블록체인 • 비앱 • 비콘체인 • 비트코인코어 • 빤통경제 • 수정 고스트 프로토콜 • 스냅샷 • 스마트 계약 • 스마트 브리지 • 스웜프로토콜 • 스크립트퍼브키 • 스테이킹 • 스텔스 주소 • 스핀오프코인 • 슬래싱 • 시크릿 컨트랙트 • 심플 컨트랙트 • 아토믹스왑 • 암호경제(크립토 이코노미) • 앤드어스체인인공지능 • 앵커링 • 언스테이킹 • 에어드랍 • 에폭 • 오프체인 오더락 • 오피리턴 • 옵코드 • 원토큰 문제 • 웨이 • 위스퍼 프로토콜 • 위임 • 유니스왑 • 유동성 • 이더리움 가상머신(EVM) • 이더리움 클라이언트 • 이중지불 • 익명성 • 인증된 익명 아이디 • 인터레저 프로토콜(ILP) • 자산화 • 잠금 스크립트 • 최소기능제품(MVP) • 컨소시엄 블록체인 • 컬러드코인 • 코인셔플 • 코인소각 • 코인에이지 • 코인조인 • 코인토싱 • 크립토노트 • 키스토어 • 타임락 • 테스트넷 • 토다 • 토큰 이코노미 • 토큰화 • 튜링완전 • 튜링불완전 • 트랜잭션 아이디(TxID) • 트러스트 컨트랙트 • 트루빗 • 트릴레마 • 파워 • 파티셔닝 • 퍼블릭 블록체인 • 페널티 • 프라이버시 • 프라이빗 블록체인 • 플랫폼 • 플러딩 • 피어 • 피투피(P2P) • 하이브리드 블록체인 • 합의 • 해시락 • 해시타임락(HTLC) • 해제 스크립트 • 확장성 해시 레인보우 테이블 • 매핑 • 머클경로 • 머클루트 • 머클트리 • 분산해시테이블(DHT) • 블록해시 • 스큐드 머클트리 • 온라인툴즈 • 이전블록해시 • 카뎀리아 • 해시 • 해시레이트 • 해시맵 • 해시충돌 • 해시테이블 • 해시파워 • 해시함수 • 해싱 블록 고아블록 • 그래핀 • 논스 • 마이크로블록 • 베이킹 • 북키퍼 • 브랜치블록 • 브로드캐스팅 • 블록 • 블록높이 • 블록바디 • 블록생성자 • 블록정보 • 블록타임 • 블록헤더 • 비츠 • 세그윗 • 엉클블록 • 완결성 • 제네시스블록 • 타임스탬프 • 프룻 • 프룻체인 체인 더블체인 • 라이트닝 네트워크 • 라이트닝 루프 • 루트체인 • 루프체인 • 메인체인 • 방향성 비순환 그래프(DAG) • 베리파이어블 프루닝 • 블록격자 • 블록체인 • 사용자 활성화 소프트포크(UASF) • 사용자 활성화 하드포크(UAHF) • 사이드체인 • 서브체인 • 소프트포크 • 오페라체인 • 오프체인 • 온체인 • 인터체인 • 차일드체인 • 체인 • 탱글 • 테스트체인 • 토카막 네트워크 • 포크 • 포크체인 • 퓨어체인 • 프로덕트체인 • 프루닝 • 프리포크 • 플라즈마 알고리즘 • 플라즈마캐시 • 플래시 계층 • 하드포크 • 해시그래프 • 홀로체인 노드 검증인(밸리데이터) • 기본노드 • 노드 • 라이트노드 • 랜덤노드 • 마스터노드 • 베이킹노드 • 보조노드 • 보증노드 • 슈퍼노드(슈퍼대표, 대표노드) • 슬롯 • 슬롯리더 • 엔드포인트노드(레인저노드) • 의회 네트워크 • 작업노드 • 종단노드 • 종자노드(시드노드) • 중계노드 • 지갑노드 • 채굴노드(마이닝노드) • 쿼럼 • 풀노드 • 합의노드 샤딩 네트워크 샤딩 • 데이터베이스 샤딩 • 동적샤딩 • 샤드 • 샤딩 • 스테이트 샤딩 • 알고리즘 샤딩 • 적응형 상태 샤딩 • 체인샤딩 • 트랜잭션 샤딩 채굴 병합채굴 • 사전채굴 • 에이식(ASIC) • 에이식부스트 • 에이식 저항 • 일드파밍 • 채굴 • 채굴 난이도 • 채굴량 • 탄소감축채굴 • 페어런치 탈중앙화 TVL • 거버넌스 • 게임파이 • 다오(DAO) • 다이코(DAICO) • 닥(DAC) • 닥스(DAX) • 덱스(DEX) • 디앱(DApp) • 디지오(DGO) • 디튜브 • 디파이(DeFi) • 분산경제 • 분산원장(DLT) • 분산 클라우드 • 소셜파이 • 씨파이(C-Fi) • 오프체인 거버넌스 • 온체인 거버넌스 • 원장 • 준중앙화 • 중앙화 • 탈중앙화 • 탈중앙화 TPS • 탈중앙화 조직(DO) • 탈중앙화 지수(DQ) 분산아이디 DIDs • IETF • ToIP • 검증가능한 자격증명 • 검증인 • 디지털아이덴티티재단 • 발급자 • 보유자 • 분산아이디(DID) • 분산아이디 기관 • 분산아이디 인증(DID Auth) • 아이온 • 자기주권 • 자기주권신원 • 최소화된 자격증명 데이터 • 탈중앙화 키관리시스템 • 통합해석기 오라클 상호인증 블록체인 • 오라클 • 오라클 머신 • 오라클 문제 • 오라클 서비스 • 중간자 BIP BIP • BIP9 • BIP16 • BIP32 • BIP39 • BIP43 • BIP44 • BIP47 • BIP49 • BIP63 • BIP70 • BIP84 • BIP141 • BIP148 ERC ERC • ERC-20 • ERC-165 • ERC-223 • ERC-621 • ERC-721 • ERC-777 • ERC-827 • ERC-884 • ERC-998 • ERC-1155 • ERC-1404 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반