누리온

누리온(NURION)이란 계산 노드, CPU-only 노드, Omni-Path 인터커넥트 네트워크, 버스트 버퍼(Burst Buffer) 고속 스토리지, Lustre기반의 병렬파일시스템, RDHx(Rear Door Heat Exchanger) 기반의 수냉식 냉각장치로 구성된 시스템이다.

역사

한국과학기술원(KISTI)는 서울올림픽이 열린 1988년 처음으로 슈퍼컴퓨터를 도입하여 가동했다. 한국과학기술원만큼 큰 규모의 슈퍼컴퓨터를 운영하고 있는 기상청은 이보다 11년 늦은 1999년 도입, 2000년부터 1호기를 가동했다. 한국과학기술원은 1988년 1호기를 시작으로 거의 매 5~8년마다 슈퍼컴퓨터를 도입한다. 5호기는 크레이사의 기종을 사용하여 도입됐다. 5호기의 이름은 누리온이고 국민 공모를 통해 만들어진 이름이다. 대한민국 국민 모두가 슈퍼컴퓨터의 혜택을 고루 누릴 수 있도록 한다는 의미로 지어졌다.

개요

미국 크레이사에서 도입한 누리온(CRAY CS500)은 1988년 1호기 도입 이래 5번째로 구축된 국가 슈퍼컴퓨터로 57만 20개의 코어(Core)로 구성됐고 고성능 PC 2만대와 맞먹는 성능을 자랑한다. 누리온의 이론성능은 25.7페타플롭스(PFlops)로 1초에 2경 5,700조번의 부동소수점 연산이 가능하며 실측성능은 13.92 페타플롭스로 2018년 6월 기준 전 세계 슈퍼컴퓨터 중 11위다. KISTI는 누리온을 통해 우주 기원 같은 초거대문제 연구뿐만 아니라 기업의 신제품 개발 및 시장 분석, 자연재해, 교통문제 등 국가, 사회 현안 해결을 지원한다. 특히 빅데이터 처리와 인공지능 분야에서 수요가 많은 소프트웨어 등 맞춤형 환경을 제공하고 클라우드 기술을 통해 사용자가 원하는 컴퓨팅 환경을 구축할 수 있도록 지원해 컴퓨팅 분야 전문지식이나 경험이 없는 중소기업, 개인연구자 등도 쉽게 활용할 수 있도록 한다.

특징

순위

미국과 중국이 세계 슈퍼컴퓨터의 2강 체제를 유지한 가운데 한국의 슈퍼컴퓨터 5호기 누리온이 14위를 기록했다. 슈퍼컴퓨팅 콘퍼런스 2019는 세계 최고 슈퍼컴퓨터 탑500을 발표했다. 슈퍼컴퓨팅 콘퍼런스2019에서 발표한 탑500 순위에는 미국 오크리지 국립연구소(ORNL) 서밋(Summit)이 1위를 차지했다. 서밋은 실측성능은 148 페타플롭스로 1초에 148 x 1000조 번 연산이 가능하다. 2위는 미국 로렌스리버모어 국립연구소(LLNL)의 시에라(Sierra), 3위는 중국의 선웨이 타이후라이트(Sunway TaihuLight)로 상반기 순위를 그대로 유지했다. 한국과학기술정보연구원의 슈퍼컴퓨터 5호기 누리온은 오크리지 국립연구소 슈퍼컴퓨터 타이탄(12위)이 퇴역하면서 상반기 발표된 순위 대비 1단계 상승한 14위를 기록했다. 누리온은 연산 속도는 25.7 페타플롭스로 계산 노드는 8437개다. 이번 발표에서 기상청이 보유한 누리와 미리는 각각 113위와 114위를 차지해 한국은 3대(국가별 순위 12위)의 슈퍼컴퓨터만 탑 500 순위에 들며 큰 격차를 보였다.

에너지절감

에너지 관리 및 자동화 분야의 디지털 혁신을 선도하고 있는 글로벌 기업 슈나이더일렉트릭이 대전 한국과학기술정보연구원 국가슈퍼컴퓨터 5호기 누리온에 에너지 절감 솔루션을 구축했다. 슈퍼컴퓨터 누리온은 2018년 11월 개통됐으며 세계에서 11번째로 빠른 슈퍼컴퓨터로 인공지능, 로봇, 항공기, 신소재 등 개발과 기후 예측 등 4차 산업혁명에 대응 가능한 초고성능 컴퓨팅 역량을 확보하고 초고성능 컴퓨팅인프라 환경의 기반을 마련하고자 구축됐다. 누리온은 아파트 3,000세대와 비교될 만큼 막대한 전력을 소모한다. 따라서 안전하고 효율적 운영설비 구축이 필수적이다. 슈나이더일렉트릭은 안전하고 신뢰성 높은 고효율 전력 공급 솔루션을 제공한다는 점을 인정받아 사업에 참여하게 됐다. 특히 슈나이더일렉트릭 제품 중 무정전 전원 공급장치(UPS), 공냉식 프리쿨링 냉동기, 전원 분배 시스템인 부스웨이 등이 설치됐다. 누리온에는 전 세계적으로 안정성과 신뢰성이 입증된 슈나이더일렉트릭의 모듈형 무정전 전원 공급장치인 Symmetra MW600KVA가 설치됐다. 무정전 전원 공급장치는 24시간 안정적 전원 공급을 위해서 전력 사용량이 높은 데이터센터 등에 필수적으로 이는 대형 데이터센터에 적용 가능한 업계 최고의 에너지 효율성을 갖추고 있으며 장애 발생 시 즉각 대응이 가능한 모듈형 설계를 기초로 한다. 또한 슈나이더일렉트릭의 공냉식 프리쿨링 냉동기인 BREF3212도 설치됐다. 누리온 작동 시 발생하는 열을 식히기 위해 대량의 전력을 필요로 한다. 슈나이더일렉트릭의 공냉식 프리쿨링 냉동기는 낮은 외기를 이용한 프리쿨링 냉동기로 모든 부하 조건에서 냉매 흐름을 최적화하고 냉동기의 운영 및 상태 등을 원격 모니터링 및 조작이 가능하다. 아울러 전산실, 데이터센터 등의 서버 랙용 전원분배 시스템인 슈나이더일렉트릭의 Mini Busway Canalis for Data Center도 설치돼 필요 위치에 전원을 공급하고 화재 시 연기나 유독가스가 없어 안전한 설비 구축에도 기여한다. 특히 슈나이더일렉트릭 내부 전문가들은 이러한 설비 구축을 통해 연간 10% 정도의 에너지 비용 절감을 기대하고 있다. 이 밖에도 슈나이더일렉트릭의 상태 모니터링 및 예방 유지관리 서비스로 가동 중단 시간을 최소화하고 국내 슈나이더일렉트릭 설비 전문가의 24시간 신속한 서비스롤 실시간 문제 해결도 가능하다. 전 세계에서 11번째로 빠른 슈퍼컴퓨터의 전력 설비 안정화 및 에너지 절감을 위한 제품군 중에서 슈나이더 일렉트릭이 치열한 경쟁에서 선택됐다. 슈나이더일렉트릭의 에너지 효율 솔루션은 전세계적으로 이미 그 효율성과 안전성을 다양한 사례를 통해 입증받았다.

구성

• 매니코어 노드: 매니코어(KNL) 노드에 장착된 인텔 제온 Phi 7250 프로세서는 1.4기가헤르즈 기본 주파수에 68개 코어(쓰레드 272개)로 동작한다. L2 캐시 메모리는 34메가바이트이며, 온패키지 메모리인 MCDRAM(Multi-Channel DRAM)은 16기가바이트이다. 노드 당 메모리는 96기가바이트로 16기가바이트 DDR4-2400 메모리가 6채널로 구성되어 있다. 2U크기의 인클로저에는 4개의 계산노드가 장착되며, 42U 표준랙에 72개의 계산노드로 구성되어 있다.

• CPU-only 노드: CPU-only 노드에는 2개의 인텔 제온 골드(Intel Xeon Gold) 6148 프로세서(코드명 스카이레이크)가 장착되어 있다. 기본 주파수는 2.4기가헤르즈이며 20개 코어(쓰레드 40개)로 동작한다. L3 캐시 메모리는 27.5메가바이트이며, 각 중앙처리장치(CPU)당 메모리는 96기가바이트(노드 당 192기가바이트)로 16기가바이트 DDR4-2666 메모리가 6채널로 구성되어 있다. 2U크기의 인클로저(enclosure)에는 4개의 계산노드가 장착되어 있다.

• 인터커넥트 네트워크: 노드 간 계산 네트워크 및 파일 입력/출력(I/O) 통신을 위한 인터커넥트 네트워크로 인텔 OPA(Omni-Path Architecture)를 사용하고 있다. 100기가 OPA를 사용하여 Fat-Tree 구조로 계산노드 간 50% 블록킹(blocking), 스토리지 간 논-블록킹(non-blocking) 네트워크로 구성 하였다. 계산노드와 스토리지는 277개의 48포트 엣지(Edge) 스위치에 연결되며 모든 엣지 스위치는 8대의 768포트 디렉터(Director) 스위치에 연결하였다.

• 스토리지: 누리온의 병렬파일시스템(Parallel File System)과 버스트버퍼(Burst Buffer)는 DDN(Data Direct Networ)사 IME(Infinite Memory Engine)와 Lustre 파일시스템 기반의 EXAScaler 솔루션을 사용하여 서비스된다. PFS는 DDN ES14KX 모델로 구성된 스크래치(/scratch), 홈(/home01), 애플리케이션(/app) 세 개의 파일시스템을 제공하고 있으며, 각 파일시스템은 SFA7700X 스토리지를 사용하는 두 대의 메타데이터 서버(MDS)를 포함한다. BB는 계산 노드와 병렬파일시스템 사이에서 동작하는 NVMe 기반의 캐시로 약 829테라바이트의 용량을 제공한다. PFS는 765테라바이트 용량의 홈 디렉터리와 510테라바이트 용량의 사용자 애플리케이션이 제공 디렉터리(/applic), 21PB 글로벌 스크래치 디렉터리(/scratch)를 제공하고 있다. 해당 파일시스템은 계산노드, 로그인노드, 아카이빙 서버(Data Mover)에 마운트 되어 서비스 되고 있다.

• 버스트버퍼: 버스트버퍼는 계산노드와 스토리지(/scratch) 사이의 입력/출력(Input/Output) 가속화를 위한 캐시 레이어로 병렬파일시스템의 작은 입력/출력 또는 랜덤 입력/출력의 취약성을 보완하고자 5호기 누리온에 최초 도입되었다. 입력/출력 의존성이 높은 사용자 애플리케이션 지원을 목표로 하고있으며, 응용수행과제가 버스트버퍼 사용에 적절한지 사전 평가 후 전용큐를 통해 지원하고 있다. 버스트버퍼 구성을 위해 DDN사의 IME240 솔루션이 적용되었으며, IME는 계산 노드와 병렬파일시스템 사이에서 동작하는 NVMe 기반의 캐시를 제공한다.

단일노드 구성

시스템	DDN IME240, Infinite Memory Engine Appliance
소프트웨어 버전	센트오에스 7.3, IME 1.2
최대 입출력 성능	초당 20기가바이트
네트워크 인터페이스	2 x OPA
에스에스디 타입	1.2테라바이트, NVMe 드라이브
에스에스디 수량	16개(1.2테라바이트 NVMe) + 1개(450기가바이트 에스에스디)
용량	19.2테라바이트

활용

클라우드

한국과학기술정보원이 슈퍼컴퓨터 누리온을 클라우드 환경에서 이용할 수 있는 KI(KISTI Intelligent) 클라우드 서비스를 오픈했다. 이 서비스는 전통적인 계산과학 연구자뿐만 아니라 인공지능, 빅데이터 분석 연구자들도 이용할 수 있다. KI 클라우드는 기존의 고전적 인터페이스와는 달리, 대화형 클라우드 서비스를 통해 연구자가 원하는 컴퓨팅 환경을 쉽게 구성할 수 있다. 기존에 슈퍼컴퓨터 누리온을 활용하고 싶은 사용자는 텍스트 터미널 환경에서 미리 코딩한 프로그램을 제출한 후 작업 순서를 기다려서 결과를 확인하는 일방향 형태의 작업 처리를 해야 했다. 하지만 이번에 새로 오픈한 KI 클라우드 서비스를 통해서는 슈퍼컴퓨터 사용자는 웹 사용자 환경을 통해 접속하여 자신만의 가상서버를 만들어 사용하거나 프로그래밍 도구를 이용하여 프로그램 결과를 시각적으로 즉시 확인하면서 작업을 수행할 수 있다. 한국과학기술정보원은 중앙처리장치(CPU) 서버 중심의 서비스뿐만 아니라 슈퍼컴퓨터 5호기의 그래픽처리장치(GPU) 서버를 중심으로 하는 뉴런 시스템을 클라우드 서비스에 연결함으로써 KI 클라우드 서비스를 지속적으로 확장해 나갈 예정이다. KI 클라우드 서비스 개시는 슈퍼컴퓨터를 빅데이터, 인공지능 등의 분야에서 손쉽게 활용할 수 있도록 하여 데이터 생태계 중심 기관인 한국과학기술정보원의 역할을 한층 더 강화할 수 있는 계기가 되었다.

폐암과 알츠하이머

우리나라에서 가장 빠른 컴퓨터 누리온이 우주 탄생의 비밀 찾기에서 알츠하이버병의 새 원인 발견까지 폭넓은 분야의 과학 연구현장에서 맹활양하고 있다. 카이스트 의과학대학원 주영석 교수와 서울대 의대 흉부외과 김영태 교수 공동 연구팀은 138개의 폐 선암 사례 전장 유전체 서열 데이터를 분석해 비흡연자한테서 폐암을 일으키는 유전체 돌연변이는 10대 이전 유년기부터 나타날 수 있다는 연구 결과를 국제학술지 셀에 발표했다. 카이스트 의과학대학원 이정호 교수, 한국과학기술정보원 이준학 박사 공동 연구팀은 52명의 할츠하이머병 환자에게 얻은 사후 뇌조직에서 전장 엑솜 유전체 서열(whole-exome sequencing) 데이터를 분석해 알츠하이머병에 존재하는 뇌체성 유전변이를 찾아냄으로써, 노화과정에서 발생하는 후천적 뇌 돌연변이가 알츠하이머병의 새로운 원인이 될 수 있다는 이론을 국제 학술지 네이처 커뮤니케이션스에 발표했다.

원시 은하

고등과학원 박창범 교수 연구팀은 세계 최대 규모의 우주론적 유체역학 수치모의실험을 수행했다. 90일 동안 계산한 그랜드챌린지 과제였다. 슈퍼컴 4호기 타키온으로는 6년이상, 일반PC로는 30만년 이상 걸리는 계산이었다. 이 실험은 우주생성 직후(138억 년 전)부터 110억 년 까지 원시 우주의 은하, 은하단 및 대규모의 구조물 형성을 설명하려는 시도이다. 누리온 덕분에 은하를 대상으로 하는 통계학적 분석 및 연구에 활용할 데이터를 기존에 비해 5배 이상으로 확장할 수 있엇다. 이것은 은하 생성에 우주 거대구조의 효과를 처음으로 제대로 반영한 우주론적 시뮬레이션이며 원시 은하단의 생성 등 천체 생성의 비밀을 캐낼 수 있을 것으로 기대한다.

차세대 반도체와 첨단소재

서울대 박철환 교수 연구팀은 새로운 정보 저장용 소재로 주목받는 2차원 자성물질인 삼황화린니켈 소재를, 한국과학기술연구원 김상태 박사 연구팀은 배터리 소재를, 울산과학기술원(UNIST) 이근식 교수 연구팀은 차세대 나노 전자소자를 연구해 각각 국제 학술지 네이처 커뮤니케이션스(Nature Communications)에 발표했다. 서울대 한승우 교수 연구팀은 1만7700개 물질을 대상으로 여러 단계의 시뮬레이션 분석을 통해 최종적으로 두 개의 후보물질을 P형 반도체용 최적 소재로 제시했다. 카이스트 정유성 교수 연구팀은 인공지능 기술과 슈퍼컴퓨터 활용을 융합해 소재 개발 기간을 크게 단축할 수 있는 새로운 소재 역설계 방법을 찾아내 4종의 신물질을 발견했다.

문제

2015년 전후 인텔의 지원으로 슈퍼컴퓨팅 관련 연구를 진행하면서 제온파이 프로세서가 성능상 공식 발표데이터의 수치는 높지만, 실제 구현 성능상에 심각한 하자가 발생해서 이를 기반으로 슈퍼컴퓨터를 구축할 경우 확장성 자체가 없다는 사실을 이미 내부적으로 파악하고 있었다. 이에 따라 정부출연연구기관이 국가 예산 540억원대를 투입하는 대형 국책사업을 추진하면서 구매 시스템에 치명적 하자가 있다는 사실을 알면서도 장비도입을 강행했다. 이것은 슈퍼컴퓨터 5호기 누리온이 실제로는 인텔의 단종된 중앙처리장치를 채택한 재고떨이용 모델로 드러나 국민 혈세 540억원을 허공에 날리는 믿기힘든 사건이었다. 실제 한국과학기술정보연구원은 인텔 제온파이 프로세서 외에 엔비디아 및 국내 전문 프로세서 업체가 제공 중인 고성능의 그래픽처리장치(GPU)기반 프로세서는 검토대상에서 제외했다. 이로인해 한국과학기술정보연구원이 인텔 중앙처리장치 대신 세계 각국이 앞다퉈 채택하고 있는 고성능의 그래픽처리장치 기반으로 슈퍼컴퓨터를 개발한다고 발표할 경우 수천억원대 정부 시스템구축 및 개발자금 지원이 중단될 것을 우려해 치명적 하자가 드러난 인텔 중앙처리장치를 고집했다는 의혹이 생겼다. 또 전문가그룹에서는 출연연구기관이 주무 부천인 과기정통부로부터 차세대 슈퍼컴퓨터 6호기 자체개발 건으로 1,2년 내 5000억 ~ 8000억원대에 이르는 국책연구비를 따내기 위해 인텔이 생산 중단한 재고떨이 낮은 사양 중앙처리장치 기반 5호기 슈퍼컴퓨터를 구매했다는 의견도 생겼다. 만약 고성능 그래픽처리장치기반 슈퍼컴퓨터로 정책을 변경하면 국내에서 이미 그래픽처리장치기반 슈퍼컴퓨팅 엔진을 생산, 수출하고 있는 점 때문에 한국과학기술정보연구원이 슈퍼컴퓨터 6호기 개발 건을 인텔 중앙처리장치기반으로 밀어붙이기 사실상 힘들다. 한국과학기술정보연구원이 무조건 인텔의 중앙처리장치만 고집하는 것은 오로지 예산 확보 때문이다. 성능이나 확장성 등에는 크게 관심이 없고 오로지 슈퍼컴퓨터 6호기 개발사업을 추진하면서 조 단위 예산을 확보하려는 한국과학기술정보연구원 슈퍼컴퓨팅센터의 의지가 이런 5호기 초기투자를 물거품으로 만들었다.