遺伝研スパコン(2019)ハードウェア
本ドキュメントは旧遺伝研スパコン(2019)のドキュメントであり、参考のため残しているものです。
システム全体
| 機器分類 | 機器諸元 | ||
|---|---|---|---|
計算ノード 総 CPU コア数: 15,424 | Thin 計算ノード
| Type 1a | ノード数: 136 台 |
Type 1b | ノード数: 28 台 | ||
Type 2a | ノード数: 52 台 | ||
Type 2b | ノード数: 16 台 | ||
Medium 計算ノード | ノード数: 10 台 | ||
Fat 計算ノード | ノード数 1 台 | ||
ストレージ 総ストレージ容量 57.6PB | 大容量高速ストレージ (※1) | Lustre ファイルシステム | |
DB 用ストレージ | Lustre ファイルシステム | ||
ノード間相互結合網 | InfiniBand 4×EDR 100Gbps fat tree | ||
計算ノード
Thin 計算ノード Type 1a (HPE ProLiant DL385 Gen10; 136 台)
CPU として AMD EPYC 7501 プロセッサを搭載した計算ノードです。
HPE ProLiant DL385 Gen10 (ホスト名: at001 -- at136)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | AMD EPYC 7501 (32 cores) Base 2.0GHz, Max 3.0GHz | 2 | 合計 64 コア |
| Memory | 32GB DDR4-2666 | 16 | 合計 512GB (CPU コアあたり 8GB) |
| Storage | 1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Thin 計算ノード Type 1b (DELL PowerEdge R6525; 28 台)
CPU として AMD EPYC 7702 プロセッサを搭載した計算ノードです。
DELL PowerEdge R6525 (ホスト名: at137 -- at164)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | AMD EPYC 7702 (64 cores) Base 2.0GHz, Max 3.35GHz | 2 | 合計 128 コア |
| Memory | 32GB DDR4-2666 | 16 | 合計 512GB (CPU コアあたり 4GB) |
| Storage | 1.6TB NVMe SSD x1, 900GB SAS HDDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Thin 計算ノード Type 2a (HPE Apollo 2000 Gen10; 52 台)
CPU として Intel Xeon プロセッサを搭載した計算ノードです。
HPE Apollo 2000 Gen10 (ホスト名: it001 -- it052)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6130 (16 cores) Base 2.1GHz, Max 3.7GHz | 2 | 合計 32 コア |
| Memory | 32GB DDR4-2666 | 12 | 合計 384GB (CPU コアあたり 12GB) |
| Storage | 1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Thin 計算ノード Type 2b (HPE Apollo 6500 Gen10; 16 台)
NVIDIA Tesla V100 GPU を各ノードに 4 基搭載した計算ノードです。
HPE Apollo 6500 Gen10 (ホスト名: igt001 -- igt016)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6136 (12 cores) Base 3.0GHz, Max 3.7GHz | 2 | 合計 24 コア |
| Memory | 32GB DDR4-2666 | 12 | 合計 384GB (CPU コアあたり 16GB) |
| GPU | NVIDIA Tesla V100 SXM2 | 4 | |
| Storage | 1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
（参考）GPU の仕様
| 属性名 | 値 |
|---|---|
| 名称 | NVIDIA Tesla V100 SXM2 |
| コア数(個) | 640 |
| クロック速度 | 1,455MHz |
| 単精度浮動小数点演算ピーク性能 | 15TFLOPS |
| 倍精度浮動小数点演算ピーク性能 | 7.5TFLOPS |
| 単体コア理論性能 | 1.3GLOPS |
| メモリサイズ | 16GB(GDDR5) |
| メモリバンド幅 | 900GB/sec |
| 1GFLOPS 毎のメモリバンド幅 | 266GB/sec |
| 接続帯域 | 8 (PCIe2.0 x16)GB/sec |
Medium 計算ノード (HPE ProLiant DL560 Gen10; 10 台)
MediumノードのUbuntu Linuxへの一部移行とGride Engineキュー(medium-ubuntu.q)新設をしました。詳細は、お知らせをご確認ください。
3TB の物理メモリを搭載した 80 コアを搭載 した計算ノードです。De novo アセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。Grid Engine 配下のためジョブ投入により利用可能です。
HPE ProLiant DL560 Gen10 (ホスト名: m01 -- m10)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz | 4 | 合計 80 コア |
| Memory | 32GB DDR4-2666 | 48 | 合計 3,072GB (CPU コアあたり 38.4GB) |
| Storage | 1TB SATA HDD | 2 | 1TB (RAID1) |
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Fat 計算ノード (1 台 : ホスト名 fat1)
HPE Superdome Flex 2 筐体を Superdome Flex グリッド・インターコネクトで接続して合計 12TB の共有メモリの計算ノードを構成しています。
FAT ノードは申請制での利用となります。
FAT 計算ノード１ノード（HPE Superdome Flex 2 筐体）当たりのスペック
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6154 (18 cores) Base 3.0GHz, Max 3.7GHz | 16 | 合計 288 コア |
| Memory | 32GB DDR4-2666 | 192 | 合計 12,288GB (CPU コアあたり 47.2GB) |
| Storage | 1.2TB SAS HDD | 4 | 2.4TB (RAID1) |
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
ストレージ
大容量高速ストレージ
| アクセスパス | 実効容量 | 用途 | ピーク性能 | 構成 |
|---|---|---|---|---|
| /lustre7 | 8.0PB | 一般解析区画のホーム領域 | 35GB/sec 以上 | DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X |
| /lustre8 | 5.3PB | 個人ゲノム解析区画のホーム領域 | 35GB/sec 以上 | DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X |
DB 用ストレージ
| アクセスパス | 実効容量 | 用途 | ピーク性能 | 構成 |
|---|---|---|---|---|
| /lustre9 | 40.5PB | DDBJ 業務 | 150GB/sec | DDN ES400NVX2 + DDN SS9024 |
