現スパコン(2019)ハードウェア
システム全体
| 機器分類 | 機器諸元 | ||
|---|---|---|---|
計算ノード 総 CPU コア数: 15,424 | Thin 計算ノード
| Type 1a | ノード数: 136 台 |
Type 1b | ノード数: 28 台 | ||
Type 2a | ノード数: 52 台 | ||
Type 2b | ノード数: 16 台 | ||
Medium 計算ノード | ノード数: 10 台 | ||
Fat 計算ノード | ノード数 1 台 | ||
ストレージ 総ストレージ容量 57.6PB | 大容量高速ストレージ (※1) | Lustre ファイルシステム | |
DB 用ストレージ | Lustre ファイルシステム | ||
ノード間相互結合網 | InfiniBand 4×EDR 100Gbps fat tree | ||
計算ノード
Thin 計算ノード Type 1a (HPE ProLiant DL385 Gen10; 136 台)
CPU として AMD EPYC 7501 プロセッサを搭載した計算ノードです。
HPE ProLiant DL385 Gen10 (ホスト名: at001 -- at136)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | AMD EPYC 7501 (32 cores) Base 2.0GHz, Max 3.0GHz | 2 | 合計 64 コア |
| Memory | 32GB DDR4-2666 | 16 | 合計 512GB (CPU コアあたり 8GB) |
| Storage | 1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Thin 計算ノード Type 1b (DELL PowerEdge R6525; 28 台)
CPU として AMD EPYC 7702 プロセッサを搭載した計算ノードです。
DELL PowerEdge R6525 (ホスト名: at137 -- at164)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | AMD EPYC 7702 (64 cores) Base 2.0GHz, Max 3.35GHz | 2 | 合計 128 コア |
| Memory | 32GB DDR4-2666 | 16 | 合計 512GB (CPU コアあたり 4GB) |
| Storage | 1.6TB NVMe SSD x1, 900GB SAS HDDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Thin 計算ノード Type 2a (HPE Apollo 2000 Gen10; 52 台)
CPU として Intel Xeon プロセッサを搭載した計算ノードです。
HPE Apollo 2000 Gen10 (ホスト名: it001 -- it052)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6130 (16 cores) Base 2.1GHz, Max 3.7GHz | 2 | 合計 32 コア |
| Memory | 32GB DDR4-2666 | 12 | 合計 384GB (CPU コアあたり 12GB) |
| Storage | 1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Thin 計算ノード Type 2b (HPE Apollo 6500 Gen10; 16 台)
NVIDIA Tesla V100 GPU を各ノードに 4 基搭載した計算ノードです。
HPE Apollo 6500 Gen10 (ホスト名: igt001 -- igt016)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6136 (12 cores) Base 3.0GHz, Max 3.7GHz | 2 | 合計 24 コア |
| Memory | 32GB DDR4-2666 | 12 | 合計 384GB (CPU コアあたり 16GB) |
| GPU | NVIDIA Tesla V100 SXM2 | 4 | |
| Storage | 1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
（参考）GPU の仕様
| 属性名 | 値 |
|---|---|
| 名称 | NVIDIA Tesla V100 SXM2 |
| コア数(個) | 640 |
| クロック速度 | 1,455MHz |
| 単精度浮動小数点演算ピーク性能 | 15TFLOPS |
| 倍精度浮動小数点演算ピーク性能 | 7.5TFLOPS |
| 単体コア理論性能 | 1.3GLOPS |
| メモリサイズ | 16GB(GDDR5) |
| メモリバンド幅 | 900GB/sec |
| 1GFLOPS 毎のメモリバンド幅 | 266GB/sec |
| 接続帯域 | 8 (PCIe2.0 x16)GB/sec |
Medium 計算ノード (HPE ProLiant DL560 Gen10; 10 台)
MediumノードのUbuntu Linuxへの一部移行とGride Engineキュー(medium-ubuntu.q)新設をしました。詳細は、お知らせをご確認ください。
3TB の物理メモリを搭載した 80 コアを搭載した計算ノードです。De novo アセンブラなど大規模なメモリを必要とするようなプログラムを 実行するのに向いています。Grid Engine 配下のためジョブ投入により利用可能です。
HPE ProLiant DL560 Gen10 (ホスト名: m01 -- m10)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz | 4 | 合計 80 コア |
| Memory | 32GB DDR4-2666 | 48 | 合計 3,072GB (CPU コアあたり 38.4GB) |
| Storage | 1TB SATA HDD | 2 | 1TB (RAID1) |
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Fat 計算ノード (1 台 : ホスト名 fat1)
HPE Superdome Flex 2 筐体を Superdome Flex グリッド・インターコネクトで接続して合計 12TB の共有メモリの計算ノードを構成しています。
FAT ノードは申請制での利用となります。
FAT 計算ノード１ノード（HPE Superdome Flex 2 筐体）当たりのスペック
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6154 (18 cores) Base 3.0GHz, Max 3.7GHz | 16 | 合計 288 コア |
| Memory | 32GB DDR4-2666 | 192 | 合計 12,288GB (CPU コアあたり 47.2GB) |
| Storage | 1.2TB SAS HDD | 4 | 2.4TB (RAID1) |
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
ストレージ
大容量高速ストレージ
| アクセスパス | 実効容量 | 用途 | ピーク性能 | 構成 |
|---|---|---|---|---|
| /lustre7 | 8.0PB | 一般解析区画のホーム領域 | 35GB/sec 以上 | DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X |
| /lustre8 | 5.3PB | 個人ゲノム解析区画のホーム領域 | 35GB/sec 以上 | DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X |
DB 用ストレージ
| アクセスパス | 実効容量 | 用途 | ピーク性能 | 構成 |
|---|---|---|---|---|
| /lustre9 | 40.5PB | DDBJ 業務 | 150GB/sec | DDN ES400NVX2 + DDN SS9024 |
