ハードウェア
システム全体
| 機器分類 | 機器諸元 | ||
|---|---|---|---|
| 計算ノード 総 CPU コア数: 15,424 合計演算性能 933.560 TFLOPS (CPU: 434.360 TFLOPS, GPU: 499.2 TFLOPS) 総メモリ容量 153.088 TB | Thin 計算ノード 総 CPU コア数: 14,336 合計演算性能 844.472 TFLOPS (CPU: 345.272 TFLOPS, GPU: 499.2 TFLOPS) 総メモリ容量 110.080 TB | Type 1a CPU に AMD EPYC 7501 を搭載 | ノード数: 136 台 総 CPU コア数: 8,704 合計演算性能: 139.264 TFLOPS 総メモリ容量 69.632 TB（コアあたり 8GB） |
| Type 1b CPU に AMD EPYC 7702 を搭載（2020 年 4 月増設 | ノード数: 28 台 総 CPU コア数: 3,584 合計演算性能: 57.344 TFLOPS 総メモリ容量 14.336 TB（コアあた 4GB) | ||
| Type 2a CPU に Intel Xeon Gold 6130 を搭載 | ノード数: 52 台 総 CPU コア数: 1,664 合計演算性能 111.800 TFLOPS 総メモリ容量 19.968 TB (コアあたり 12GB) | ||
| Type 2b GPGPU 搭載 | ノード数: 16 台 総 CPU コア数: 384 総 GPU 数: 64 基(1 ノードあたり 4 基) 合計演算性能: 536.064 TFLOPS (CPU: 36.864 TFLOPS, GPU: 499.2 TFLOPS) 総メモリ容量 6.144 TB (コアあたり 16GB) | ||
| Medium 計算ノード 3TB の共有メモリ搭載 | ノード数: 10 台 総 CPU コア数: 800 合計演算性能 61.440 TFLOPS 総メモリ容量 30.72 TB (コアあたり 38.4GB) | ||
| Fat 計算ノード 2 ノードを接続し 12TB の共有メモリを構成 | ノード数 2 台 総 CPU コア数: 288 合計演算性能 27.648 TFLOPS 総メモリ容量 12.288 TB (コアあたり 42.7GB) | ||
| ストレージ 総ストレージ容量 47.1PB | 大容量高速ストレージ(※1) | Lustre ファイルシステム 合計容量：17.1PB | |
| DB 用ストレージ(※2) | SpectrumScale ファイルシステム+テープ 合計容量：30PB (15PB ディスク、15PB テープの階層ストレージ) | ||
| ノード間相互結合網 | InfiniBand 4×EDR 100Gbps fat tree (ストレージに対しては full bi-section、 計算ノードに対しては、上流 SW への接続帯域：下流 SW への接続帯域 = 1:4) | ||
- ※1. 一般解析区画および個人ゲノム解析区画におけるユーザホーム領域
- ※2. DRA 等の DDBJ データベースを格納している領域。
計算ノード
Thin 計算ノード Type 1a (HPE ProLiant DL385 Gen10; 136 台)
CPU として AMD EPYC 7501 プロセッサを搭載した計算ノードです。
HPE ProLiant DL385 Gen10 (ホスト名: at001 -- at136)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | AMD EPYC 7501 (32 cores) Base 2.0GHz, Max 3.0GHz | 2 | 合計 64 コア |
| Memory | 32GB DDR4-2666 | 16 | 合計 512GB (CPU コアあたり 8GB) |
| Storage | 1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Thin 計算ノード Type 1b (DELL PowerEdge R6525; 28 台)
CPU として AMD EPYC 7702 プロセッサを搭載した計算ノードです。
DELL PowerEdge R6525 (ホスト名: at137 -- at164)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | AMD EPYC 7702 (64 cores) Base 2.0GHz, Max 3.35GHz | 2 | 合計 128 コア |
| Memory | 32GB DDR4-2666 | 16 | 合計 512GB (CPU コアあたり 4GB) |
| Storage | 1.6TB NVMe SSD x1, 900GB SAS HDDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Thin 計算ノード Type 2a (HPE Apollo 2000 Gen10; 52 台)
CPU として Intel Xeon プロセッサを搭載した計算ノードです。
HPE Apollo 2000 Gen10 (ホスト名: it001 -- it052)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6130 (16 cores) Base 2.1GHz, Max 3.7GHz | 2 | 合計 32 コア |
| Memory | 32GB DDR4-2666 | 12 | 合計 384GB (CPU コアあたり 12GB) |
| Storage | 1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Thin 計算ノード Type 2b (HPE Apollo 6500 Gen10; 16 台)
NVIDIA Tesla V100 GPU を各ノードに 4 基搭載した計算ノードです。
HPE Apollo 6500 Gen10 (ホスト名: igt001 -- igt016)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6136 (12 cores) Base 3.0GHz, Max 3.7GHz | 2 | 合計 24 コア |
| Memory | 32GB DDR4-2666 | 12 | 合計 384GB (CPU コアあたり 16GB) |
| GPU | NVIDIA Tesla V100 SXM2 | 4 | |
| Storage | 1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1 | ||
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
(参考）GPU の仕様
| 属性名 | 値 |
|---|---|
| 名称 | NVIDIA Tesla V100 SXM2 |
| コア数(個) | 640 |
| クロック速度 | 1,455MHz |
| 単精度浮動小数点演算ピーク性能 | 15TFLOPS |
| 倍精度浮動小数点演算ピーク性能 | 7.5TFLOPS |
| 単体コア理論性能 | 1.3GLOPS |
| メモリサイズ | 6GB(GDDR5) |
| メモリバンド幅 | 900GB/sec |
| 1GFLOPS 毎のメモリバンド幅 | 266GB/sec |
| 接続帯域 | 8 (PCIe2.0 x16)GB/sec |
Medium 計算ノード (HPE ProLiant DL560 Gen10; 10 台)
3TB の物理メモリを搭載した 80 コアを搭載した計算ノードです。De novo アセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE 配下のためジョブ投入により利用可能です。
HPE ProLiant DL560 Gen10 (ホスト名: m01 -- m10)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz | 4 | 合計 80 コア |
| Memory | 32GB DDR4-2666 | 48 | 合計 3,072GB (CPU コアあたり 38.4GB) |
| Storage | 1TB SATA HDD | 2 | 1TB (RAID1) |
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
Fat 計算ノード (HPE Superdome Flex; 1 台)
複数の計算ノードを接続して大規模な共有メモリー型の計算機を構築する NUMA(Non Uniformed Memory Access)アーキテクチャの計算ノードです。
FAT ノードは申請制での利用となります。
HPE Superdome Flex (ホスト名: fat1)
| 構成要素 | 型番 | 員数 | ノードあたりの性能など |
|---|---|---|---|
| CPU | Intel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz | 16 | 合計 288 コア |
| Memory | 32GB DDR4-2666 | 192 | 合計 12,288GB (CPU コアあたり 47.2GB) |
| Storage | 1.2TB SAS HDD | 2 | 1.2TB (RAID1) |
| Network | InfiniBand 4xEDR | 1 | 100Gbps |
ストレージ
高速ストレージ Lustre ファイルシステム
| アクセスパス | 実効容量 | 用途 | ピーク性能 | 構成 |
|---|---|---|---|---|
| /lustre6 | 3.8PB | DDBJ 業務(旧システム) | 35GB/sec | DDN SFA14KXE+SS8462, DDN 1U server, DDN SFA7700X |
| /lustre7 | 8.0PB | 一般解析区画のホーム領域 | 35GB/sec 以上 | DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X |
| /lustre8 | 5.3PB | 個人ゲノム解析区画のホーム領域 | 35GB/sec 以上 | DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X |
| /lustre9 | 40PB | DDBJ 業務(新システム) | 100GB/sec 以上 | DDN ES400NVX2+SS9024, DDN 1U server |
DB用ストレージ
DRA 等の DDBJ データベースを格納するなど DDBJ の業務に利用しており、一般ユーザには公開していません。 容量をかせぐため、高速なディスクシステムと容量単価の安いテープシステムを用いた階層ストレージシステムとなっています。
| 構成要素 | 型番 | 実効容量・性能など |
|---|---|---|
| 大容量ディスクシステム | IBM Elastic Storage Server GL6S | 12.9PB, read 36.6GB/s, write 29.0GB/s |
| 大容量テープシステム | IBM TS4500 テープライブラリ | 15PB (非圧縮時) |
| テープカートリッジ | IBM 3592JD カートリッジ | |
| テープドライブ | IBM TS1155 (x8 台) | 1台当たりread, writeとも360MB/s |
| 階層ストレージ管理システム | SpectrumScaleサーバ |