メインコンテンツまでスキップ

ハードウェア

システム全体

機器分類機器諸元

計算ノード




総 CPU コア数: 15,424
合計演算性能 933.560 TFLOPS
(CPU: 434.360 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 153.088 TB

Thin 計算ノード
合計 232 台

総 CPU コア数: 14,336
合計演算性能 844.472 TFLOPS
(CPU: 345.272 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 110.080 TB

Type 1a
CPU に AMD EPYC 7501 を搭載

ノード数: 136 台
総 CPU コア数: 8,704
合計演算性能: 139.264 TFLOPS
総メモリ容量 69.632 TB(コアあたり 8GB)

Type 1b
CPU に AMD EPYC 7702 を搭載(2020 年 4 月増設

ノード数: 28 台
総 CPU コア数: 3,584
合計演算性能: 57.344 TFLOPS
総メモリ容量 14.336 TB(コアあた 4GB)

Type 2a
CPU に Intel Xeon Gold 6130 を搭載

ノード数: 52 台
総 CPU コア数: 1,664
合計演算性能 111.800 TFLOPS
総メモリ容量 19.968 TB (コアあたり 12GB)

Type 2b
GPU 搭載

ノード数: 16 台
総 CPU コア数: 384
総 GPU 数: 64 基(1 ノードあたり 4 基)
合計演算性能: 536.064 TFLOPS
(CPU: 36.864 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 6.144 TB (コアあたり 16GB)

Medium 計算ノード
3TB の共有メモリ搭載

ノード数: 10 台
総 CPU コア数: 800
合計演算性能 61.440 TFLOPS
総メモリ容量 30.72 TB (コアあたり 38.4GB)

Fat 計算ノード
12TB の共有メモリを構成

ノード数 1 台
総 CPU コア数: 288
合計演算性能 27.648 TFLOPS
総メモリ容量 12.288 TB (コアあたり 42.7GB)

ストレージ



総ストレージ容量 57.6PB

大容量高速ストレージ (※1)
一般解析区画および個人ゲノム解析区画におけるユーザホーム領域

Lustre ファイルシステム
合計容量:13.3PB

DB 用ストレージ
DRA 等の DDBJ データベースを格納している領域

Lustre ファイルシステム
合計容量:40.5PB

ノード間相互結合網

InfiniBand 4×EDR 100Gbps fat tree
(ストレージに対しては full bi-section、 計算ノードに対しては、上流 SW への接続帯域:下流 SW への接続帯域 = 1:4)

計算ノード

Thin 計算ノード Type 1a (HPE ProLiant DL385 Gen10; 136 台)

CPU として AMD EPYC 7501 プロセッサを搭載した計算ノードです。


HPE ProLiant DL385 Gen10 (ホスト名: at001 -- at136)

構成要素型番員数ノードあたりの性能など
CPUAMD EPYC 7501 (32 cores) Base 2.0GHz, Max 3.0GHz2合計 64 コア
Memory32GB DDR4-266616合計 512GB (CPU コアあたり 8GB)
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin 計算ノード Type 1b (DELL PowerEdge R6525; 28 台)

CPU として AMD EPYC 7702 プロセッサを搭載した計算ノードです。

DELL PowerEdge R6525 (ホスト名: at137 -- at164)

構成要素型番員数ノードあたりの性能など
CPUAMD EPYC 7702 (64 cores) Base 2.0GHz, Max 3.35GHz2合計 128 コア
Memory32GB DDR4-266616合計 512GB (CPU コアあたり 4GB)
Storage1.6TB NVMe SSD x1, 900GB SAS HDDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin 計算ノード Type 2a (HPE Apollo 2000 Gen10; 52 台)

CPU として Intel Xeon プロセッサを搭載した計算ノードです。

HPE Apollo 2000 Gen10 (ホスト名: it001 -- it052)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6130 (16 cores) Base 2.1GHz, Max 3.7GHz2合計 32 コア
Memory32GB DDR4-266612合計 384GB (CPU コアあたり 12GB)
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin 計算ノード Type 2b (HPE Apollo 6500 Gen10; 16 台)

NVIDIA Tesla V100 GPU を各ノードに 4 基搭載した計算ノードです。

HPE Apollo 6500 Gen10 (ホスト名: igt001 -- igt016)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6136 (12 cores) Base 3.0GHz, Max 3.7GHz2合計 24 コア
Memory32GB DDR4-266612合計 384GB (CPU コアあたり 16GB)
GPUNVIDIA Tesla V100 SXM24
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

(参考)GPU の仕様

属性名
名称NVIDIA Tesla V100 SXM2
コア数(個)640
クロック速度1,455MHz
単精度浮動小数点演算ピーク性能15TFLOPS
倍精度浮動小数点演算ピーク性能7.5TFLOPS
単体コア理論性能1.3GLOPS
メモリサイズ16GB(GDDR5)
メモリバンド幅900GB/sec
1GFLOPS 毎のメモリバンド幅266GB/sec
接続帯域8 (PCIe2.0 x16)GB/sec

Medium 計算ノード (HPE ProLiant DL560 Gen10; 10 台)

MediumノードのUbuntu Linuxへの一部移行とGride Engineキュー(medium-ubuntu.q)新設をしました。詳細は、お知らせをご確認ください。

3TB の物理メモリを搭載した 80 コアを搭載した計算ノードです。De novo アセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。Grid Engine 配下のためジョブ投入により利用可能です。

HPE ProLiant DL560 Gen10 (ホスト名: m01 -- m10)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz4合計 80 コア
Memory32GB DDR4-266648合計 3,072GB (CPU コアあたり 38.4GB)
Storage1TB SATA HDD21TB (RAID1)
NetworkInfiniBand 4xEDR1100Gbps

Fat 計算ノード (1 台 : ホスト名 fat1)

Fat ノードのハードウェア(HPE ProLiant DL560 Gen10 と HPE Superdome Flex)は、Ubuntu Linux をサポートしていないため、2023 年 11 月の定期メンテナンス時に Cent OS 7.9 から Ubuntu Linux 22.04 に移行できず、Cent OS 7.9 のままとなっております。

HPE Superdome Flex 2 筐体を Superdome Flex グリッド・インターコネクトで接続して合計 12TB の共有メモリの計算ノードを構成しています。

FAT ノードは申請制での利用となります。

FAT 計算ノード1ノード(HPE Superdome Flex 2 筐体)当たりのスペック

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6154 (18 cores) Base 3.0GHz, Max 3.7GHz16合計 288 コア
Memory32GB DDR4-2666192合計 12,288GB (CPU コアあたり 47.2GB)
Storage1.2TB SAS HDD42.4TB (RAID1)
NetworkInfiniBand 4xEDR1100Gbps

ストレージ

大容量高速ストレージ

アクセスパス実効容量用途ピーク性能構成
/lustre78.0PB一般解析区画のホーム領域35GB/sec 以上DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X
/lustre85.3PB個人ゲノム解析区画のホーム領域35GB/sec 以上DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X

DB 用ストレージ

アクセスパス実効容量用途ピーク性能構成
/lustre940.5PBDDBJ 業務150GB/secDDN ES400NVX2 + DDN SS9024