次期スパコンの構成

次期スパコンでは基本的な構成は現行のスパコンを踏襲しつつ、SINET6とのネットワーク接続帯域を100Gbpsに増強され、 CPUコア当たりの演算性能は約二倍となります。

またGPU搭載ノードについては最先端のAI解析を可能とするNVIDA DGX B200、ゲノム解析用に費用対効果の高いNVIDIA L40SおよびPEZY-SC3を搭載した計算ノードを導入します。

次期スパコンの構成の詳細は、以下をご参照ください。

システム全体

機器分類			機器諸元
計算ノード	HPC CPU最適化ノード総 CPU コア数: 13,184 合計演算性能 241.644TFLOPS 総メモリ容量 91.136 TB	Type 1 CPU に AMD EPYC 9654 を搭載	ノード数: 50 台総 CPU コア数: 9600 合計演算性能: 184.3 TFLOPS 総メモリ容量 76.8 TB（コアあたり 8GB）
		Type 2 CPU に AMD EPYC 7702 を搭載（旧Thin計算ノードType 1b）	ノード数: 28 台総 CPU コア数: 3,584 合計演算性能: 57.344 TFLOPS 総メモリ容量 14.336 TB（コアあたり 4GB）
	メモリ最適化ノード総CPUコア数: 960 合計演算性能: 18.0TFLOPS 総メモリ容量: 21TB	Type 1 6TBメモリ搭載	ノード数: 2 台総 CPU コア数: 384 合計演算性能 7.2 TFLOPS 総メモリ容量 12 TB (コアあたり 32GB)
	メモリ最適化ノード総CPUコア数: 960 合計演算性能: 18.0TFLOPS 総メモリ容量: 21TB	Type 2 3TBメモリ搭載	ノード数: 3 台総 CPU コア数: 576 合計演算性能 10.8 TFLOPS 総メモリ容量 9 TB (コアあたり 16GB)
	アクセラレータ最適化ノード	Type 1 GPUにNVIDIA B200を搭載 AI計算用	ノード数: 4 台
		Type 2 ゲノム解析用GPUノード	調達中
		Type 3 アクセラレータとしてPEZY ZettaScaler3を搭載ゲノム解析用	ノード数: 2 台
ストレージ	大容量高速ストレージ一般解析区画および個人ゲノム解析区画におけるユーザホーム領域		Lustre ファイルシステム合計容量：13.3PB
	DB 用ストレージ DRA 等の DDBJ データベースを格納している領域		Lustre ファイルシステム合計容量：40.5PB
	テープ装置 DDBJ データベースのバックアップ用		合計容量：15PB
ノード間相互結合網			InfiniBand HDR100 100Gbps fat tree ストレージに対しては full bi-section 計算ノードに対しては、full bi-sectionの1/2, ただしアクセラレータ最適化ノード Type1同士は400Gbps full bi-section

HPC CPU最適化ノード

HPC CPU最適化ノード Type 1 (50 台)

AMD EPYC 9654 プロセッサを搭載した計算ノードです。

GIGABYTE R283-Z94

構成要素	型番	員数	ノードあたりの性能など
CPU	AMD EPYC 9654 (96 cores) Base 2.4GHz, Max 3.7GHz, 1.8TFlops	2	合計 192 コア, 3.6TFlops
Memory	64GB DDR5-4800	24	合計 1536GB (CPU コアあたり 8GB)
Storage (OS)	1TB NVMe SSD	1
Storage (Data)	30TB NVMe SSD	1
Network	InfiniBand HDR100	1	100Gbps

HPC CPU最適化ノード Type 2 (28 台)

AMD EPYC 7702 プロセッサを搭載した計算ノードです。(旧Thin計算ノードType 1bと同じものです。)

DELL PowerEdge R6525

構成要素	型番	員数	ノードあたりの性能など
CPU	AMD EPYC 7702 (64 cores) Base 2.0GHz, Max 3.35GHz, 1.024TFlops	2	合計 128 コア, 2.048TFlops
Memory	32GB DDR4-2666	16	合計 512GB (CPU コアあたり 4GB)
Storage (OS)	1.6TB NVMe SSD	1
Storage (Data)	900GB SAS HDD	1
Network	InfiniBand 4xEDR	1	100Gbps

メモリ最適化ノード

メモリ最適化ノード Type 1 (2台)

1台にメモリを6TB搭載した計算ノードです。

GIGABYTE R283-ZK0-AAL1

構成要素	型番	員数	ノードあたりの性能など
CPU	AMD EPYC 9654 (96 cores) Base 2.4GHz, Max 3.7GHz, 1.8TFlops	2	合計 192 コア, 3.6TFlops
Memory	128GB DDR5-4800	48	合計 6.144 TB (CPU コアあたり 32GB)
Storage	30TB SATA HDD	1	30TB
Network	InfiniBand HDR100	1	100Gbps

メモリ最適化ノード Type 2 (3台)

1台にメモリを3TB搭載した計算ノードです。

GIGABYTE R203-Z94-AAD2

構成要素	型番	員数	ノードあたりの性能など
CPU	AMD EPYC 9654 (96 cores) Base 2.4GHz, Max 3.7GHz, 1.8TFlops	2	合計 192 コア, 3.6TFlopw
Memory	128GB DDR5-4800	24	合計 3.072TB (CPU コアあたり 16GB)
Storage	30TB SATA HDD	1	30TB
Network	InfiniBand HDR100	1	100Gbps

アクセラレータ最適化ノード

アクセラレータ最適化ノード Type 1 (4台)

NVIDIA B200 GPU を各ノードに 8基搭載した計算ノードです。AI用の計算に適したGPU搭載計算ノードです。

NVIDIA DGX B200

構成要素	型番	員数	ノードあたりの性能など
CPU	Intel Xeon Platinum 8570 (56 cores) Base 2.1GHz, Max 4.0GHz, 1.97TFlops	2	合計 112 コア, 3.94TFlops
Memory	合計2TB		合計 2TB (CPU コアあたり 17.9GB)
GPU	NVIDIA Blackwell B200	8
Storage (OS)	1.9TB NVMe SSD	2	合計3.8TB
Storage (Data)	3.84TB NVMe SSD	8	合計30.7TB
Network	InfiniBand NDR	1	400Gbps

アクセラレータ最適化ノード Type 2 (調達中)

ゲノム解析の計算に適したGPU搭載計算ノードです。

構成要素	ノードあたりの性能など
CPU	合計 64 コア
Memory	合計 768GB (CPU コアあたり 12GB)
GPU	NVIDIA L40S 4基搭載
Storage (OS)	合計 489GB
Storage (Data)	合計15TB

アクセラレータ最適化ノード Type 3 (2台)

アクセラレータとしてPEZY-SC3を搭載したノードです。ゲノム解析の計算に適した計算ノードです。

PEZY ZettaScaler3.0

構成要素	型番	員数	ノードあたりの性能など
CPU	AMD EPYC 7713P (64 cores) Base 2.0GHz, Max 3.67GHz, 1.02TFlops	1	合計 64 コア, 1.02TFlops
Memory	128GB DDR4 3200MHz	16	合計 2TB (CPU コアあたり 32GB)
Accelerator	PEZY-SC3	4
Storage (OS)	0.256TB NVMe SSD	2	合計0.512TB
Storage (Data)	4TB NVMe SSD	4	合計16TB
Network	InfiniBand HDR100	1	100Gbps

(参考）GPU, アクセラレータの性能比較

Accerelater	NVIDIA V100	NVIDIA A100	NVIDIA L40S	NVIDIA H100	NVIDIA B200	PEZY-SC3
GATK互換ソフトのベンチマーク実行時間 [hh:mm:ss]	3:07:29	2:06:14	1:45:05	1:56:24	N/A	1:02:55
Architecture	Volta	Ampere	Ada Lovelace	Hopper	Blackwell	PEZY
Memory size [GB]	16 or 32	40 or 80	40	80 or 94	N/D	32
Memory bandwidth [GB/s]	900	2039	864	3352	N/D	1200
FP64 [TFlops]	7.8	9.7	N/A	33.5	N/D	19.66
FP32 [TFlops]	15.7	19.5	91.6	66.9	N/D	39.32
FP16,BF16 [TFlops]	112	624	733	1979	N/D	78.64
FP8 [TFlops]	N/A	N/A	1466	3958	N/D	N/A
TF32 tensor core [TFlops]	125	312	366	989	N/D	N/A
FP16 tensor core [TFlops]	N/A	624	733	1979	N/D	N/A
FP8 tensor core [TFlops]	N/A	N/A	1466	3958	N/D	N/A
INT8 tensor core [TOPS]	N/A	1248	1466	3958	N/D	N/A

N/A : Not Available, N/D : Not Disclosed
GATK互換ソフトのベンチマーク実行時間は1KGP 30xデータセット(https://www.internationalgenome.org/data-portal/data-collection/30x-grch38) のNA18945サンプルを使った時の計算時間。ベンチマーク詳細はこちらのページ (https://sc.ddbj.nig.ac.jp/advanced_guides/benchmark_parabricks) をご参照ください。

ストレージ

大容量高速ストレージ

用途	容量	ピーク性能	構成
一般解析区画のホーム領域	10PB	read 60GB/sec, write 70GB/sec	DDN ES400NVX2 + DDN SS9024
個人ゲノム解析区画のホーム領域	8PB	read 40GB/sec, write 40GB/sec	DDN ES400NVX2 + DDN SS9024

DB 用ストレージ

用途	容量	ピーク性能	構成
DDBJ データベース格納用	40PB	read 150GB/sec, write 150GB/sec	DDN ES400NVX2 + DDN SS9024
DDBJ データベース格納用	10PB	read 60GB/sec, write 70GB/sec	DDN ES400NVX2 + DDN SS9024

システム全体​

HPC CPU最適化ノード​

HPC CPU最適化ノード Type 1 (50 台)​

HPC CPU最適化ノード Type 2 (28 台)​

メモリ最適化ノード​

メモリ最適化ノード Type 1 (2台)​

メモリ最適化ノード Type 2 (3台)​

アクセラレータ最適化ノード​

アクセラレータ最適化ノード Type 1 (4台)​

アクセラレータ最適化ノード Type 2 (調達中)​

アクセラレータ最適化ノード Type 3 (2台)​

(参考）GPU, アクセラレータの性能比較​

ストレージ​

大容量高速ストレージ​

DB 用ストレージ​