メインコンテンツまでスキップ

ハードウェア

システム全体

機器分類機器諸元
計算ノード


総 CPU コア数: 15,424
合計演算性能 933.560 TFLOPS
(CPU: 434.360 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 153.088 TB
Thin 計算ノード


総 CPU コア数: 14,336
合計演算性能 844.472 TFLOPS
(CPU: 345.272 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 110.080 TB
Type 1a
CPU に AMD EPYC 7501 を搭載
ノード数: 136 台
総 CPU コア数: 8,704
合計演算性能: 139.264 TFLOPS
総メモリ容量 69.632 TB(コアあたり 8GB)
Type 1b
CPU に AMD EPYC 7702 を搭載(2020 年 4 月増設
ノード数: 28 台
総 CPU コア数: 3,584
合計演算性能: 57.344 TFLOPS
総メモリ容量 14.336 TB(コアあた 4GB)
Type 2a
CPU に Intel Xeon Gold 6130 を搭載
ノード数: 52 台
総 CPU コア数: 1,664
合計演算性能 111.800 TFLOPS
総メモリ容量 19.968 TB (コアあたり 12GB)
Type 2b
GPGPU 搭載
ノード数: 16 台
総 CPU コア数: 384
総 GPU 数: 64 基(1 ノードあたり 4 基)
合計演算性能: 536.064 TFLOPS
(CPU: 36.864 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 6.144 TB (コアあたり 16GB)
Medium 計算ノード
3TB の共有メモリ搭載
ノード数: 10 台
総 CPU コア数: 800
合計演算性能 61.440 TFLOPS
総メモリ容量 30.72 TB (コアあたり 38.4GB)
Fat 計算ノード
2 ノードを接続し 12TB の共有メモリを構成
ノード数 2 台
総 CPU コア数: 288
合計演算性能 27.648 TFLOPS
総メモリ容量 12.288 TB (コアあたり 42.7GB)
ストレージ

総ストレージ容量 43.8PB
大容量高速ストレージ
解析用ストレージ領域(※1)
Lustre ファイルシステム
合計容量:16.8PB
大容量アーカイブストレージ
DB 用ストレージ領域(※2)
SpectrumScale ファイルシステム+テープ
合計容量:30PB (15PB ディスク、15PB テープの階層ストレージ)
ノード間相互結合網InfiniBand 4×EDR 100Gbps fat tree
(ストレージに対しては full bi-section、 計算ノードに対しては、上流 SW への接続帯域:下流 SW への接続帯域 = 1:4)
  • ※1. 解析用ストレージ領域:一般解析区画および個人ゲノム解析区画におけるユーザホーム領域
  • ※2. DB 用ストレージ領域:DRA 等の DDBJ データベースを格納している領域。データベースは一般解析区画から参照可能。

計算ノード

Thin 計算ノード Type 1a (HPE ProLiant DL385 Gen10; 136 台)

CPU として AMD EPYC 7501 プロセッサを搭載した計算ノードです。


HPE ProLiant DL385 Gen10 (ホスト名: at001 -- at136)

構成要素型番員数ノードあたりの性能など
CPUAMD EPYC 7501 (32 cores) Base 2.0GHz, Max 3.0GHz2合計 64 コア
Memory32GB DDR4-266616合計 512GB (CPU コアあたり 8GB)
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin 計算ノード Type 1b (DELL PowerEdge R6525; 28 台)

CPU として AMD EPYC 7702 プロセッサを搭載した計算ノードです。

DELL PowerEdge R6525 (ホスト名: at137 -- at164)

構成要素型番員数ノードあたりの性能など
CPUAMD EPYC 7702 (64 cores) Base 2.0GHz, Max 3.35GHz2合計 128 コア
Memory32GB DDR4-266616合計 512GB (CPU コアあたり 4GB)
Storage1.6TB NVMe SSD x1, 900GB SAS HDDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin 計算ノード Type 2a (HPE Apollo 2000 Gen10; 52 台)

CPU として Intel Xeon プロセッサを搭載した計算ノードです。

HPE Apollo 2000 Gen10 (ホスト名: it001 -- it052)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6130 (16 cores) Base 2.1GHz, Max 3.7GHz2合計 32 コア
Memory32GB DDR4-266612合計 384GB (CPU コアあたり 12GB)
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin 計算ノード Type 2b (HPE Apollo 6500 Gen10; 16 台)

NVIDIA Tesla V100 GPU を各ノードに 4 基搭載した計算ノードです。

HPE Apollo 6500 Gen10 (ホスト名: igt001 -- igt016)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6136 (12 cores) Base 3.0GHz, Max 3.7GHz2合計 24 コア
Memory32GB DDR4-266612合計 384GB (CPU コアあたり 16GB)
GPUNVIDIA Tesla V100 SXM24
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

(参考)GPU の仕様

属性名
名称NVIDIA Tesla V100 SXM2
コア数(個)640
クロック速度1,455MHz
単精度浮動小数点演算ピーク性能15TFLOPS
倍精度浮動小数点演算ピーク性能7.5TFLOPS
単体コア理論性能1.3GLOPS
メモリサイズ6GB(GDDR5)
メモリバンド幅900GB/sec
1GFLOPS 毎のメモリバンド幅266GB/sec
接続帯域8 (PCIe2.0 x16)GB/sec

Medium 計算ノード (HPE ProLiant DL560 Gen10; 10 台)

3TB の物理メモリを搭載した 80 コアを搭載した計算ノードです。De novo アセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE 配下のためジョブ投入により利用可能です。

HPE ProLiant DL560 Gen10 (ホスト名: m01 -- m10)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz4合計 80 コア
Memory32GB DDR4-266648合計 3,072GB (CPU コアあたり 38.4GB)
Storage1TB SATA HDD21TB (RAID1)
NetworkInfiniBand 4xEDR1100Gbps

Fat 計算ノード (HPE Superdome Flex; 1 台)

複数の計算ノードを接続して大規模な共有メモリー型の計算機を構築する NUMA(Non Uniformed Memory Access)アーキテクチャの計算ノードです。

FAT ノードは申請制での利用となります。

HPE Superdome Flex (ホスト名: fat1)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz16合計 288 コア
Memory32GB DDR4-2666192合計 12,288GB (CPU コアあたり 47.2GB)
Storage1.2TB SAS HDD21.2TB (RAID1)
NetworkInfiniBand 4xEDR1100Gbps

ストレージ

高速ストレージ Lustre ファイルシステム

アクセスパス実効容量用途ピーク性能構成
/lustre63.8PBDDBJ 業務35GB/secDDN SFA14KXE+SS8462, DDN 1U server, DDN SFA7700X
/lustre78.0PB一般解析区画のホーム領域35GB/sec 以上DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X
/lustre85.0PB個人ゲノム解析区画のホーム領域35GB/sec 以上DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X

大容量アーカイブストレージ

DRA 等の DDBJ データベースを格納するなど DDBJ の業務に利用しており、一般ユーザには公開していません。 容量をかせぐため、高速なディスクシステムと容量単価の安いテープシステムを用いた階層ストレージシステムとなっています。

構成要素型番実効容量・性能など
大容量ディスクシステムIBM Elastic Storage Server GL6S12.9PB, read 36.6GB/s, write 29.0GB/s
大容量テープシステムIBM TS4500 テープライブラリ15PB (非圧縮時)
テープカートリッジIBM 3592JD カートリッジ
テープドライブIBM TS1155 (x8 台)1台当たりread, writeとも360MB/s
階層ストレージ管理システムSpectrumScaleサーバ