メインコンテンツまでスキップ
Data SubmissionDatabaseSupercomputerActivitiesAbout Us

ハードウェア

システム全体#

機器分類機器諸元
計算ノード


総CPUコア数: 15,424
合計演算性能 933.560 TFLOPS
(CPU: 434.360 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 153.088 TB
Thin計算ノード


総CPUコア数: 14,336
合計演算性能 844.472 TFLOPS
(CPU: 345.272 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 110.080 TB
Type 1a
CPUにAMD EPYC 7501を搭載
ノード数: 136台
総CPUコア数: 8,704
合計演算性能: 139.264 TFLOPS
総メモリ容量 69.632 TB(コアあたり8GB)
Type 1b
CPUにAMD EPYC 7702を搭載(2020年4月増設
ノード数: 28台
総CPUコア数: 3,584
合計演算性能: 57.344 TFLOPS
総メモリ容量 14.336 TB(コアあた4GB)
Type 2a
CPUにIntel Xeon Gold 6130を搭載
ノード数: 52台
総CPUコア数: 1,664
合計演算性能 111.800 TFLOPS
総メモリ容量 19.968 TB (コアあたり12GB)
Type 2b
GPGPU搭載
ノード数: 16台
総CPUコア数: 384
総GPU数: 64基(1ノードあたり4基)
合計演算性能: 536.064 TFLOPS
(CPU: 36.864 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 6.144 TB (コアあたり16GB)
Medium計算ノード
3TBの共有メモリ搭載
ノード数: 10台
総CPUコア数: 800
合計演算性能 61.440 TFLOPS
総メモリ容量 30.72 TB (コアあたり 38.4GB)
Fat計算ノード
2ノードを接続し12TBの共有メモリを構成
ノード数 2台
総CPUコア数: 288
合計演算性能 27.648 TFLOPS
総メモリ容量 12.288 TB (コアあたり42.7GB)
ストレージ

総ストレージ容量 43.8PB
大容量高速ストレージ
解析用ストレージ領域(※1)
Lustreファイルシステム
合計容量:16.8PB
大容量アーカイブストレージ
DB用ストレージ領域(※2)
SpectrumScaleファイルシステム+テープ
合計容量:30PB (15PBディスク、15PBテープの階層ストレージ)
ノード間相互結合網InfiniBand 4×EDR 100Gbps fat tree
(ストレージに対してはfull bi-section、 計算ノードに対しては、上流SWへの接続帯域:下流SWへの接続帯域 = 1:4)
  • ※1. 解析用ストレージ領域:一般解析区画および個人ゲノム解析区画におけるユーザホーム領域
  • ※2. DB用ストレージ領域:DRA等のDDBJデータベースを格納している領域。データベースは一般解析区画から参照可能。

計算ノード#

Thin計算ノード Type 1a (HPE ProLiant DL385 Gen10; 136台)#

CPUとしてAMD EPYC 7501プロセッサを搭載した計算ノードです。


HPE ProLiant DL385 Gen10 (ホスト名: at001 -- at136)

構成要素型番員数ノードあたりの性能など
CPUAMD EPYC 7501 (32 cores) Base 2.0GHz, Max 3.0GHz2合計64コア
Memory32GB DDR4-266616合計 512GB (CPUコアあたり 8GB)
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin計算ノード Type 1b (DELL PowerEdge R6525; 28台)#

CPUとしてAMD EPYC 7702プロセッサを搭載した計算ノードです。

DELL PowerEdge R6525 (ホスト名: at137 -- at164)

構成要素型番員数ノードあたりの性能など
CPUAMD EPYC 7702 (64 cores) Base 2.0GHz, Max 3.35GHz2合計 128コア
Memory32GB DDR4-266616合計 512GB (CPUコアあたり 4GB)
Storage1.6TB NVMe SSD x1, 900GB SAS HDDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin計算ノード Type 2a (HPE Apollo 2000 Gen10; 52台)#

CPUとしてIntel Xeonプロセッサを搭載した計算ノードです。

HPE Apollo 2000 Gen10 (ホスト名: it001 -- it052)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6130 (16 cores) Base 2.1GHz, Max 3.7GHz2合計 32コア
Memory32GB DDR4-266612合計 384GB (CPUコアあたり 12GB)
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin計算ノード Type 2b (HPE Apollo 6500 Gen10; 16台)#

NVIDIA Tesla V100 GPUを各ノードに4基搭載した計算ノードです。

HPE Apollo 6500 Gen10 (ホスト名: igt001 -- igt016)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6136 (12 cores) Base 3.0GHz, Max 3.7GHz2合計 24コア
Memory32GB DDR4-266612合計 384GB (CPUコアあたり 16GB)
GPUNVIDIA Tesla V100 SXM24
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

(参考)GPUの仕様#

属性名
名称NVIDIA Tesla V100 SXM2
コア数(個)640
クロック速度1,455MHz
単精度浮動小数点演算ピーク性能15TFLOPS
倍精度浮動小数点演算ピーク性能7.5TFLOPS
単体コア理論性能1.3GLOPS
メモリサイズ6GB(GDDR5)
メモリバンド幅900GB/sec
1GFLOPS毎のメモリバンド幅266GB/sec
接続帯域8 (PCIe2.0 x16)GB/sec

Medium計算ノード (HPE ProLiant DL560 Gen10; 10台)#

3TBの物理メモリを搭載した80コアを搭載した計算ノードです。De novoアセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE配下のためジョブ投入により利用可能です。

HPE ProLiant DL560 Gen10 (ホスト名: m01 -- m10)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz4合計 80コア
Memory32GB DDR4-266648合計 3,072GB (CPUコアあたり 38.4GB)
Storage1TB SATA HDD21TB (RAID1)
NetworkInfiniBand 4xEDR1100Gbps

Fat計算ノード (HPE Superdome Flex; 1台)#

複数の計算ノードを接続して大規模な共有メモリー型の計算機を構築するNUMA(Non Uniformed Memory Access)アーキテクチャの計算ノードです。

FATノードはUGE配下ではなく、申請制での利用となります。

HPE Superdome Flex (ホスト名: fat1)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz16合計 288コア
Memory32GB DDR4-2666192合計 12,288GB (CPUコアあたり 47.2GB)
Storage1.2TB SAS HDD21.2TB (RAID1)
NetworkInfiniBand 4xEDR1100Gbps

ストレージ#

高速ストレージ Lustreファイルシステム#

アクセスパス実効容量用途ピーク性能構成
/lustre63.8PBDDBJ業務35GB/secDDN SFA14KXE+SS8462, DDN 1U server, DDN SFA7700X
/lustre78.0PB一般解析区画のホーム領域35GB/sec以上DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X
/lustre85.0PB個人ゲノム解析区画のホーム領域35GB/sec以上DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X

大容量アーカイブストレージ#

DRA等のDDBJデータベースを格納するなどDDBJの業務に利用しており、一般ユーザには公開していません。 容量をかせぐため、高速なディスクシステムと容量単価の安いテープシステムを用いた階層ストレージシステムとなっています。

構成要素型番実効容量・性能など
大容量ディスクシステムIBM Elastic Storage Server GL6S12.9PB, read 36.6GB/s, write 29.0GB/s
大容量テープシステムIBM TS4500テープライブラリ15PB (非圧縮時)
テープカートリッジIBM 3592JDカートリッジ
テープドライブIBM TS1155 (x8台)1台当たりread, writeとも360MB/s
階層ストレージ管理システムSpectrumScaleサーバ
に最終更新