Skip to main content
Data SubmissionDatabaseSupercomputerActivitiesAbout Us

Hardware

Overview#

ClassificationSpecifications
Compute Nodes



15,424 CPU cores

933.560 TFLOPS
(CPU: 434.360 TFLOPS, GPU: 499.2 TFLOPS)

153.088 TB total memory
Thin nodesType 1a
AMD EPYC 7501 CPU.
136 nodes
8,704 CPU cores
139.264 TFLOPS
69.632 TB total memory(8GB memory/CPU core)
Type 1b
AMD EPYC 7702 CPU. (Expansion in April 2020)
28 nodes
3,584 CPU cores
57.344 TFLOPS
14.336 TB total memory (4GB memory/CPU core)
Type 2a
Intel Xeon Gold 6130 CPU
52 nodes
1,664 CPU cores
111.800 TFLOPS
19.968 TB total memory (12GB memory/CPU core)
Type 2b
GPGPU installed
16 nodes
384 CPU cores
64GPUs (4 GPU/node)
536.064 TFLOPS
(CPU: 36.864 TFLOPS, GPU: 499.2 TFLOPS)
6.144 TB total memory (16GB moemory/CPU core)
Medium node
3TB of shared memory installed
10 nodes
800 CPU cores
61.440 TFLOPS
30.72 TB total memory (38.4GB memory/CPU core)
Fat node
Two nodes connected to form 12TB of shared memory
2 node
288 CPU cores
27.648 TFLOPS
12.288 TB total memory (42.7GB memory/CPU core)
Storage

Total storage capacity: 43.8PB
大容量高速ストレージ
解析用ストレージ領域(※1)
Lustreファイルシステム
合計容量:16.8PB
大容量アーカイブストレージ
DB用ストレージ領域(※2)
SpectrumScaleファイルシステム+テープ
合計容量:30PB (15PBディスク、15PBテープの階層ストレージ)
ノード間相互結合網InfiniBand 4×EDR 100Gbps fat tree
(ストレージに対してはfull bi-section、 計算ノードに対しては、上流SWへの接続帯域:下流SWへの接続帯域 = 1:4)
  • ※1. 解析用ストレージ領域:一般解析区画および個人ゲノム解析区画におけるユーザホーム領域
  • ※2. DB用ストレージ領域:DRA等のDDBJデータベースを格納している領域。データベースは一般解析区画から参照可能。

計算ノード#

Thin計算ノード Type 1a (HPE ProLiant DL385 Gen10; 136台)#

CPUとしてAMD EPYC 7501プロセッサを搭載した計算ノードです。


HPE ProLiant DL385 Gen10 (ホスト名: at001 -- at136)

構成要素型番員数ノードあたりの性能など
CPUAMD EPYC 7501 (32 cores) Base 2.0GHz, Max 3.0GHz2合計64コア
Memory32GB DDR4-266616合計 512GB (CPUコアあたり 8GB)
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin計算ノード Type 1b (DELL PowerEdge R6525; 28台)#

CPUとしてAMD EPYC 7702プロセッサを搭載した計算ノードです。

DELL PowerEdge R6525 (ホスト名: at137 -- at164)

構成要素型番員数ノードあたりの性能など
CPUAMD EPYC 7702 (64 cores) Base 2.0GHz, Max 3.35GHz2合計 128コア
Memory32GB DDR4-266616合計 512GB (CPUコアあたり 4GB)
Storage1.6TB NVMe SSD x1, 900GB SAS HDDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin計算ノード Type 2a (HPE Apollo 2000 Gen10; 52台)#

CPUとしてIntel Xeonプロセッサを搭載した計算ノードです。

HPE Apollo 2000 Gen10 (ホスト名: it001 -- it052)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6130 (16 cores) Base 2.1GHz, Max 3.7GHz2合計 32コア
Memory32GB DDR4-266612合計 386GB (CPUコアあたり 12GB)
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

Thin計算ノード Type 2b (HPE Apollo 6500 Gen10; 16台)#

NVIDIA Tesla V100 GPUを各ノードに4基搭載した計算ノードです。

HPE Apollo 6500 Gen10 (ホスト名: igt001 -- igt016)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6136 (12 cores) Base 3.0GHz, Max 3.7GHz2合計 24コア
Memory32GB DDR4-266612合計 386GB (CPUコアあたり 16GB)
GPUNVIDIA Tesla V100 SXM24
Storage1.6TB NVMe SSD x1, 3.2TB NVMe SSDx1
NetworkInfiniBand 4xEDR1100Gbps

(参考)GPUの仕様#

属性名
名称NVIDIA Tesla V100 SXM2
コア数(個)640
クロック速度1,455MHz
単精度浮動小数点演算ピーク性能15TFLOPS
倍精度浮動小数点演算ピーク性能7.5TFLOPS
単体コア理論性能1.3GLOPS
メモリサイズ6GB(GDDR5)
メモリバンド幅900GB/sec
1GFLOPS毎のメモリバンド幅266GB/sec
接続帯域8 (PCIe2.0 x16)GB/sec

Medium計算ノード (HPE ProLiant DL560 Gen10; 10台)#

3TBの物理メモリを搭載した80コアを搭載した計算ノードです。De novoアセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE配下のためジョブ投入により利用可能です。

HPE ProLiant DL560 Gen10 (ホスト名: m01 -- m10)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz4合計 80コア
Memory32GB DDR4-266648合計 3,072GB (CPUコアあたり 38.4GB)
Storage1TB SATA HDD21TB (RAID1)
NetworkInfiniBand 4xEDR1100Gbps

Fat計算ノード (HPE Superdome Flex; 1台)#

複数の計算ノードを接続して大規模な共有メモリー型の計算機を構築するNUMA(Non Uniformed Memory Access)アーキテクチャの計算ノードです。

FATノードはUGE配下ではなく、申請制での利用となります。

HPE Superdome Flex (ホスト名: fat1)

構成要素型番員数ノードあたりの性能など
CPUIntel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz16合計 288コア
Memory32GB DDR4-2666192合計 12,288GB (CPUコアあたり 47.2GB)
Storage1.2TB SAS HDD21.2TB (RAID1)
NetworkInfiniBand 4xEDR1100Gbps

ストレージ#

高速ストレージ Lustreファイルシステム#

アクセスパス実効容量用途ピーク性能構成
/lustre63.8PBDDBJ業務35GB/secDDN SFA14KXE+SS8462, DDN 1U server, DDN SFA7700X
/lustre78.0PB一般解析区画のホーム領域35GB/sec以上DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X
/lustre85.0PB個人ゲノム解析区画のホーム領域35GB/sec以上DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X

大容量アーカイブストレージ#

DRA等のDDBJデータベースを格納するなどDDBJの業務に利用しており、一般ユーザには公開していません。 容量をかせぐため、高速なディスクシステムと容量単価の安いテープシステムを用いた階層ストレージシステムとなっています。

構成要素型番実効容量・性能など
大容量ディスクシステムIBM Elastic Storage Server GL6S12.9PB, read 36.6GB/s, write 29.0GB/s
大容量テープシステムIBM TS4500テープライブラリ15PB (非圧縮時)
テープカートリッジIBM 3592JDカートリッジ
テープドライブIBM TS1155 (x8台)1台当たりread, writeとも360MB/s
階層ストレージ管理システムSpectrumScaleサーバ
Last updated on