ハードウェア構成

 

1.システム全体

  ハードウェア諸元 合計
計算ノード     Thin計算ノード   Type 1

CPUにAMD EPYCを搭載

 

ノード数: 136台
総CPUコア数: 8,704
合計演算性能: 139.264 TFLOPS
総メモリ容量 69.632 TB (コアあたり8GB)

総CPUコア数: 11,696
合計演算性能 876.216 TFLOPS
(CPU: 377.016 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 138.752 TB
Type 2a

CPUにIntel Xeonを搭載

ノード数: 52台
総CPUコア数: 1,664
合計演算性能 111.800 TFLOPS
総メモリ容量 19.968 TB (コアあたり12GB)

Type 2b

GPGPU搭載

ノード数: 16台
総CPUコア数: 384
合計演算性能: 536.064 TFLOPS
(CPU: 36.864 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 6.144 TB (コアあたり16GB)
Medium計算ノード

3TBの共有メモリ搭載

ノード数: 10台
総CPUコア数: 800
合計演算性能 61.440 TFLOPS
総メモリ容量 30.72 TB (コアあたり 38.4GB)
Fat計算ノード

2ノードを接続し12TBの共有メモリを構成

ノード数 2台
総CPUコア数: 288
合計演算性能 27.648 TFLOPS
総メモリ容量 12.288 TB (コアあたり42.7GB)
ストレージ  大容量高速ストレージ

解析用ストレージ領域(※1)

 Lustreファイルシステム
合計容量:13.8PB
 総ストレージ容量  43.8PB
大容量アーカイブストレージ

DB用ストレージ領域(※2)

 SpectrumScaleファイルシステム+テープ
合計容量:30PB (15PBディスク、15PBテープの階層ストレージ)
Thin計算ノード搭載NVMe SSD

解析用一時データ配置領域

 3.2TB/各Thin計算ノード 複数ノードのNVMe SSDを束ねてLustre on Demand(Lustreファイルシステム)としても利用可能。
ノード間相互結合網  InfiniBand 4×EDR 100Gbps fat tree (ストレージに対してはfull bi-section、計算ノードは上流SWへの接続帯域:下流SWへの接続帯域は1:4)  同左

 ※1. 解析用ストレージ領域:一般解析区画および個人ゲノム解析区画におけるユーザホーム領域
 ※2. DB用ストレージ領域:DRA等のDDBJデータベースを格納している領域。データベースは一般解析区画から参照可能。

 

2.計算ノード

・計算ノードの種類とCPU

(Intel と AMD のホームページから引用)

計算ノード

プロセッサ名

Fat

Xeon Gold 6154

Medium

Xeon Gold 6148

Thin Type 1

AMD EPYC7501

Thin Type 2a

Xeon Gold 6130

Thin Type 2b

Xeon Gold 6136

コードネーム Skylake Skylake  Naples Skylake  Skylake
リリース時期 2017年第3四半期    2017年第3四半期    2017年第2四半期    2017年第3四半期     2017年第3四半期   
コア数 18 20 32 16 12
物理スレッド数 36 40 64 32 24
クロックスピード 3.00GHz 2.4GHz 2.0GHz 2.1GHz 3.00GHz
理論演算性能(CPU当り) 1728.0GFLOPS 1536.0GFLOPS 512.0GFLOPS 1075.2GFLOPS 1152.0GFLOPS
Turbo boost最大周波数 3.70GHz 3.70GHz 3GHz 3.70GHz 3.70GHz
Cache 24.75MB 27.5MB 64MB 21MB 24.75MB

計算内容が主に整数演算の場合AMD EPYCが有利、浮動小数点演算の場合Intel Xeonが有利です。

AMD製CPU EPYC7501は1CPU32コアを有することが特徴です。メモリも8チャネルあり大容量のメモリを搭載可能です。今回は512GB/nodeのメモリを搭載しています。

Intel製CPUはskylake世代を導入しています。新しい拡張命令セットであるIntel AVX-512をサポートしており、利用することにより演算幅が従来の2倍となり、 浮動小数点演算については従来プロセッサに対して大幅な性能向上を実現しています。AVX-512に対応しているソフトウェアについてはIntel製CPU搭載のThinノードを利用して頂いたほうが有利です。

 

 

・Thin計算ノード Type 1 (HPE ProLiant DL385 Gen10; 136台)

CPUとしてAMD EPYCプロセッサを搭載した計算ノードです。

    

  HPE ProLiant DL385 Gen10

        HPE ProLiant DL385 Gen10

 

          (ホスト名: at001 -- at136)

構成要素  型番 員数   ノードあたりの性能など
 CPU

AMD EPYC 7501 (32 cores)

Base 2.0GHz, Max 3.0GHz 

 2基

合計64 cores

 

 Memory  32GB DDR4-2666 DIMM 16枚  合計 512GB  (CPUコアあたり 8GB) 
 Storage  1.6TB NVMe SSD 1基  
3.2TB NVMe SSD 1基  
Network InfiniBand 4xEDR 1本  100Gbps

 

 

・Thin計算ノード Type 2a (HPE Apollo 2000 Gen10; 52台)

CPUとしてIntel Xeonプロセッサを搭載した計算ノードです。

    

thin_type2a.png  

        HPE Apollo 2000 Gen10

 

        (ホスト名: it001 -- it052)

構成要素  型番 員数   ノードあたりの性能など
 CPU

Intel Xeon Gold 6130 (16 cores)

Base 2.1GHz, Max 3.7GHz 

2基

合計32 cores

 

 Memory 32GB DDR4-2666 DIMM 12枚  合計 384GB  (CPUコアあたり 12GB) 
 Storage 1.6TB NVMe SSD 1基  
3.2TB NVMe SSD 1基  
Network InfiniBand 4xEDR 1本  100Gbps

  

・Thin計算ノード Type 2b (HPE Apollo 6500 Gen10; 16台)

NVIDIA Tesla V100 GPUを各ノードに4基搭載した計算ノードです。

    thin_type2b.png

        HPE Apollo 6500 Gen10

 

       (ホスト名: igt001 -- igt016)

構成要素  型番 員数   ノードあたりの性能など
 CPU

Intel Xeon Gold 6136 (12 cores)

Base 3.0GHz, Max 3.7GHz 

2基

合計24 cores

 

 Memory 32GB DDR4-2666 DIMM 12枚  合計 384GB  (CPUコアあたり 16GB) 
GPU NVIDIA Tesla V100 SXM2 4基  
 Storage 1.6TB NVMe SSD 1基  
3.2TB NVMe SSD 1基  
Network InfiniBand 4xEDR 1本  100Gbps

 

(参考)GPUの仕様 

名称 NVIDIA Tesla V100 SXM2 (GPGPU)    
コア数(個) 640
クロック速度 1,455MHz
単精度浮動小数点演算ピーク性能 15TFLOPS
倍精度浮動小数点演算ピーク性能 7.5TFLOPS
単体コア理論性能 1.3GLOPS
メモリサイズ 6GB(GDDR5)
メモリバンド幅 900GB/sec
1GFLOPS毎のメモリバンド幅 266GB/sec
接続帯域 8 (PCIe2.0 x16)GB/sec

 

・Medium計算ノード (HPE ProLiant DL560 Gen10; 10台)

3TBの物理メモリを搭載した80コアを搭載した計算ノードです。De novoアセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE配下のためジョブ投入により利用可能です。

    

  medium.png

        HPE ProLiant DL560 Gen10

 

         (ホスト名: m01 -- m10)

構成要素  型番 員数   ノードあたりの性能など
 CPU

Intel Xeon Gold 6148 (20 cores)

Base 2.4GHz, Max 3.7GHz 

4基

合計80 cores

 

 Memory 64GB DDR4-2666 DIMM 48枚  合計 3,072GB  (CPUコアあたり 38.4GB) 
 Storage 1TB SATA HDD 2基 (RAID1) 合計1TB (RAID1)
Network InfiniBand 4xEDR 1本  100Gbps

  

・Fat計算ノード (HPE Superdome Flex; 2台)

複数の計算ノードを接続して大規模な共有メモリー型の計算機の構築が可能なNUMA(Non Uniformed Memory Access)アーキテクチャの計算ノードです。遺伝研スパコンでは2台を接続し合計12TBの共有メモリが利用できます。 
FATノードはUGE配下ではなく、申請制での利用となります。

    

  HPE superdome flex

        HPE Superdome Flex

 

         (ホスト名: fat1, fat2)

構成要素  型番 員数   ノードあたりの性能など
 CPU

Intel Xeon Gold 6148 (18 cores)

Base 3.0GHz, Max 3.7GHz 

8基

合計144 cores

(2筐体結合時288 cores) 

 Memory 64GB DDR4-2666 DIMM 96枚 

合計 6,144GB  (CPUコアあたり 42.7GB) 

(2筐体結合時12TB)

 Storage 1.2TB SAS HDD 2基 (RAID1) 合計1.2TB (RAID1)
Network InfiniBand 4xEDR 2本  100Gbps

 

 

3. ストレージ

ストレージでは、性能と用途で大別して以下のディスク領域を提供しています。

ストレージ種別(ファイルシステム) マウントディレクトリ 利用可能な計算ノード アクセス速度 主な用途、備考
大容量高速ストレージ
(Lustre)
/lustre6 - /lustre8 すべての種別の計算ノードからアクセス可能 高い。
複数ノードからの高並列での書き込みに対応。
ユーザホーム領域、及びジョブの出力用スクラッチエリア
ローカルNVMe SSD /data1 Thin計算ノードで利用可能 非常に高い。 ジョブのスクラッチデータ置き場(再起動で削除)但しノード間で共有はできない。
複数ノードのNVMeSSDを組み合わせてLustre(Lustre on Demand)を構成することでノード間の共有も可能。
大容量アーカイブストレージ
(Spectrum Scale)
/gpfs1 - /gpfs3 すべての種別の計算ノードからアクセス可能。ただし参照専用。 高い。
複数ノードからの高並列での書き込みに対応。

業務用途。
DRA等のDDBJデータベースを格納しており、計算ノードから参照可能。

大容量アーカイブストレージ
(Tape領域)

 -

研究用途ノードでは通常無し 低い。 データバックアップとして利用。
Spectrum Scaleとの階層ストレージとしても利用。

 

・大容量高速ストレージ(Lustre)

※詳細や使い方については「Lustreについて」をご参照ください。

高速並列ファイルシステムであるLustre File System(Lustre)により構成しています。Lustreは、複数ノードからの大容量の並列IOに対して高い性能を持つファイルシステムであり、ユーザのホームディレクトリ領域兼ジョブ出力の出力先として利用しています。

 

遺伝研スーパーコンピュータが提供するLustreファイルシステム一覧
ファイルシステム名称 アクセスパス 実効容量 利用用途 最大性能値 構成
Lustre6 /lustre6 3.8PB

一般解析区画のホーム領域用(Quota設定,容量保証)
※容量保証用にユーザ合計のquota量に少しの余裕を持たせています

35GB/sec DDN SFA14KXE+SS8462, DDN 1U server, DDN SFA7700X
Lustre7 /lustre7 5.0PB

一般解析区画のホーム領域用(Quota設定)

35GB/sec以上 DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X
Lustre8 /lustre8 5.0PB 個人ゲノム解析区画のホーム領域用 35GB/sec以上 DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X

 
標準では自身のホーム領域が存在するLustreにおいて1TBのquotaが設定されています。計算機リソース拡張申し込みを行うことで、quota制限を希望値まで拡張することが 可能です。必要な方は申し込みを行って下さい。

 

・大容量アーカイブストレージ 

※詳細や使い方については「Spectrum Scaleおよびテープについて」をご参照ください。

業務用途に主に利用しており、現時点では一般ユーザのジョブから直接書き込みが可能なワーク領域としては公開していません。DRA等のDDBJデータベースを格納しています。格納しているデータベースはFTPとして公開している他、計算ノードから直接参照が可能です。

 

大容量アーカイブストレージ構成
項目 用途 製品名 員数 総容量
大容量ディスクシステム Spectrum Scaleストレージ IBM Elastic Storage Server GL6S 4 12.9PB
大容量テープシステム テープライブラリ IBM TS4500テープライブラリ 1 15PB(非圧縮時)
テープカートリッジ IBM 3592JDカートリッジ 1,000
テープドライブ IBM TS1155 8
階層ストレージ管理システム SpectrumScaleサーバ HPE ProLiant DL360 Gen10 4 -
Spectrum Protect DB用ディスク IBM V5030 1

 

・Thin計算ノード上のSSDについて

※詳細や使い方については「Thin計算ノード搭載NVMe SSDについて」をご参照ください。

Thin計算ノードはジョブにおける一時ファイルをおくスクラッチエリアとしてNVMe SSD(3.2TB)を搭載しています。NVMe SSDには/data1というパスでアクセス可能です。大量の小ファイルを参照したり書き込んだりするジョブの場合は非常に有利です。

また、Thin計算ノードのNVMe SSDを複数台束ねて利用者専用のLustreファイルシステムを構成することが可能です(Lustre on Demand)。

 

Thin計算ノード搭載NVMe SSDの機器詳細
型番 HPE 3.2TB nvme x4 Lanes Mixed Use SFF(2.5in) SCN 3yr Wty Digitally Singned Firmware SSD
容量 3.2TB
接続インタフェース NVMe
最大シーケンシャルread 3,200 MB/sec
最大シーケンシャルwrite 2,000 MB/sec
最大ランダムread IOPS(4KiB) 675,000@Q256
最大ランダムwrite IOPS(4KiB) 240,000@Q16
書き込み耐性(DWPD) ランダムWrite時 2.9DWPD

 

4. ノード間相互結合網

2019年導入のThin計算ノードはInfiniBand 4×EDR ×1を搭載し、各計算ノード間はInfiniBand 4×EDR スイッチにより接続されています。InfiniBandスイッチはSpine-Leaf構成となっており、上流への接続帯域:下流への接続帯域は1:4となっています。InfiniBandスイッチ間、InfiniBandコアスイッチとスーパーコンピュータ用ファイアウォール間は 10GbE×4で接続されています。