ハードウェア構成

 

1.システム全体

  ハードウェア諸元 合計
計算ノード     Thin計算ノード   Type 1

CPUにAMD EPYCを搭載

 

ノード数: 136台
総CPUコア数: 8,704
合計演算性能: 362.032 TFLOPS
総メモリ容量 69.632 TB (コアあたり8GB)

総CPUコア数: 11,696
合計演算性能 1.099 PFLOPS
(CPU: 599.784 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 138.752 TB
Type 2a

CPUにIntel Xeonを搭載

ノード数: 52台
総CPUコア数: 1,664
合計演算性能 111.800 TFLOPS
総メモリ容量 19.968 TB (コアあたり12GB)

Type 2b

GPGPU搭載

ノード数: 16台
総CPUコア数: 384
合計演算性能: 536.064 TFLOPS
(CPU: 36.864 TFLOPS, GPU: 499.2 TFLOPS)
総メモリ容量 6.144 TB (コアあたり16GB)
Medium計算ノード

3TBの共有メモリ搭載

ノード数: 10台
総CPUコア数: 800
合計演算性能 61.440 TFLOPS
総メモリ容量 30.72 TB (コアあたり 38.4GB)
Fat計算ノード

2ノードを接続し12TBの共有メモリを構成

ノード数 2台
総CPUコア数: 144
合計演算性能 27.648 TFLOPS
総メモリ容量 12.288 TB (コアあたり42.7GB)
ストレージ  大容量高速ストレージ

解析用ストレージ領域

 13.8PB  総ストレージ容量  43.8PB
大容量アーカイブストレージ

DB用ストレージ領域

 30PB (15PBディスク、15PBテープの階層ストレージ)
ノード間相互結合網  InfiniBand 4×EDR 100Gbps fat tree (ストレージに対してはfull bi-section、計算ノードは上流SWへの接続帯域:下流SWへの接続帯域は1:4)  同左

 

2.計算ノード

計算ノードの種類とCPU

(Intel と AMD のホームページから引用)

計算ノード

プロセッサ名

Fat

Xeon Gold 6154

Medium

Xeon Gold 6148

Thin Type 1

AMD EPYC7501

Thin Type 2a

Xeon Gold 6130

Thin Type 2b

Xeon Gold 6136

コードネーム Skylake Skylake  Naples Skylake  Skylake
リリース時期 2017年第3四半期    2017年第3四半期    2017年第2四半期    2017年第3四半期     2017年第3四半期   
コア数 18 20 32 16 12
物理スレッド数 36 40 64 32 24
クロックスピード 3.00GHz 2.4GHz 2.0GHz 2.1GHz 3.00GHz
理論演算性能(CPU当り) 1728.0GFLOPS 1536.0GFLOPS 512.0GFLOPS 1075.2GFLOPS 1152.0GFLOPS
Turbo boost最大周波数 3.70GHz 3.70GHz 3GHz 3.70GHz 3.70GHz
Cache 24.75MB 27.5MB 64MB 21MB 24.75MB

計算内容が主に整数演算の場合AMD EPYCが有利、浮動小数点演算の場合Intel Xeonが有利です。

AMD製CPU EPYC7501は1CPU32コアを有することが特徴です。メモリも8チャネルあり大容量のメモリを搭載可能です。今回は512GB/nodeのメモリを搭載しています。

Intel製CPUはskylake世代を導入しています。新しい拡張命令セットであるIntel AVX-512をサポートしており、利用することにより演算幅が従来の2倍となり、 浮動小数点演算については従来プロセッサに対して大幅な性能向上を実現しています。AVX-512に対応しているソフトウェアについてはIntel製CPU搭載のThinノードを利用して頂いたほうが有利です。

 

 

Thin計算ノード Type 1 (HPE ProLiant DL385 Gen10; 136台)

CPUとしてAMD EPYCプロセッサを搭載した計算ノードです。

    

  HPE ProLiant DL385 Gen10

        HPE ProLiant DL385 Gen10

 

          (ホスト名: at001 -- at136)

構成要素  型番 員数   ノードあたりの性能など
 CPU

AMD EPYC 7501 (32 cores)

Base 2.0GHz, Max 3.0GHz 

 2基

合計64 cores

 

 Memory  32GB DDR4-2666 DIMM 16枚  合計 512GB  (CPUコアあたり 8GB) 
 Storage  1.6TB NVMe SSD 1基  
3.2TB NVMe SSD 1基  
Network InfiniBand 4xEDR 1本  100Gbps

 

 

Thin計算ノード Type 2a (HPE Apollo 2000 Gen10; 52台)

CPUとしてIntel Xeonプロセッサを搭載した計算ノードです。

    

thin_type2a.png  

        HPE Apollo 2000 Gen10

 

        (ホスト名: it001 -- it052)

構成要素  型番 員数   ノードあたりの性能など
 CPU

Intel Xeon Gold 6130 (16 cores)

Base 2.1GHz, Max 3.7GHz 

2基

合計32 cores

 

 Memory 16GB DDR4-2666 DIMM 12枚  合計 384GB  (CPUコアあたり 12GB) 
 Storage  1.6TB NVMe SSD 1基  
3.2TB NVMe SSD 1基  
Network InfiniBand 4xEDR 1本  100Gbps

  

Thin計算ノード Type 2b (HPE Apollo 6500 Gen10; 16台)

NVIDIA Tesla V100 GPUを各ノードに4基搭載した計算ノードです。

    thin_type2b.png

        HPE Apollo 6500 Gen10

 

       (ホスト名: igt001 -- igt016)

構成要素  型番 員数   ノードあたりの性能など
 CPU

Intel Xeon Gold 6136 (12 cores)

Base 3.0GHz, Max 3.7GHz 

2基

合計24 cores

 

 Memory 16GB DDR4-2666 DIMM 12枚  合計 384GB  (CPUコアあたり 16GB) 
GPU NVIDIA Tesla V100 SXM2 4基  
 Storage  1.6TB NVMe SSD 1基  
3.2TB NVMe SSD 1基  
Network InfiniBand 4xEDR 1本  100Gbps

 

(参考)GPUの仕様 

名称 NVIDIA Tesla V100 SXM2 (GPGPU)    
コア数(個) 640
クロック速度 1,455MHz
単精度浮動小数点演算ピーク性能 15TFLOPS
倍精度浮動小数点演算ピーク性能 7.5TFLOPS
単体コア理論性能 1.3GLOPS
メモリサイズ 6GB(GDDR5)
メモリバンド幅 900GB/sec
1GFLOPS毎のメモリバンド幅 266GB/sec
接続帯域 8 (PCIe2.0 x16)GB/sec

 

Medium計算ノード (HPE ProLiant DL560 Gen10; 10台)

3TBの物理メモリを搭載した80コアを搭載した計算ノードです。De novoアセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE配下のためジョブ投入により利用可能です。

    

  medium.png

        HPE ProLiant DL560 Gen10

 

         (ホスト名: m01 -- m10)

構成要素  型番 員数   ノードあたりの性能など
 CPU

Intel Xeon Gold 6148 (20 cores)

Base 2.4GHz, Max 3.7GHz 

4基

合計80 cores

 

 Memory 64GB DDR4-2666 DIMM 48枚  合計 3,072GB  (CPUコアあたり 38.4GB) 
 Storage 1TB SATA HDD 2基 (RAID1) 合計1TB (RAID1)
Network InfiniBand 4xEDR 1本  100Gbps

  

Fat計算ノード (HPE Superdome Flex; 2台)

複数の計算ノードを接続して大規模な共有メモリー型の計算機の構築が可能なNUMA(Non Uniformed Memory Access)アーキテクチャの計算ノードです。遺伝研スパコンでは2台を接続し合計12TBの共有メモリが利用できます。 
FATノードはUGE配下ではなく、申請制での利用となります。

    

  HPE superdome flex

        HPE Superdome Flex

 

         (ホスト名: fat1, fat2)

構成要素  型番 員数   ノードあたりの性能など
 CPU

Intel Xeon Gold 6148 (18 cores)

Base 3.0GHz, Max 3.7GHz 

8基

合計144 cores

(2筐体結合時288 cores) 

 Memory 64GB DDR4-2666 DIMM 96枚 

合計 6,144GB  (CPUコアあたり 42.7GB) 

(2筐体結合時12TB)

 Storage 1.2TB SAS HDD 2基 (RAID1) 合計1.2TB (RAID1)
Network InfiniBand 4xEDR 2本  100Gbps

 

 

3. ストレージ

ストレージでは、性能と用途で大別して以下のディスク領域を提供しています。

ストレージ種別 マウントディレクトリ マウントプロトコル ローカル/リモートの別 利用可能な計算ノード アクセス速度 主な用途、備考
高速領域 /lustre6 - /lustre8 lustre リモート すべての種別の計算ノードからアクセス可能 高い。
複数ノードからの高並列での書き込みに対応。
ホームディレクトリ、及びジョブの出力用スクラッチエリア
SSD領域 /data1 ダイレクトマウント ローカル Thin計算ノードで利用可能 非常に高い。 ジョブのスクラッチデータ置き場(再起動で削除)但しノード間で共有はできない。
GPFS領域 /gpfs1 - /gpfs3 Spectrum Scale リモート 研究用途ノードでは通常無し 高い。
複数ノードからの高並列での書き込みに対応。
業務用途
Tape領域     リモート 研究用途ノードでは通常無し 低い。 データバックアップ

大容量高速ストレージ

高速並列ファイルシステムであるLustre File System(Lustre)により構成しています。Lustreは、複数ノードからの大容量の並列IOに対して高い性能を持つファイルシステムであり、ユーザのホームディレクトリ領域兼ジョブ出力の出力先として利用しています。但し、Lustreは小サイズのファイルを大量(数万)アクセスするなどの場合については高い性能を持つわけでは ありません。

項目名 Phase3 システム
ファイルシステム容量 3.8PB (×1ファイルシステム)
5PB(×2ファイルシステム)
ストライプカウント(システムデフォルト) 1
ストライプサイズ 1,048,576
ユーザ当りのquotaサイズ 1TB (申請により拡張可能)

計算機リソース拡張申し込みを行うことで、quota制限を希望値まで拡張することが 可能です。必要な方は申し込みを行って下さい。容量については極力希望に沿った割当を行う方針ですが、例えば100TBを数年間利用など要求値が破格な場合、割り当てをお断りする場合 がありますので予めご了承ください。また割り当て容量は年度末時に実際の利用実体を確認し、割り当てを削減する場合もありますのでご了承ください。

 

大容量アーカイブストレージ 

業務用途に主に利用しており、現時点では一般ユーザのジョブから直接書き込みが可能なワーク領域としては公開していません。構成の詳細については割愛します。ご了承ください。

 

Thin計算ノード上のSSDについて

ハードウェア構成で記述したSSD搭載ノード上に搭載されたSSDは、当該ノード上で/ssdにマウントされており利用可能です。大量の小ファイルを参照したり書き込んだりするジョブの場合は非常に有利です。但し /data1はログインノードと共有されていません。この為利用したい場合はジョブスクリプトの中で計算処理前にデータをホームディレクトリ上から予めコピーし、結果を/data1に書き出した場合は、ジョブの終了前に結果を/data1からホームディレクトリに 退避する必要が有ります。

 

4. ノード間相互結合網

2019年導入のThin計算ノードはInfiniBand 4×EDR ×1を搭載し、各計算ノード間はInfiniBand 4×EDR スイッチにより接続されています。InfiniBandスイッチはSpine-Leaf構成となっており、上流への接続帯域:下流への接続帯域は1:4となっています。InfiniBandスイッチ間、InfiniBandコアスイッチとスーパーコンピュータ用ファイアウォール間は 10GbE×4で接続されています。