ハードウェア構成
1.システム全体
| ハードウェア諸元 | 合計 | |||
| 計算ノード | Thin計算ノード | Type 1
CPUにAMD EPYCを搭載
|
ノード数: 136台 |
総CPUコア数: 11,696 合計演算性能 1.099 PFLOPS (CPU: 599.784 TFLOPS, GPU: 499.2 TFLOPS) 総メモリ容量 138.752 TB |
| Type 2a CPUにIntel Xeonを搭載 |
ノード数: 52台 |
|||
| Type 2b
GPGPU搭載 |
ノード数: 16台 総CPUコア数: 384 合計演算性能: 536.064 TFLOPS (CPU: 36.864 TFLOPS, GPU: 499.2 TFLOPS) 総メモリ容量 6.144 TB (コアあたり16GB) |
|||
| Medium計算ノード
3TBの共有メモリ搭載 |
ノード数: 10台 総CPUコア数: 800 合計演算性能 61.440 TFLOPS 総メモリ容量 30.72 TB (コアあたり 38.4GB) |
|||
| Fat計算ノード
2ノードを接続し12TBの共有メモリを構成 |
ノード数 2台 総CPUコア数: 144 合計演算性能 27.648 TFLOPS 総メモリ容量 12.288 TB (コアあたり42.7GB) |
|||
| ストレージ | 大容量高速ストレージ 解析用ストレージ領域 |
13.8PB | 総ストレージ容量 43.8PB | |
| 大容量アーカイブストレージ
DB用ストレージ領域 |
30PB (15PBディスク、15PBテープの階層ストレージ) | |||
| ノード間相互結合網 | InfiniBand 4×EDR 100Gbps fat tree (ストレージに対してはfull bi-section、計算ノードは上流SWへの接続帯域：下流SWへの接続帯域は1:4) | 同左 | ||
2.計算ノード
計算ノードの種類とCPU
(Intel と AMD のホームページから引用)
|
計算ノード プロセッサ名 |
Fat Xeon Gold 6154 |
Medium Xeon Gold 6148 |
Thin Type 1 AMD EPYC7501 |
Thin Type 2a Xeon Gold 6130 |
Thin Type 2b Xeon Gold 6136 |
|---|---|---|---|---|---|
| コードネーム | Skylake | Skylake | Naples | Skylake | Skylake |
| リリース時期 | 2017年第3四半期 | 2017年第3四半期 | 2017年第2四半期 | 2017年第3四半期 | 2017年第3四半期 |
| コア数 | 18 | 20 | 32 | 16 | 12 |
| 物理スレッド数 | 36 | 40 | 64 | 32 | 24 |
| クロックスピード | 3.00GHz | 2.4GHz | 2.0GHz | 2.1GHz | 3.00GHz |
| 理論演算性能(CPU当り) | 1728.0GFLOPS | 1536.0GFLOPS | 512.0GFLOPS | 1075.2GFLOPS | 1152.0GFLOPS |
| Turbo boost最大周波数 | 3.70GHz | 3.70GHz | 3GHz | 3.70GHz | 3.70GHz |
| Cache | 24.75MB | 27.5MB | 64MB | 21MB | 24.75MB |
計算内容が主に整数演算の場合AMD EPYCが有利、浮動小数点演算の場合Intel Xeonが有利です。
AMD製CPU EPYC7501は1CPU32コアを有することが特徴です。メモリも8チャネルあり大容量のメモリを搭載可能です。今回は512GB/nodeのメモリを搭載しています。
Intel製CPUはskylake世代を導入しています。新しい拡張命令セットであるIntel AVX-512をサポートしており、利用することにより演算幅が従来の2倍となり、 浮動小数点演算については従来プロセッサに対して大幅な性能向上を実現しています。AVX-512に対応しているソフトウェアについてはIntel製CPU搭載のThinノードを利用して頂いたほうが有利です。
Thin計算ノード Type 1 (HPE ProLiant DL385 Gen10; 136台)
CPUとしてAMD EPYCプロセッサを搭載した計算ノードです。
|
HPE ProLiant DL385 Gen10
(ホスト名: at001 -- at136) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
AMD EPYC 7501 (32 cores) Base 2.0GHz, Max 3.0GHz |
2基 |
合計64 cores
|
|
| Memory | 32GB DDR4-2666 DIMM | 16枚 | 合計 512GB (CPUコアあたり 8GB) | |
| Storage | 1.6TB NVMe SSD | 1基 | ||
| 3.2TB NVMe SSD | 1基 | |||
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
Thin計算ノード Type 2a (HPE Apollo 2000 Gen10; 52台)
CPUとしてIntel Xeonプロセッサを搭載した計算ノードです。
|
HPE Apollo 2000 Gen10
(ホスト名: it001 -- it052) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
Intel Xeon Gold 6130 (16 cores) Base 2.1GHz, Max 3.7GHz |
2基 |
合計32 cores
|
|
| Memory | 16GB DDR4-2666 DIMM | 12枚 | 合計 384GB (CPUコアあたり 12GB) | |
| Storage | 1.6TB NVMe SSD | 1基 | ||
| 3.2TB NVMe SSD | 1基 | |||
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
Thin計算ノード Type 2b (HPE Apollo 6500 Gen10; 16台)
NVIDIA Tesla V100 GPUを各ノードに4基搭載した計算ノードです。
|
HPE Apollo 6500 Gen10
(ホスト名: igt001 -- igt016) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
Intel Xeon Gold 6136 (12 cores) Base 3.0GHz, Max 3.7GHz |
2基 |
合計24 cores
|
|
| Memory | 16GB DDR4-2666 DIMM | 12枚 | 合計 384GB (CPUコアあたり 16GB) | |
| GPU | NVIDIA Tesla V100 SXM2 | 4基 | ||
| Storage | 1.6TB NVMe SSD | 1基 | ||
| 3.2TB NVMe SSD | 1基 | |||
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
(参考）GPUの仕様
| 名称 | NVIDIA Tesla V100 SXM2 (GPGPU) |
| コア数(個) | 640 |
| クロック速度 | 1,455MHz |
| 単精度浮動小数点演算ピーク性能 | 15TFLOPS |
| 倍精度浮動小数点演算ピーク性能 | 7.5TFLOPS |
| 単体コア理論性能 | 1.3GLOPS |
| メモリサイズ | 6GB(GDDR5) |
| メモリバンド幅 | 900GB/sec |
| 1GFLOPS毎のメモリバンド幅 | 266GB/sec |
| 接続帯域 | 8 (PCIe2.0 x16)GB/sec |
Medium計算ノード (HPE ProLiant DL560 Gen10; 10台)
3TBの物理メモリを搭載した80コアを搭載した計算ノードです。De novoアセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE配下のためジョブ投入により利用可能です。
|
HPE ProLiant DL560 Gen10
(ホスト名: m01 -- m10) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
Intel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz |
4基 |
合計80 cores
|
|
| Memory | 64GB DDR4-2666 DIMM | 48枚 | 合計 3,072GB (CPUコアあたり 38.4GB) | |
| Storage | 1TB SATA HDD | 2基 (RAID1) | 合計1TB (RAID1) | |
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
Fat計算ノード (HPE Superdome Flex; 2台)
複数の計算ノードを接続して大規模な共有メモリー型の計算機の構築が可能なNUMA(Non Uniformed Memory Access)アーキテクチャの計算ノードです。遺伝研スパコンでは2台を接続し合計12TBの共有メモリが利用できます。
FATノードはUGE配下ではなく、申請制での利用となります。
|
HPE Superdome Flex
(ホスト名: fat1, fat2) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
Intel Xeon Gold 6148 (18 cores) Base 3.0GHz, Max 3.7GHz |
8基 |
合計144 cores (2筐体結合時288 cores) |
|
| Memory | 64GB DDR4-2666 DIMM | 96枚 |
合計 6,144GB (CPUコアあたり 42.7GB) (2筐体結合時12TB) |
|
| Storage | 1.2TB SAS HDD | 2基 (RAID1) | 合計1.2TB (RAID1) | |
| Network | InfiniBand 4xEDR | 2本 | 100Gbps |
3. ストレージ
ストレージでは、性能と用途で大別して以下のディスク領域を提供しています。
| ストレージ種別 | マウントディレクトリ | マウントプロトコル | ローカル／リモートの別 | 利用可能な計算ノード | アクセス速度 | 主な用途、備考 |
|---|---|---|---|---|---|---|
| 高速領域 | /lustre6 - /lustre8 | lustre | リモート | すべての種別の計算ノードからアクセス可能 | 高い。 複数ノードからの高並列での書き込みに対応。 |
ホームディレクトリ、及びジョブの出力用スクラッチエリア |
| SSD領域 | /data1 | ダイレクトマウント | ローカル | Thin計算ノードで利用可能 | 非常に高い。 | ジョブのスクラッチデータ置き場（再起動で削除）但しノード間で共有はできない。 |
| GPFS領域 | /gpfs1 - /gpfs3 | Spectrum Scale | リモート | 研究用途ノードでは通常無し | 高い。 複数ノードからの高並列での書き込みに対応。 |
業務用途 |
| Tape領域 | リモート | 研究用途ノードでは通常無し | 低い。 | データバックアップ |
大容量高速ストレージ
高速並列ファイルシステムであるLustre File System(Lustre)により構成しています。Lustreは、複数ノードからの大容量の並列IOに対して高い性能を持つファイルシステムであり、ユーザのホームディレクトリ領域兼ジョブ出力の出力先として利用しています。但し、Lustreは小サイズのファイルを大量(数万)アクセスするなどの場合については高い性能を持つわけでは ありません。
| 項目名 | Phase3 システム |
|---|---|
| ファイルシステム容量 | 3.8PB (×1ファイルシステム) 5PB(×2ファイルシステム) |
| ストライプカウント(システムデフォルト) | 1 |
| ストライプサイズ | 1,048,576 |
| ユーザ当りのquotaサイズ | 1TB (申請により拡張可能) |
計算機リソース拡張申し込みを行うことで、quota制限を希望値まで拡張することが 可能です。必要な方は申し込みを行って下さい。容量については極力希望に沿った割当を行う方針ですが、例えば100TBを数年間利用など要求値が破格な場合、割り当てをお断りする場合 がありますので予めご了承ください。また割り当て容量は年度末時に実際の利用実体を確認し、割り当てを削減する場合もありますのでご了承ください。
大容量アーカイブストレージ
業務用途に主に利用しており、現時点では一般ユーザのジョブから直接書き込みが可能なワーク領域としては公開していません。構成の詳細については割愛します。ご了承ください。
Thin計算ノード上のSSDについて
ハードウェア構成で記述したSSD搭載ノード上に搭載されたSSDは、当該ノード上で/ssdにマウントされており利用可能です。大量の小ファイルを参照したり書き込んだりするジョブの場合は非常に有利です。但し /data1はログインノードと共有されていません。この為利用したい場合はジョブスクリプトの中で計算処理前にデータをホームディレクトリ上から予めコピーし、結果を/data1に書き出した場合は、ジョブの終了前に結果を/data1からホームディレクトリに 退避する必要が有ります。
4. ノード間相互結合網
2019年導入のThin計算ノードはInfiniBand 4×EDR ×1を搭載し、各計算ノード間はInfiniBand 4×EDR スイッチにより接続されています。InfiniBandスイッチはSpine-Leaf構成となっており、上流への接続帯域：下流への接続帯域は1:4となっています。InfiniBandスイッチ間、InfiniBandコアスイッチとスーパーコンピュータ用ファイアウォール間は 10GbE×4で接続されています。