ハードウェア構成
1.システム全体
| ハードウェア諸元 | 合計 | |||
| 計算ノード | Thin計算ノード | Type 1a
CPUにAMD EPYC 7501を搭載 |
ノード数: 136台 |
総CPUコア数: 15,424 合計演算性能 933.560 TFLOPS (CPU: 434.360 TFLOPS, GPU: 499.2 TFLOPS) 総メモリ容量 153.088 TB |
| Type 1b
CPUにAMD EPYC 7702を搭載（2020年4月増設） |
ノード数: 28台 |
|||
| Type 2a CPUにIntel Xeonを搭載 |
ノード数: 52台 |
|||
| Type 2b
GPGPU搭載 |
ノード数: 16台 総CPUコア数: 384 合計演算性能: 536.064 TFLOPS (CPU: 36.864 TFLOPS, GPU: 499.2 TFLOPS) 総メモリ容量 6.144 TB (コアあたり16GB) |
|||
| Medium計算ノード
3TBの共有メモリ搭載 |
ノード数: 10台 総CPUコア数: 800 合計演算性能 61.440 TFLOPS 総メモリ容量 30.72 TB (コアあたり 38.4GB) |
|||
| Fat計算ノード
2ノードを接続し12TBの共有メモリを構成 |
ノード数 2台 総CPUコア数: 288 合計演算性能 27.648 TFLOPS 総メモリ容量 12.288 TB (コアあたり42.7GB) |
|||
| ストレージ | 大容量高速ストレージ 解析用ストレージ領域(※1) |
Lustreファイルシステム 合計容量：13.8PB |
総ストレージ容量 43.8PB | |
| 大容量アーカイブストレージ
DB用ストレージ領域(※2) |
SpectrumScaleファイルシステム+テープ 合計容量：30PB (15PBディスク、15PBテープの階層ストレージ) |
|||
| Thin計算ノード搭載NVMe SSD
解析用一時データ配置領域 |
3.2TB/各Thin計算ノード | 複数ノードのNVMe SSDを束ねてLustre on Demand(Lustreファイルシステム)としても利用可能。 | ||
| ノード間相互結合網 | InfiniBand 4×EDR 100Gbps fat tree (ストレージに対してはfull bi-section、計算ノードは上流SWへの接続帯域：下流SWへの接続帯域は1:4) | 同左 | ||
※1. 解析用ストレージ領域：一般解析区画および個人ゲノム解析区画におけるユーザホーム領域
※2. DB用ストレージ領域：DRA等のDDBJデータベースを格納している領域。データベースは一般解析区画から参照可能。
2.計算ノード
・計算ノードの種類とCPU
(Intel と AMD のホームページから引用)
|
計算ノード プロセッサ名 |
Fat Xeon Gold 6154 |
Medium Xeon Gold 6148 |
Thin Type 1a AMD EPYC7501 |
Thin Type 1b AMD EPYC7702 (2020年4月増設) |
Thin Type 2a Xeon Gold 6130 |
Thin Type 2b Xeon Gold 6136 |
|---|---|---|---|---|---|---|
| コードネーム | Skylake | Skylake | Naples | Rome | Skylake | Skylake |
| リリース時期 | 2017年第3四半期 | 2017年第3四半期 | 2017年第2四半期 | 2019年第2四半期 | 2017年第3四半期 | 2017年第3四半期 |
| コア数 | 18 | 20 | 32 | 64 | 16 | 12 |
| スレッド数 | 36 | 40 | 64 | 128 | 32 | 24 |
| クロックスピード | 3.00GHz | 2.4GHz | 2.0GHz | 2.0GHz | 2.1GHz | 3.00GHz |
| 理論演算性能(CPU当り) | 1728.0GFLOPS | 1536.0GFLOPS | 512.0GFLOPS | 2048.0GFLOPS | 1075.2GFLOPS | 1152.0GFLOPS |
| Turbo boost最大周波数 | 3.70GHz | 3.70GHz | 3GHz | 3.35GHz | 3.70GHz | 3.70GHz |
| Cache | 24.75MB | 27.5MB | 64MB | 256MB | 21MB | 24.75MB |
計算内容が主に整数演算の場合AMD EPYCが有利、浮動小数点演算の場合Intel Xeonが有利です。
AMD製CPU EPYC7501は1CPU32コア、EPCY7702は1CPU64コアを有することが特徴です。メモリも8チャネルあり大容量のメモリを搭載可能です。今回は512GB/nodeのメモリを搭載しています。
Intel製CPUはskylake世代を導入しています。新しい拡張命令セットであるIntel AVX-512をサポートしており、利用することにより演算幅が従来の2倍となり、 浮動小数点演算については従来プロセッサに対して大幅な性能向上を実現しています。AVX-512に対応しているソフトウェアについてはIntel製CPU搭載のThinノードを利用して頂いたほうが有利です。
・Thin計算ノード Type 1a (HPE ProLiant DL385 Gen10; 136台)
CPUとしてAMD EPYC 7501プロセッサを搭載した計算ノードです。
|
HPE ProLiant DL385 Gen10
(ホスト名: at001 -- at136) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
AMD EPYC 7501 (32 cores) Base 2.0GHz, Max 3.0GHz |
2基 |
合計64 cores
|
|
| Memory | 32GB DDR4-2666 | 16枚 | 合計 512GB (CPUコアあたり 8GB) | |
| Storage | 1.6TB NVMe SSD | 1基 | ||
| 3.2TB NVMe SSD | 1基 | |||
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
・Thin計算ノード Type 1b (DELL PowerEdge R6525; 28台)
CPUとしてAMD EPYC 7702プロセッサを搭載した計算ノードです。
|
DELL PowerEdge R6525
(ホスト名: at137 -- at164)
|
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
AMD EPYC 7702 (64 cores) Base 2.0GHz, Max 3.35GHz |
2基 |
合計128 cores
|
|
| Memory | 32GB DDR4-3200 | 16枚 | 合計 512GB (CPUコアあたり 4GB) | |
| Storage | 1.6TB NVMe SSD | 2基 | ||
|
900GB SAS HDD |
1基 | |||
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
・Thin計算ノード Type 2a (HPE Apollo 2000 Gen10; 52台)
CPUとしてIntel Xeonプロセッサを搭載した計算ノードです。
|
HPE Apollo 2000 Gen10
(ホスト名: it001 -- it052) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
Intel Xeon Gold 6130 (16 cores) Base 2.1GHz, Max 3.7GHz |
2基 |
合計32 cores
|
|
| Memory | 32GB DDR4-2666 DIMM | 12枚 | 合計 384GB (CPUコアあたり 12GB) | |
| Storage | 1.6TB NVMe SSD | 1基 | ||
| 3.2TB NVMe SSD | 1基 | |||
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
・Thin計算ノード Type 2b (HPE Apollo 6500 Gen10; 16台)
NVIDIA Tesla V100 GPUを各ノードに4基搭載した計算ノードです。
|
HPE Apollo 6500 Gen10
(ホスト名: igt001 -- igt016) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
Intel Xeon Gold 6136 (12 cores) Base 3.0GHz, Max 3.7GHz |
2基 |
合計24 cores
|
|
| Memory | 32GB DDR4-2666 DIMM | 12枚 | 合計 384GB (CPUコアあたり 16GB) | |
| GPU | NVIDIA Tesla V100 SXM2 | 4基 | ||
| Storage | 1.6TB NVMe SSD | 1基 | ||
| 3.2TB NVMe SSD | 1基 | |||
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
(参考）GPUの仕様
| 名称 | NVIDIA Tesla V100 SXM2 (GPGPU) |
| コア数(個) | 640 |
| クロック速度 | 1,455MHz |
| 単精度浮動小数点演算ピーク性能 | 15TFLOPS |
| 倍精度浮動小数点演算ピーク性能 | 7.5TFLOPS |
| 単体コア理論性能 | 1.3GLOPS |
| メモリサイズ | 6GB(GDDR5) |
| メモリバンド幅 | 900GB/sec |
| 1GFLOPS毎のメモリバンド幅 | 266GB/sec |
| 接続帯域 | 8 (PCIe2.0 x16)GB/sec |
・Medium計算ノード (HPE ProLiant DL560 Gen10; 10台)
3TBの物理メモリを搭載した80コアを搭載した計算ノードです。De novoアセンブラなど大規模なメモリを必要とするようなプログラムを実行するのに向いています。UGE配下のためジョブ投入により利用可能です。
|
HPE ProLiant DL560 Gen10
(ホスト名: m01 -- m10) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
Intel Xeon Gold 6148 (20 cores) Base 2.4GHz, Max 3.7GHz |
4基 |
合計80 cores
|
|
| Memory | 64GB DDR4-2666 DIMM | 48枚 | 合計 3,072GB (CPUコアあたり 38.4GB) | |
| Storage | 1TB SATA HDD | 2基 (RAID1) | 合計1TB (RAID1) | |
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
・Fat計算ノード (HPE Superdome Flex; 1台)
複数の計算ノードを接続して大規模な共有メモリー型の計算機の構築が可能なNUMA(Non Uniformed Memory Access)アーキテクチャの計算ノードです。
FATノードはUGE配下ではなく、申請制での利用となります。
|
HPE Superdome Flex
(ホスト名: fat1, fat2) |
構成要素 | 型番 | 員数 | ノードあたりの性能など |
| CPU |
Intel Xeon Gold 6148 (18 cores) Base 3.0GHz, Max 3.7GHz |
16基 |
合計288 cores |
|
| Memory | 64GB DDR4-2666 DIMM | 192枚 |
合計 12,288GB (CPUコアあたり 42.7GB) |
|
| Storage | 1.2TB SAS HDD | 2基 (RAID1) | 合計1.2TB (RAID1) | |
| Network | InfiniBand 4xEDR | 1本 | 100Gbps |
3. ストレージ
ストレージでは、性能と用途で大別して以下のディスク領域を提供しています。
| ストレージ種別(ファイルシステム) | マウントディレクトリ | 利用可能な計算ノード | アクセス速度 | 主な用途、備考 |
|---|---|---|---|---|
| 大容量高速ストレージ (Lustre) |
/lustre6 - /lustre8 | すべての種別の計算ノードからアクセス可能 | 高い。 複数ノードからの高並列での書き込みに対応。 |
ユーザホーム領域、及びジョブの出力用スクラッチエリア |
| ローカルNVMe SSD | /data1 | Thin計算ノードで利用可能 | 非常に高い。 | ジョブのスクラッチデータ置き場（再起動で削除）但しノード間で共有はできない。 複数ノードのNVMeSSDを組み合わせてLustre(Lustre on Demand)を構成することでノード間の共有も可能。 |
| 大容量アーカイブストレージ (Spectrum Scale) |
/gpfs1 - /gpfs3 | すべての種別の計算ノードからアクセス可能。ただし参照専用。 | 高い。 複数ノードからの高並列での書き込みに対応。 |
業務用途。 |
| 大容量アーカイブストレージ (Tape領域) |
- |
研究用途ノードでは通常無し | 低い。 | データバックアップとして利用。 Spectrum Scaleとの階層ストレージとしても利用。 |
・大容量高速ストレージ(Lustre)
※詳細や使い方については「Lustreについて」をご参照ください。
高速並列ファイルシステムであるLustre File System(Lustre)により構成しています。Lustreは、複数ノードからの大容量の並列IOに対して高い性能を持つファイルシステムであり、ユーザのホームディレクトリ領域兼ジョブ出力の出力先として利用しています。
| ファイルシステム名称 | アクセスパス | 実効容量 | 利用用途 | 最大性能値 | 構成 |
| Lustre6 | /lustre6 | 3.8PB |
前スパコンのユーザーデータ置き場 DDBJのデータベース構築用 |
35GB/sec | DDN SFA14KXE+SS8462, DDN 1U server, DDN SFA7700X |
| Lustre7 | /lustre7 | 5.0PB |
一般解析区画のホーム領域用（Quota設定） |
35GB/sec以上 | DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X |
| Lustre8 | /lustre8 | 5.0PB | 個人ゲノム解析区画のホーム領域用 | 35GB/sec以上 | DDN SFA14KXE+SS9012, DDN 1U server, DDN SFA7700X |
標準では自身のホーム領域が存在するLustreにおいて1TBのquotaが設定されています。計算機リソース拡張申し込みを行うことで、quota制限を希望値まで拡張することが 可能です。必要な方は申し込みを行って下さい。
・大容量アーカイブストレージ
※詳細や使い方については「Spectrum Scaleおよびテープについて」をご参照ください。
業務用途に主に利用しており、現時点では一般ユーザのジョブから直接書き込みが可能なワーク領域としては公開していません。DRA等のDDBJデータベースを格納しています。格納しているデータベースはFTPとして公開している他、計算ノードから直接参照が可能です。
| 項目 | 用途 | 製品名 | 員数 | 総容量 |
| 大容量ディスクシステム | Spectrum Scaleストレージ | IBM Elastic Storage Server GL6S | 4 | 12.9PB |
| 大容量テープシステム | テープライブラリ | IBM TS4500テープライブラリ | 1 | 15PB(非圧縮時) |
| テープカートリッジ | IBM 3592JDカートリッジ | 1,000 | ||
| テープドライブ | IBM TS1155 | 8 | ||
| 階層ストレージ管理システム | SpectrumScaleサーバ | HPE ProLiant DL360 Gen10 | 4 | - |
| Spectrum Protect DB用ディスク | IBM V5030 | 1 |
・Thin計算ノード上のSSDについて
※詳細や使い方については「Thin計算ノード搭載NVMe SSDについて」をご参照ください。
Thin計算ノードはOS領域以外に、ジョブにおける一時ファイルをおくスクラッチエリアとしてNVMe SSD(3.2TB)を搭載しています。NVMe SSDには/data1というパスでアクセス可能です。大量の小ファイルを参照したり書き込んだりするジョブの場合は非常に有利です。
また、Thin計算ノードのNVMe SSDを複数台束ねて利用者専用のLustreファイルシステムを構成することが可能です(Lustre on Demand)。
| 型番 | HPE 3.2TB nvme x4 Lanes Mixed Use SFF(2.5in) SCN 3yr Wty Digitally Singned Firmware SSD |
| 容量 | 3.2TB |
| 接続インタフェース | NVMe |
| 最大シーケンシャルread | 3,200 MB/sec |
| 最大シーケンシャルwrite | 2,000 MB/sec |
| 最大ランダムread IOPS(4KiB) | 675,000@Q256 |
| 最大ランダムwrite IOPS(4KiB) | 240,000@Q16 |
| 書き込み耐性(DWPD) | ランダムWrite時 2.9DWPD |
4. ノード間相互結合網
2019年導入のThin計算ノードはInfiniBand 4×EDR ×1を搭載し、各計算ノード間はInfiniBand 4×EDR スイッチにより接続されています。InfiniBandスイッチはSpine-Leaf構成となっており、上流への接続帯域：下流への接続帯域は1:4となっています。InfiniBandスイッチ間、InfiniBandコアスイッチとスーパーコンピュータ用ファイアウォール間は 10GbE×4で接続されています。