概要(一般解析区画)
一般解析区画のシステム構成
遺伝研スパコン一の般解析区画は多数の計算機(これらをノードと呼びます)を束ねたクラスタ構成となっています。
ユーザーからの計算要求に対してクラスタ計算機システム上の適切な計算機を割り当てる仕事をするのがジョブスケジューラと呼ばれるプログラムです。 遺伝研スパコンでは、バイオインフォマティックス系で広く用いられてきたSun Grid Engineの後継であるGrid Engineをジョブスケジューラとして使っています。
Grid Engineで管理された全てのノードは大容量高速ストレージシステム (Lustre FS)をマウントしており、ユーザーのホームディレクトリは全てのノードから同じようにアクセスできます。
Grid Engineキューの種類
Grid Engineで管理されたノードはログインノードと計算ノードに大別されます。
- ログインノード(login node)はユーザがプログラム開発や、小規模で短時間で終わる計算をその場で対話的に行うための計算機です。
- 計算ノード(compute node)は、長時間かかる計算、大量のCPUやメモリを使う計算を行うための計算ノードです。
ログインノード、計算ノードに対する計算要求(これをジョブと呼びます)はGrid Engineでは待ち行列(キュー)を用いて管理されます。計算要求量が計算機のリソース量を超えている場合は、ジョブは待ち行列の中で待ち、計算機が空き次第Grid Engineにより自動的に実行されます。
遺伝研スパコンの一般解析区画では、ノードを構成する計算機の種類ごとにGrid Engineキューが設けられています。
ノードの種別 | Grid Engineキューの名称 | ハードウェア種別 | 台数・合計コア数 |
---|---|---|---|
ログインノード | login | Thinノード Type1b (AMD EPYC7702, 128 CPU cores/node, 4GB memory/CPU core) | 3台・384コア |
login_gpu | Thinノード Type2b (Intel Xeon Gold 6136, 24 CPU cores/node, 16GB memory/CPU core) | 1台・24コア | |
計算ノード | epyc | Thinノード Type1b (AMD EPYC7702, 128 CPU cores/node, 4GB meVmory/CPU core) | 25台・3200コア |
intel | Thinノード Type2a (Intel Xeon Gold 6130, 32 CPU cores/node, 12GB memory/CPU core) | 32台・1024コア | |
gpu | Thinノード Type2b (Intel Xeon Gold 6136, 24 CPU cores/node, 16GB memory/CPU core) | 7台・168コア | |
short | Thinノード Type1a (AMD EPYC7501, 64 CPU cores/node, 8GB memory/CPU core) | 2台・128コア | |
medium | Mediumノード (Intel Xeon Gold 6148, 80 CPU cores/node, 38.4GB moemory/CPU core) | 10台・800コア |