サイトポリシー サイトマップ
2017 年 10 月 21 日

ハードウェア構成

 


システム構成図

2014年3月現在のシステム構成概略図です。

計算ノード構成

2014年3月現在、計算ノードとして以下の仕様、種別の計算ノードが利用可能です。

ノード種別導入時期CPU型式CPU数コア数
(CPU当り)
コア数
(合計) 
メモリ容量

GPGPU

Coprocessor

SSDネットワーク
(1ノード当り)
ホスト名ノード数総コア数備考
FAT計算ノード 2012年

Intel Xeon E7-8837

96 8 768 10TB 無し 無し InfiniBand 4×QDR×6 fat 1 768 HyperThread:OFF
TurboBoost:ON
Medium計算ノード 2012年 Intel Xeon E7-4870 8 10 80 2TB 無し 無し InfiniBand 4×QDR×1 m1,m2 2 160 HyperThread:OFF
TurboBoost:ON
Medium計算ノード 2014年 Intel Xeon E7-4870 8 10 80 2TB 無し 無し InfiniBand 4×QDR×1 nm1-nm8 8 640 HyperThread:OFF
TurboBoost:ON
Thin計算ノード 2012年 Intel Xeon E5-2670 2 8 16 64GB 無し 無し InfiniBand 4×QDR×1 t141-t352 212 3,392 HyperThread:OFF
TurboBoost:ON
Thin計算ノード 2014年 Intel Xeon E5-2680v2 2 10 20 64GB 無し 無し InfiniBand 4×FDR×1

nt001-nt058, nt091-nt106

74 1,480 HyperThread:OFF
TurboBoost:ON
Thin計算ノード(GPGPU搭載) 2012年 Intel Xeon E5-2670 2 8 16 64GB Tesla M2090×1 SSD(400GB)×1
(ノード当り)
InfiniBand 4×QDR×1 t077-t140 64 1,024 HyperThread:OFF
TurboBoost:ON
Thin計算ノード(GPGPU搭載) 2014年 Intel Xeon E5-2680v2 2 10 20 64GB Tesla K20×1 無し InfiniBand 4×FDR×1 nt107-nt170 64 1,280 HyperThread:OFF
TurboBoost:ON
Thin計算ノード(SSD搭載) 2012年 Intel Xeon E5-2670 2 8 16 64GB 無し SSD(400GB)×1
(ノード当り)
InfiniBand 4×QDR×1 t001-t076 32 512 HyperThread:OFF
TurboBoost:ON
Thin計算ノード(SSD搭載) 2014年 Intel Xeon E5-2680v2 2 10 20 64GB 無し SSD(400GB)×1
(ノード当り)
InfiniBand 4×FDR×1 nt059-nt090 32 640 HyperThread:OFF
TurboBoost:ON
Thin計算ノード(Xeon Phi搭載) 2014年 Intel Xeon E5-2680v2 2 10 20 8GB Intel Xeon Phi 5110P 無し InfiniBand 4×FDR×1 nt171-nt202 32 640 HyperThread:OFF
TurboBoost:ON

FAT、Medium、Thin計算ノードでCPU種別が異なりますのでご留意ください。また、Thinノードについては他の業務用途にノードを上記の台数から切り出して利用しており、利用可能 台数は予告なく変更になります。現時点で利用可能なノード数についてはシステム稼働状況をご参照下さい。

各CPU仕様

各CPUの基本仕様です。(Intel のホームページから引用)

プロセッサ名Xeon E5-2670Xeon E5-2680v2Xeon E7-4870Xeon E7-8837
コードネーム Sandy-Bridge EP Ivy-Bridge EP Westmere EX Westmere EX
リリース時期 2012年第1四半期    2013年第3四半期    2011年第2四半期 2011年第2四半期
コア数 8 10 10 8
物理スレッド数 16 20 20 8
クロックスピード 2.6GHz 2.8GHz 2.4GHz 2.66GHz
理論演算性能(CPU当り) 166.4GFLOPS 224.0GFLOPS 76.8GFLOPS 85.12GFLOPS
Turbo boost最大周波数  3.3GHz 3.6GHz 2.8GHz 2.8GHz
Cache 20MB 25MB 30MB Intel SmartCache 24MB Intel SmartCache
Bus/Core比/td> 33 36 18 20
Bus Type QPI QPI QPI QPI
System Bus 8GT/s 8GT/s 6.4GT/s 6.4GT/s
# of QPI Links 2 2 1 1
対応する命令拡張 AVX AVX SSE4.1/4.2 SSE4.1/4.2

E5-2670 (開発コードネームSandyBridge)の特長は、新しい拡張命令セットであるIntel AVXをサポートしている点です。AVXを利用することにより演算幅が従来の2倍となり、 浮動小数点演算については従来プロセッサに対して大幅な性能向上を実現しています。AVX対応しているソフトウェアについてはThinノードを利用して頂いたほうが有利です。
E5-2680v2 (開発コードネームIvy Bridge-EP)は、E5-2600シリーズの後継となる製品で、プラットフォームはそのままに製造プロセスルールを32nmから22nmへ微細化することで更なる性能向上と消費電力削減を図ったモデルです。

Thinノード内に搭載されているGPGPU、Xeon Phi Coprocessorの仕様です。

名称 Tesla M2090 (GPGPU)     Tesla K20 (GPGPU)       Xeon Phi Coprocessor 5110P
コア数(個) 512 2496 60
クロック速度 1,300MHz 706MHz 1,053MHz
単精度浮動小数点演算ピーク性能 1,331GFLOPS  3.52TFLOPS  2.022TFLOPS 
倍精度浮動小数点演算ピーク性能 665GFLOPS 1.17TFLOPS 1.011TFLOPS
単体コア理論性能 1.3GLOPS 0.4GFLOPS 17GFLOPS
メモリサイズ 6GB(GDDR5) 5GB(GDDR5) 8GB(GDDR5)
メモリバンド幅 177GB/sec 208GB/sec 320GB/sec
1GFLOPS毎のメモリバンド幅 266GB/sec 177GB/sec 317GB/sec
接続帯域 8 (PCIe2.0 x16)GB/sec 8 (PCIe2.0 x16)GB/sec  8 (PCIe2.0 x16)GB/sec

グラフィックス系プロセッサの特徴 : 単体コアの理論性能を低下させ熱問題を回避した上でコア数を何千個にも増やしたことにより高いスループット性能を実現。
Xeon系コプロセッサの特徴 : 単体コアで処理できる命令数を増やし、クロック速度を下げコア性能を高めたことで消費電力低減を実現。単体コアの内部で4命令を同時処理する仕組みを採用しています。

また各計算ノードは、一つのフルバイセクションのInfiniBandスイッチファブリックに接続されており、各ノードお互いの使用帯域幅に影響を受けることなく通信を行うことが可能です。

各計算ノードの推奨使用用途について

FAT計算ノード

CPUコアとして768コアを搭載し、10TBの物理メモリを単一メモリ空間上のメモリとしてアクセス可能なNUMA(Non Uniformed Memory Access)アーキテクチャを採用したサーバです。単一プロセスで大きなメモリアドレス空間を必要とするようなマルチスレッドプログラム(大規模アセン ブル時のde novo アセンブラ。Velvet、AllpathsLG、SOAPdenovo等)利用に向いています。 但しプロセッサは後述のThin計算ノードと比べ一世代前のプロセッサとなります。
台数としてはFATノードは1台でそれをユーザ全員で共有しておりますので、利用プログラム、必要なメモリ量、試してみたい計算アルゴリズム等を事前に十分検討して頂き、ご利用頂きますようお願いします。

Medium計算ノード

2TBの物理メモリを搭載した80コアを搭載した計算ノードです。FAT計算ノードほどではないが大規模なメモリを必要とするようなプログラムを実行するのに向いています。

Thin計算ノード

各導入フェーズにおいてサーバ向けCPUとして最新のCPUを採用し、2012年導入時のThin計算ノードにはIntel Xeon CPU E5-2670を2基、2014年導入のThin計算ノードにはIntel Xeon E5-2680v2を2基搭載しています。
単体CPU性能としてはThin計算ノードが本構成の中では高くなりますので、MPI並列に対応したアプリケーション、 またはタスク間に依存関係の無い単純並列(embarassingly parallel)なジョブ、または複数のノードから大量の並列IOを行うようなジョブにはThin計算ノードをご利用ください。
また、一部のノードにはGPGPU、Coprocessor、SSDを搭載しています。

これらの計算ノードは、基本的にジョブ管理システムを介して利用して頂くことになります。具体的な利用方法については、システム利用方法をご参照ください。

内部ネットワーク構成

2014年導入のThin計算ノードはInfiniBand 4×FDR ×1、その他各計算ノード間は、InfiniBand 4×QDR ×1によりフルバイセクションで接続されています。またすべての計算ノードはInfiniBandコアスイッチ群に接続されており、InfiniBandコアスイッチ間、InfiniBandコアスイッチとスーパーコンピュータ用ファイアウォール間は 10GbE×4で接続されています。

ストレージ構成

ストレージでは、性能と用途で大別して以下のディスク領域を提供しています。

ストレージ種別マウントディレクトリマウントプロトコルローカル/リモートの別利用可能な計算ノードアクセス速度主な用途、備考
高速領域 /lustre1 - /lustre5 lustre リモート すべての種別の計算ノードからアクセス可能 高い。
複数ノードからの高並列での書き込みに対応。
ホームディレクトリ、及びジョブの出力用スクラッチエリア
省電力領域 研究用途ノードでは通常無し NFS,rsync リモート - 低い。
高並列のアクセスには不向き。
業務用途
SSD領域 /ssd ダイレクトマウント ローカル SSD搭載ノード(xx_ssd.q)で利用可能 非常に高い。 ジョブのスクラッチデータ置き場(一定期間で削除)但しノード間で共有はできない。

高速領域

高速並列ファイルシステムであるLustre File System(Lustre)により構成しています。Lustreは、複数ノードからの大容量の並列IOに対して高い性能を持つファイルシステムであり、ユーザのホームディレクトリ領域兼ジョブ出力の出力先として利用しています。但し、Lustreは小サイズのファイルを大量(数万)アクセスするなどの場合については高い性能を持つわけでは ありません。

項目名Phase1 システムPhase2 システム
ファイルシステム容量 1PB (×2ファイルシステム) 1.7PB (×3ファイルシステム)
ストライプカウント(システムデフォルト) 1 1
ストライプサイズ 1,048,576 1,048,576
ユーザ当りのquotaサイズ 1TB (申請により拡張可能) 1TB (申請により拡張可能)

計算機リソース拡張申し込みを行うことで、quota制限を希望値まで拡張することが 可能です。必要な方は申し込みを行って下さい。容量については極力希望に沿った割当を行う方針ですが、例えば100TBを数年間利用など要求値が破格な場合、割り当てをお断りする場合 がありますので予めご了承ください。また割り当て容量は年度末時に実際の利用実体を確認し、割り当てを削減する場合もありますのでご了承ください。

省電力領域

業務用途に主に利用しており、現時点では一般ユーザのジョブから直接書き込みが可能なワーク領域としては公開していません。構成の詳細については割愛します。ご了承ください。

SSD領域

ハードウェア構成で記述したSSD搭載ノード上に搭載されたSSDは、当該ノード上で/ssdにマウントされており利用可能です。大量の小ファイルを参照したり書き込んだりするジョブの場合は非常に有利です。但し /ssdはログインノードと共有されていません。この為利用したい場合はジョブスクリプトの中で計算処理前にデータをホームディレクトリ上から予めコピーし、結果を/ssdに書き出した場合は、ジョブの終了前に結果を/ssdからホームディレクトリに 退避する必要が有ります。

 

システム総リソース

ノード種別 Phase1/Phase2 ノード数

CPUまたは

GPGPUまたは

Co-processor

総コア数

総メモリ数

( /GB)

総HDD

( /GB)

総SSD

( /GB)

ピーク性能

( /GFLOPS)

ピーク性能

( /TFLOPS)

FAT計算ノード Phase1 1 Xeon E7-8837 768 10,000 600 - 8,171.52 8
Medium計算ノード Phase1 2 Xeon E7-4870 160 4,000 1,200 - 1,228.80 6
Medium計算ノード Phase2 8 Xeon E7-4870 640 16,000 4,800 - 4,915.20
Thin計算ノード Phase1 76 Xeon E5-2670 1,216 4,864 45,600 30,400 25,292.80 358
212 Xeon E5-2670 3,392 13,568 254,400 - 70,553.60
Thin計算ノード(GPGPU搭載) Phase1 64 Xeon E5-2670 1,024 4,096 38,400 25,600 21,299.20
Tesla M2090(GPGPU) 32,768 384 42,560.00
Thin計算ノード Phase2 58 Xeon E5 2680v2 1,160 3,712 69,600 - 25,984.00
32 Xeon E5 2680v2 640 2,048 19,200 12,800 14,336.00
16 Xeon E5 2680v2 320 1,024 19,200 - 7,168.00
Thin計算ノード(GPGPU搭載) Phase2 64 Xeon E5 2680v2 1,280 4,096 76,800 - 28,672.00
Tesla K20(GPGPU) 159,744 320 74,880.00
Thin計算ノード(Xeon Phi搭載) Phase2 32 Xeon E5 2680v2 640 2,048 38,400 - 14,336.00
Xeon Phi Coprocessor 5110P 1,920 256 32,352.00
合計 - 565 - 205,672 66,416 568,200 68,800 371,749.12 372

 

ストレージ種別 Phase1/Phase2 ファイルシステム

ストレージサイズ

( /PB)

高速領域 Phase1 lustre v1.8 2.0
Phase2 lustre v2.5 5.1
省電力領域 Phase1 NFS v2,v3,v4 3.0
Phase2 2.5
SRP領域 Phase1 xfs  0.1
Phase2 - -
合計 - - 12.7