2014年3月4日 スーパーコンピュータシステム 2014年3月5日からのスパコンPHASE2システムご利用方法について

国立遺伝学研究所スーパーコンピュータシステム利用者各位

2014年3月4日
国立遺伝学研究所 DDBJセンター スーパーコンピュータシステム管理チーム

平素より、国立遺伝学研究所スーパーコンピュータシステムをご利用いただき誠に有難うございます。

2014年3月5日からのシステム増強フェーズ稼働に伴う、スパコンPhase2システムのご利用方法についてお知らせ致します。
（2012年3月稼働システムを Phase1システム 、システム増強分の2014年3月稼働システムを Phase2システムと記載）

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

(1)システム構成概要

　2014年3月1日から稼働するスパコンシステム構成図になります。

　　・Phase1、Phase2システムはそれぞれ独立であり、一部のノードは両方のシステムにネットワーク接続されています。

　　・Phase1システムは従来通りの方法で使用可能です。

　　・Phase2システムでは計算ノードとしてThin計算ノード202ノード、Medium計算ノード8ノード、
       外部記憶装置として省電力領域2.5PB、高速領域5PB増強されます。

 

(2)アカウントについて

　①Phase1 システムをご利用されていた方 　： 新規アカウント申請は不要です。Phase2システムに自動的にホーム領域が割り当られているため、

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 Phase1ご利用時のアカウントでPhase2機器をご利用可能です。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 なお、Phase1システムも従来通りに使用可能です。

　②新規にスパコンシステムをご利用になる方 ： 原則としてPhase2システムにホーム領域が割り当てられ、Phase2のゲートウェイからqloginして

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 頂く形となります。Fat計算ノードを使用される場合はPhase1のゲートウェイからqloginして頂く事で

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 利用可能です。

(3)ログイン方法について

　Phase2システムのゲートウェイはgw2.ddbj.nig.ac.jpとなります。Phase1システムのゲートウェイに変更はありません。

$ ssh username@gw2.ddbj.nig.ac.jp
username@gw2.ddbj.nig.ac.jp's password:
Last login: XXX XXX XX XX:XX:XX XXXX from XXX
---------------------------------------------------------------------
Thank you for using supercomputer system.
This node is in use for login service only. Please use 'qlogin'.
---------------------------------------------------------------------
[username@gw2 ~]$

　以下イメージ図になります。

 

(4)Phase2 計算機ご利用時のデータ移行のお願い

　Phase1システムをご利用されていた方が、Phase2システムをご利用になるためには、Phase1システムからのデータ移行が必要となります。
　このデータ移行用に、Phase2システムの一部ThinノードにPhase1システムのInfiniBandと接続されたデータ移行専用ノードを用意しております。
　データ移行専用ノードでは、Phase1とPhase2両方の機器にアクセス可能となり、Phase1とPhase2のホーム領域間でのデータ移動が可能となります。
　Phase2システムのゲートウェイからログインしてご利用下さい。

　以下イメージ図になります。

 

Phase1、Phase2各ホーム領域を閲覧可能なノードが限定されます。詳しくは下記表をご確認下さい。

各ホーム領域参照ノード	Phase1ホーム領域パス	Phase2ホーム領域パス
Phase1－Thin計算ノード,Midium計算ノード	/home/USER	参照不可
Phase2－Thin計算ノード,Midium計算ノード	参照不可	/home/USER
Phase2－GW,ログインノード,データ移行用ノード	/home_ph1/USER	/home/USER
Fat計算ノード	/home/USER	/home_ph2/USER

　データ移行方法

　Phase2システムゲートウェイにログイン後、"-l trans"のオプション付きでqloginを行って頂くとデータ移行用ノードへログイン可能となります。
　下記にコマンド実行例を記載します。

　①データ移行用ノードへのqlogin

[username@gw2 ~]$ qlogin -l trans
Your job 82 ("QLOGIN") has been submitted
waiting for interactive job to be scheduled ...
Your interactive job 82 has been successfully scheduled.
Establishing /home/geadmin2/UGER/utilbin/lx-amd64/qlogin_wrapper session to host nt103i ...
username@nt103i's password: 　　　　　　　　・・・この場合nt103がデータ移行用ノードになります。　　
Last login: Wed Feb 19 16:27:01 2014 from nt091i
[username@nt103 ~]$　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　②cpコマンド実行例

[username@nt103]$ cp /home_ph1/username/(転送元ファイル名) /home/username/(転送先ファイル名)    

　③rsyncコマンド実行例

[username@nt103]$ rsync -av　/home_ph1/username/(転送元ファイル・ディレクトリ名) /home/username/(転送先ファイル・ディレクトリ名)    

 ※Phase2システムのゲートウェイ(GW2)、ログインノード(login.q)上においてもデータ移行は可能ですが、極力データ移行用ノードでデータ移行を実施して頂けます様ご協力お願い致します。

(5)キュー構成について

　Phase2システムにおいて、新たに並列演算処理に優れた month_phi.q キューが追加されました。
　下記、Phase1・Phase2 各キュー構成表になります。

　Phase1 システム(2012年3月～)

キュー名	ジョブスロット数	実行時間の上限	用途	キュー指定のオプション
week_hdd.q	1600	14日	実行時間2週間で他にリソース要求が無い時	指定なし(デフォルト)
week_ssd.q	832	14日	SSDを利用したい場合に使用	-l ssd
month_hdd.q	96	62日	長期間ジョブ用	-l month
month_ssd.q	64	62日	長期間使用かつSSD使用	-l month -l ssd
month_gpu.q	992	62日	GPUを使用	-l month -l gpu
month_medium.q	160	62日	medium計算ノードを使用	-l month -l medium
month_fat.q	768	62日	fat計算ノードを使用	-l month -l fat
debug.q	64	1日	デバッグ、動作確認用	-l debug
login.q	192	無期限	ゲートウェイノードからqloginする際に利用

　Phase2 システム(2014年3月～)

キュー名	ジョブスロット数	実行時間の上限	用途	キュー指定のオプション
week_hdd.q	1020	14日	実行時間2週間で他にリソース要求が無い時	指定なし(デフォルト)
week_ssd.q	640	14日	SSDを利用したい場合に使用	-l ssd
month_phi.q	600	62日	大量の並列計算を利用する場合に使用	-l month -l phi
month_gpu.q	1240	62日	GPUを使用	-l month -l gpu
month_medium.q	640	62日	medium計算ノードを使用	-l month -l medium
debug.q	80	1日	デバッグ、動作確認用	-l debug　(-l gpu / -l phi)※
login.q	420	無期限	ゲートウェイノードからqloginする際に利用

　※GPU搭載ノードのデバッグキューの場合　⇒　-l debug -l gpu 
　　 Xeon Phi搭載ノードのデバッグキューの場合　⇒　-l debug -l phi

(6)OSについて

　Phase2システムでは、OSのバージョンがPhase1システムと異なります。
　このため、Phase1システムからデータ移行したプログラムについては、再コンパイルが必要となる場合があります。ご了承下さい。

システム	OS	バージョン
Phase1システム	Red Hat Enterprise Linux 6	6.1
Phase2システム	Red Hat Enterprise Linux 6	6.4

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

　以上、Phase2システムのご利用方法になります。
　ご不便をおかけする点もございますがが宜しくお願い致します。