サイトポリシー サイトマップ
2016 年 08 月 30 日

PageTop

スーパーコンピュータシステムの基本的な利用方法

本ページでは、本スーパーコンピュータシステムの基本的な使用方法についてご説明します。内容は重複致しますが、説明会(講習会)にて配布した資料についても以下に掲載しますので合わせてご参照ください。

資料名日本語版英語版概略説明
システム紹介 ここから ここから システムの概略説明
システムの基本的使用方法 ここから ここから システム構成の概略とシステムの基本的な利用に必要なコマンド群の利用方法について解説
Univa Grid Engine概説 ここから ここから システム利用に必要なUniva Grid Engineの基本的な利用方法について解説
ジョブを投入するノウハウ ここから ここから UGEを介してジョブ投入を行う際に、効率よくシステムを利用して頂く為に必要な考慮点について解説
ユーザ登録 ここから ここから

 

スーパーコンピュータシステムはハードウェア構成で記述したハードウェアで構成されます。このハードウェアについて多数ユーザが効率的に共用できるようジョブ管理システムUGE(Univa Grid Engine)を利用してシステム利用環境を構築しています。 環境は以下の構成要素で構成されます。

ゲートウェイノード

インターネットから本システムに接続する為のノードです。システム利用の為にシステム外からまずこのノードにログインします。

ログインノード

ユーザがプログラム開発や、ジョブ管理システムにジョブの投入を行う為のノードです。ゲートウェイノードからqloginコマンドでログインします。 システム内に複数台存在し、ユーザはログイン時に負荷状況の低いログインノードに割り振られてログインします。

計算ノード

ジョブ管理システムの管理下にあってユーザから投入されたジョブを実行する為のノードです。計算機の種別によりThin計算ノード、Medium計算ノード、 Fat計算ノードがあります。

キュー

UGE上の概念で、計算ノードを論理的にグループ化するものです。キューを指定してジョブの実行をUGEに対して指示すると、指定した条件に合致するように 自動的に計算ノード上で計算が実行されます。キューには後述のように複数種類があります。具体的な利用方法については後述します。

これらの構成要素の関連を示したシステム利用の概略図を示します。

ではシステムの基本的な利用方法について順を追ってご説明します。

システムへのログイン

まずゲートウェイノードにssh経由でゲートウェイノード(gw.ddbj.nig.ac.jp)にログインして頂きます。お手元の端末で利用可能なsshクライアントソフトを各自ご用意頂き接続をお願いします。認証方法はパスワード認証です。

     ・Phase1システムゲートウェイ ⇒ gw.ddbj.nig.ac.jp

     ・Phase2システムゲートウェイ ⇒ gw2.ddbj.nig.ac.jp

ゲートウェイノードは システム外部からの入口であり、このノード上では計算の実行およびプログラムの編集処理を実行することは禁止されており 、環境設定もされていません。その点ご注意ください。 ゲートウェイノードにログインできたら、そのままログインノードへ以下の手順に従ってログインをして下さい。

ログインノードへのログイン

UGEのコマンドである、qloginを使用します。 以下のようにします。

[username@gw ~]$ qlogin
Your job 6896426 ("QLOGIN") has been submitted
waiting for interactive job to be scheduled ...
Your interactive job 6896426 has been successfully scheduled.
Establishing /home/geadmin/UGER/utilbin/lx-amd64/qlogin_wrapper session to host t266i
    

qloginを利用すると、qloginが複数のログインノードの負荷情報を確認し負荷が低いログインノードを自動的に選択しますので、そのまま選択されたノードにログインします。 (上の例では、このログインセッション自体がインタラクティブジョブ(JobID6896426)として認識され、計算ノードt266が選択されてログイン処理が行われています。) この時にログインしたログインノード上でqstatコマンド(後述)を実行すると、

[username@gw ~]$ qstat
job-ID  prior   name       user         state submit/start at     queue
                slots ja-task-ID
---------------------------------------------------------------------------------
--------------------------------
6896426 0.00000 QLOGIN     username     r     06/14/2012 13:27:53 login.q@t261i
                   1
    

というように今qloginでログインしたログインセッションがUGE管理下のジョブとして確認できます。 ログインノード上では各種開発環境、スクリプティング言語環境が用意されています。開発作業を行う場合は、そのままログインノード上で作業を行ってください。 ログインノード上でのプログラミング環境についてはプログラミング環境をご参照ください。 ここでログインノード上では、大規模な計算処理を実行しないでください。必ずUGEに計算ジョブを投入することで計算ノード上で実行するようにしてください。

GPGPU開発環境を利用したプログラム開発を行う為にGPGPUを搭載したログインノードを用意しています。当該ノードにログイン したい場合は、ゲートウェイノード上でqloginを行う場合に

    qlogin -l gpu    

と、-l オプションでgpuを指定してください。これでGPGPUを搭載したログインノードにログインができます。( Phase1、Phase2 共通)

Xeon Phi Coprocessor開発環境を利用したプログラム開発を行う為にXeon Phi Coprocessorを搭載したログインノードを用意しています。当該ノードにログイン したい場合は、ゲートウェイノード上でqloginを行う場合に

    qlogin -l phi    

と、-l オプションでphiを指定してください。これでXeon Phi Coprocessorを搭載したログインノードにログインができます。 ( Phase2 専用)

次に計算ノードへのジョブの投入方法についてご説明します。

計算ジョブの投入

計算ノードに計算ジョブを投入するには、qsubコマンドを利用します。qsubコマンドでジョブを投入する為には、投入するジョブスクリプトを作成する 必要が有ります。簡単な例ですが以下のように記述します。

#!/bin/sh
#$ -S /bin/sh
pwd
hostname
date
sleep 20
date
echo “to stderr” 1>&2

この時、行の先頭に、"#$"が指定されている行が、UGEへのオプション指示行になります。オプション指示行をシェルスクリプトにする、またはqsubコマンド 実行時のオプションとして指定することでUGEに動作を指示します。主なオプションとしては以下のものがあります。

指示行の記述コマンドラインオプション指示指示の意味
#$ -S インタプリタパス -S インタプリタパス コマンドインタプリタをパス指定する。シェル以外のスクリプト言語も指定可能。このオプションは指定必要
#$ -cwd #$ -cwd ジョブ実行のカレントワーキングディレクトリを指定する。これによりジョブの標準出力、エラー出力もcwd上に出力される。 指定しない場合はホームディレクトリがカレントワーキングディレクトリとなりジョブ実行される。
#$ -N ジョブ名 -N ジョブ名 ジョブの名前を指定する。この指定が無ければスクリプト名がジョブ名になる。
#$ -o ファイルパス -o ファイルパス ジョブの標準出力の出力先を指定する。
#$ -e ファイルパス -e ファイルパス ジョブの標準エラー出力の出力先を指定する。

qsubには上記の他にも指定可能なオプションが多数ありますので、詳細についてはシステムにログイン後"man qsub"として、qsubコマンドの オンラインマニュアルを参照して確認してください。

ジョブ投入時のキューの選択について

ソフトウェア構成でもご説明している通り、本システムでは以下のキューを設定しています(2015年11月現在)。
キューの選択は、qsubコマンドの-lオプションで可能です。各キューを指定して投入したい場合は下表の「キュー指定のオプション」を指定してqsubを実行してください。何も指定しなければ、week_hdd.qに投入されます。
2014年12月に短時間ジョブ向けキュー(short.q)が追加されました。

Phase1システム 2012年3月導入 

キュー名ジョブスロット数実行時間の上限用途キュー指定のオプション 
week_hdd.q 1472 14日 実行時間2週間で他にリソース要求が無い時      指定なし(デフォルト)
month_gpu.q 248 62日 GPUを使用 -l month -l gpu
month_medium.q 160 62日 medium計算ノードを使用 -l month -l medium
month_fat.q 768 62日 fat計算ノードを使用 -l month -l fat ※
debug.q 48 24時間 デバッグ、動作確認用 -l debug
login.q 192 無期限 ゲートウェイノードからqloginする際に利用
short.q 744 24時間 短時間ジョブ向け -l short

 ※month_fat.qにジョブ投入時は「Fat計算ノードにジョブを投入する際のTIPS」も参考にして下さい。

Phase2システム 2014年3月増設

2012年導入時と比較し、新たに並列演算処理に優れた month_phi.q キューが追加されました。

キュー名ジョブスロット数実行時間の上限用途キュー指定のオプション 
week_hdd.q 1020 14日 実行時間2週間で他にリソース要求が無い時 指定なし(デフォルト)
week_ssd.q 640 14日 SSDを利用したい場合に使用 -l ssd
month_phi.q     600 62日 大量の並列計算を利用する場合に使用         -l month -l phi
month_gpu.q 310 62日 GPUを使用 -l month -l gpu
month_medium.q 640 62日 medium計算ノードを使用 -l month -l medium
debug.q 80 24時間 デバッグ、動作確認用 -l debug (-l gpu / -l phi)※
login.q 420 無期限 ゲートウェイノードからqloginする際に利用
short.q 930
24時間 短時間ジョブ向け -l short

 ※gpu搭載ノードのデバッグキューの場合 ⇒ -l debug -l gpu 
   xeon phi搭載ノードのデバッグキューの場合 ⇒ -l debug -l phi

 

例えば、month_ssd.qにtest.shというジョブを投入したければ、以下のようにコマンドを投入します。

    qsub -l month -l ssd test.sh    

また、例えば、medium計算ノードにtest.shというジョブを投入したければ、以下のようにコマンドを投入します。

    qsub -l month -l medium test.sh    

また、例えば、fat計算ノードにtest.shというジョブを投入したければ、以下のようにコマンドを投入します。

    qsub -l month -l fat test.sh    

但し、構成として、GPGPUを搭載しているノードは、SSDも搭載しており、SSDを搭載しているノードはHDDも搭載しているので、SSDを利用する為の キューのスロットが一杯になっていれば、ジョブはGPUのキューに流れるように設定されています。また、HDDのキューが一杯であれば、その時に投入した ジョブは、SSDのキューに投入されるように設定されています。その点ご注意ください。

ジョブの投入状況の確認

qsubで投入したジョブがジョブとして投入されたかを確認します。投入したジョブの状態確認にはqstatコマンドを利用します。例えばジョブが 投入されていたとすれば以下のように表示されます。

qstat
job-ID  prior   name       user         state submit/start at     queue
               slots ja-task-ID
----------------------------------------------------------------------------------
-------------------------------
6929724 0.00000 jobname username      r     06/18/2012 13:00:37 week_hdd.q@t274i
                 1
6929726 0.00000 jobname username      r     06/18/2012 13:00:37 week_hdd.q@t274i
                 1
6929729 0.00000 jobname username      r     06/18/2012 13:00:37 week_hdd.q@t287i
                 1
6929730 0.00000 jobname username      r     06/18/2012 13:00:37 week_hdd.q@t250i
                 1
    

この時、"state"欄の文字の意味は以下のようになります。

文字意味
r ジョブ実行中
qw ジョブはキューで待機中
t ジョブは実行ホストへ転送処理中
E ジョブにエラーが発生
d ジョブは削除処理中

また、キューの利用状況を確認したい場合は、"qstat -f"と入力します。以下のような出力が出力されます。

[username@t266 pgi]$ qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
debug.q@t139i                  BP    0/0/16         0.44     lx-amd64
---------------------------------------------------------------------------------
debug.q@t253i                  BP    0/0/16         0.49     lx-amd64
---------------------------------------------------------------------------------
debug.q@t254i                  BP    0/0/16         0.43     lx-amd64
---------------------------------------------------------------------------------
debug.q@t255i                  BP    0/0/16         0.44     lx-amd64
---------------------------------------------------------------------------------
debug.q@t256i                  BP    0/0/16         0.41     lx-amd64
(中略)
---------------------------------------------------------------------------------
week_hdd.q@t267i               BP    0/16/16        16.65    lx-amd64      a
6901296 0.00000 job_name   username     r     06/17/2012 22:20:32    16
---------------------------------------------------------------------------------
week_hdd.q@t268i               BP    0/0/16         0.50     lx-amd64
---------------------------------------------------------------------------------
week_hdd.q@t269i               BP    0/0/16         0.57     lx-amd64
---------------------------------------------------------------------------------
(中略)
week_hdd.q@t280i               BP    0/6/16         2.18     lx-amd64
---------------------------------------------------------------------------------
week_hdd.q@t281i               BP    0/12/16        12.79    lx-amd64
6901296 0.00000 job_name   username    r     06/17/2012 22:20:32    12
---------------------------------------------------------------------------------
week_hdd.q@t282i               BP    0/6/16         1.34     lx-amd64
---------------------------------------------------------------------------------
week_hdd.q@t283i               BP    0/16/16        16.63    lx-amd64      a
6901296 0.00000 job_name   username     r     06/17/2012 22:20:32    16
---------------------------------------------------------------------------------
week_hdd.q@t284i               BP    0/16/16        16.59    lx-amd64      a
6901296 0.00000 job_name   username     r     06/17/2012 22:20:32    16
---------------------------------------------------------------------------------
(以下略)
    

これにより、どのノード(キュー)にジョブが投入されているかを判別することができます。

また、 各キューのジョブの投入状況、キューの負荷状況等、全体を把握するのには、"qstat -g c"として確認することが 出来ます。

[username@t266 pgi]$ qstat -g c
CLUSTER QUEUE                   CQLOAD   USED    RES  AVAIL  TOTAL aoACDS  cdsuE
--------------------------------------------------------------------------------
debug.q                           0.03      0      0    128    128      0      0
login.q                           1.00    122      0     70    192      0      0
month_fat.q                       0.47    450      0    318    768      0      0
month_gpu.q                       0.03      0      0    976    992      0     16
month_hdd.q                       0.04      1      0     95     96      0      0
month_medium.q                    0.24     32      0    128    160      0      0
month_ssd.q                       0.03      0      0     32     32      0      0
web_month.q                       0.03      0      0     16     16      0      0
web_week.q                        0.03      0      0     16     16      0      0
week_hdd.q                        0.13    222      0    914   1136     48      0
week_ssd.q                        0.33    256      0    608    864    256      0
    

また、"qstat -j ジョブID"とすることで、ジョブの詳細情報を取得することができます。

[username@t266 pgi]$ qstat -j 6901165
==============================================================
job_number:                 6901165
exec_file:                  job_scripts/6901165
submission_time:            Sun Jun 17 22:12:36 2012
owner:                      username
uid:                        XXXX
group:                      usergroup
gid:                        XXXX
sge_o_home:                 /home/username
sge_o_log_name:             username
sge_o_path:                 /home/geadmin/UGER/bin/lx-amd64:/usr/lib64/qt-3.3/bin:/
opt/pgi/linux86-64/current/bin:/usr/local/pkg/java/current/bin:/opt/intel/composer
_xe_2011_sp1.6.233/bin/intel64:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/
sbin:/sbin:/opt/bin:/opt/intel/composer_xe_2011_sp1.6.233/mpirt/bin/intel64:/opt/
intel/itac/8.0.3.007/bin:/home/username/bin
sge_o_shell:                /bin/bash
sge_o_workdir:              /lustre1/home/username/workdir
sge_o_host:                 t352i
account:                    sge
cwd:                        /home/username
hard resource_list:         mem_req=4G,s_stack=10240K,s_vmem=4G,ssd=TRUE
mail_list:                  username@t352i
notify:                     FALSE
job_name:                   job_name
jobshare:                   0
shell_list:                 NONE:/bin/sh
env_list:
script_file:                userscript
parallel environment:  mpi-fillup range: 128
binding:                    NONE
usage    1:                 cpu=83:14:55:50, mem=2934667.66727 GBs, io=88.79956,
vmem=57.457G, maxvmem=56.291G
binding    1:               NONE
scheduling info:            (Collecting of scheduler job information is turned off)
    

また、実行状況を確認していて、ジョブの状況が異常でジョブの終了を待たずにただちに削除したい場合はqdelコマンドを使用します。 "qdel ジョブID"とします。自分が投入しているジョブをすべて削除したい場合は、"qdel -u ユーザ名"とすることで実行可能です。

結果の確認

ジョブの結果は、ファイル名がジョブ名.oジョブIDのファイルににジョブの標準出力、ファイル名がジョブ名.eジョブIDのファイルにジョブの標準エラー出力 が出力されています。ファイルをご確認ください。また実行したジョブがどのぐらいのリソースを利用したか等の詳細情報については、qacctコマンドで確認することができます。

qacct -j 1996
==============================================================
qname        week_ssd.q
hostname     t046i
group        usergroup
owner        username
project      NONE
department   defaultdepartment
jobname      jobscript.sh
jobnumber    XXXX
taskid       undefined
account      sge
priority     0
qsub_time    Wed Mar 21 12:35:43 2012
start_time   Wed Mar 21 12:35:47 2012
end_time     Wed Mar 21 12:45:45 2012
granted_pe   NONE
slots        1
failed       0
exit_status  0
ru_wallclock 598
ru_utime     115.199
ru_stime     482.510
ru_maxrss    427756
ru_ixrss     0
ru_ismrss    0
ru_idrss     0
ru_isrss     0
ru_minflt    27853
ru_majflt    44
ru_nswap     0
ru_inblock   2904
ru_oublock   2136
ru_msgsnd    0
ru_msgrcv    0
ru_nsignals  0
ru_nvcsw     23559
ru_nivcsw    6022
cpu          598.520
mem          17179871429.678
io           0.167
iow          0.000
maxvmem      3.929G
arid         undefined
    

高速領域(Lustre領域)の使用方法

Lustre構成

本スーパーコンピュータシステムではユーザホームディレクトリをLustre File Systemで構成されたファイルシステム上に構築しています。Lustreファイルシステムは、主に大規模なスーパーコンピュータシステムで利用される並列ファイルシステムです。

本システムでは、Phase1(2012年3月)でMDS(後述)2台、OSS(後述)12台、OST(後述)72セットで構成したLustre File Systemを、2ファイルシステム導入しました。
Phase2(2014年3月)では、MDS2台、OSS18台、OST108セットで構成したLustre File Systemを3ファイルシステム追加導入し、現在計5ファイルシステムで運用しています。

Lustreの構成要素

Lustre File Systemは、概略で示すとObject Storage Server(OSS)と呼ばれるIOサーバと、Object Storage Target(OST)と呼ばれるディスク装置と、ファイルのメタデータ を管理するMetaData Server(MDS)と呼ばれるサーバを構成要素として成り立ちます。各コンポーネントの説明を下表に記述します。

fat

コンポーネント用語説明
Object Storage Server(OSS) OST(後述)を管理し、ネットワークからのOSTに対するIO要求を制御します。
Object Storage Target(OST) ブロックストレージデバイスで、ファイルデータを格納する装置です。一つのOSTは一つの仮想ディスクと考えられ、複数の物理ディスク から構成されます。ユーザデータは一つ以上のオブジェクトとして、一つ以上のOSTに格納されます。1ファイルあたりのオブジェクト数は設定変更が可能で、これをチューニング することでストレージのパフォーマンスの調整を行うことができます。本システム構成ではOSS 1台に対してOSTを8個管理するよう構成しています。
Meta Data Server(MDS) 1つのLustreファイルシステムに1台(本構成ではHA構成の2台)のサーバで構成され、ファイルシステム内でファイルが割り当てられているオブジェクトの位置情報、ファイル属性情報を管理し、 ファイルIO要求を適切なOSSに誘導します。一旦ファイルIOが開始されれば、MDSは、そのファイルIOに関与せず、クライアントとOSS間で直接データ 転送が行われます。この為Lustre File Systemは高いIO性能を持つことが可能となっています。
Meta Data Target(MDT) Lustreファイルシステム内のファイルのメタデータ(ファイル名、ディレクトリ、ACL等)を格納するストレージデバイスです。MDSに接続されます。

ファイルストライピングについて

Lustreの特長は、1つのファイルを複数のセグメントに分割し、これを複数のOST上に分散して格納できることです。この機能をファイルストライピング(file striping)と呼びます。 ファイルストライピングのメリットは、一つのファイルが複数のOST上に分割して格納される為、それに対してクライアントから並列にread/writeを実行可能で、大容量のファイルについては 高速にread/writeができることです。 しかしファイルストライピングにはデメリットもあります。ファイルは複数のOST上に分散される為、分散したデータのハンドリングのオーバーヘッドが増大することです。 この為、一般にストライプサイズ、ストライプカウントを変更して有効と考えられるのは、

対象となるファイルサイズが数GBであるとき。

等です。Lustreはメタデータは、MDSで一元管理される為、メタデータ操作(ls -lや大量の小サイズファイルの作成等)を伴うファイル操作は、MDSに負荷が 集中し、ローカルファイルシステム上の同等操作に比較して高速ではありません。その点に注意し、同一ディレクトリ上に数万の 小サイズのファイルを置くなどの操作は避けて頂きたくお願い致します(そのような場合は複数のディレクトリに分けて格納したほうが良い。)。

ホームディレクトリの使用状況の確認

ユーザの現在のホームディレクトリの使用状況は、"lfs quota"コマンドで確認することができます。

[munakata@t260 ~]$ lfs quota -u username ./
Disk quotas for user username (uid 3055):
     Filesystem  kbytes   quota   limit   grace   files   quota   limit   grace
             ./ 792362704       0 1000000000       -   10935       0       0       -
Disk quotas for group tt-gsfs (gid 10006):
     Filesystem  kbytes   quota   limit   grace   files   quota   limit   grace
             ./ 8250574892       0       0       - 5684904       0       0       -
項目 意味・説明
kbyte 使用中のファイル容量(KB)
quota ファイル容量/数の制限値(ソフトリミット)
limit ファイル容量/数の絶対制限値(ハードリミット)
grace 制限値越えの許容期間
files 使用中のファイル数

ファイルストライプの設定方法

以下の手順で実施してください。まず、現状のストライプカウントを確認します。システムデフォルトは1になっています。 "lfs getstrip 対象ファイル(ディレクトリ)"で確認することができます。

[munakata@t261 ~]$ ls -ld tmp
drwxr-xr-x 8 username tt-gsfs 4096  6月 19 01:11 2012 tmp
[munakata@t261 ~]$ lfs getstripe tmp
tmp
stripe_count:   1 stripe_size:    1048576 stripe_offset:  -1
tmp/SRA010766-assembly-out22

ストライプの設定は、"lfs setstripe"コマンドで設定することができます。

オプション名 説明
-c ストライプ数、ストライプ幅を設定します。
-o オフセットを指定します。
-s ストライピングサイズを指定します

 

ログインノード上でのXクライアントの利用方法

ログインノード上でX-Window Clientを利用する場合は、Windows 上の場合は、対応したX-Window サーバエミュレータをユーザ側でご用意下さい。

Macの場合は、 Xcode Toolsのなかに、X11 SDKがありますので、これをインストールしてX11を利用可能にしてください。

 

Phase2システム 計算機利用方法 (2014/3利用~)

 Phase1システムをご利用されていた方が、Phase2システムをご利用になるためには、Phase1システムからのデータ移行が必要となります。

 このデータ移行用に、Phase2システムの一部ThinノードにPhase1システムのInfiniBandと接続されたデータ移行専用ノードを用意しております。
 データ移行専用ノードでは、Phase1とPhase2両方の機器にアクセス可能となり、Phase1とPhase2のホーム領域間でのデータ移動が可能となります。
 Phase2システムのゲートウェイからログインしてご利用下さい。

 以下イメージ図になります。

network image

 Phase1、Phase2各ホーム領域を閲覧可能なノードが限定されます。詳しくは下記表をご確認下さい。

各ホーム領域参照ノードPhase1ホーム領域パスPhase2ホーム領域パス
Phase1-Thin計算ノード,Midium計算ノード /home/USER 参照不可
Phase2-Thin計算ノード,Midium計算ノード 参照不可 /home/USER
Phase2-GW,ログインノード,データ移行用ノード /home_ph1/USER /home/USER
Fat計算ノード /home/USER /home_ph2/USER

 データ移行方法

 Phase2システムゲートウェイにログイン後、"-l trans"のオプション付きでqloginを行って頂くとデータ移行用ノードへログイン可能となります。
 下記にコマンド実行例を記載します。

 ①データ移行用ノードへのqlogin

[username@gw2 ~]$ qlogin -l trans
Your job 82 ("QLOGIN") has been submitted
waiting for interactive job to be scheduled ...
Your interactive job 82 has been successfully scheduled.
Establishing /home/geadmin2/UGER/utilbin/lx-amd64/qlogin_wrapper session to host nt103i ...
username@nt103i's password:         ・・・この場合nt103がデータ移行用ノードになります。  
Last login: Wed Feb 19 16:27:01 2014 from nt091i
[username@nt103 ~]$                               

 ②cpコマンド実行例

[username@nt103]$ cp /home_ph1/username/(転送元ファイル名) /home/username/(転送先ファイル名)    

 ③rsyncコマンド実行例

[username@nt103]$ rsync -av /home_ph1/username/(転送元ファイル・ディレクトリ名) /home/username/(転送先ファイル・ディレクトリ名)    

 ※Phase2システムのゲートウェイ(GW2)、ログインノード(login.q)上においてもデータ移行は可能ですが、極力データ移行用ノードでデータ移行を実施して頂けます様ご協力お願い致します。

 なお、Phase1システムとPhase2システムではOSのバージョンが異なるため、データ移行したプログラムについて再コンパイルが必要となる場合があります。ご了承ください。