システムの利用方法Tips

Javaプログラム利用についての注意点。ログインシェル。ジョブ再実行時の注意点。Fat計算ノード利用時の注意点。他サイトからのデータダウンロード。DDBJのデータベースへのアクセス。

 

Javaプログラム利用

 Javaは起動時にノードの物理メモリ搭載量を見て 起動時のヒープ領域サイズを決定する為、UGEによって規定された仮想記憶上限4GBよりも大きなサイズのヒープ 領域を取得しようとし、そのままではJavaが起動できません。 

[username@t266 ~]$ java -version
Error occurred during initialization of VM
Could not reserve enough space for object heap
Could not create the Java virtual machine.
[username@t266 ~]$

 Javaを使用されたい方は、以下のいずれかの方法で、Javaを起動できます。 

1.qlogin時に"-l"オプションをでmem_req, s_vmemを指定する

[username@gw ~]$ qlogin -l s_vmem=6G -l mem_req=6G

(※中略※)
[username@t266 ~]$ java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
[username@t266 ~]$

2.Java起動時に"-Xmx"オプションを使用して、起動時の領域サイズを小さくする

[username@gw ~]$ qlogin

(※中略※)
[username@t266 ~]$ java -Xmx512m -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
[username@t266 ~]$

 

 

ログインシェルの変更方法

こちら をご参照ください。

 

ログインシェルを、bashからzshに変更することはできますでしょうか。

以下の手順にて、変更が可能となります。
以下コマンドのusernameに、ご自身のIDを入力して下さい。
パスワード入力後には何もプロンプトは表示されません。

$ ldapmodify -x -D uid=username,ou=people,dc=nig,dc=ac,dc=jp -W
Enter LDAP Password: xxxxxxx           ←パスワードを入力しエンターを入力します
dn: uid=username,ou=people,dc=nig,dc=ac,dc=jp      ←このように入力し、エンターを入力します
changetype:modify      ←このように入力し、エンターを入力します
replace:loginShell      ←このように入力し、エンターを入力します
loginShell:/bin/zsh      ←loginShell:の後に変更したいシェルを指定しエンターを入力します
        ← Ctrl + dと入力します
modifying entry "uid=username,ou=people,dc=nig,dc=ac,dc=jp"   ←このように表示されます
            ← Ctrl + d と入力します

 

 ジョブが再実行された場合の注意点

ジョブが再実行された場合は、 
1.ジョブの標準出力、標準エラー出力は再実行前のファイルに追記されます。
2.投入しているジョブによっては1度目の実行で出力されたファイルの存在により、
  2度目の実行がエラーもしくは不適切になる場合があります。問題の発生が
  懸念される場合は、中間ファイルや結果ファイルを削除した上で、ジョブを
  再投入して頂けるよう、お願いします。
3.必要に応じてジョブ内で再実行に備えた処置を加えて頂けるようお願いします。
  例えばシェルスクリプトの場合ですと以下のような処理を加えることで問題を回避できます。

 

例(一つの中間ファイルを出力し、それを入力として結果ファイルを出力するジョブの場合)

#!/bin/sh
#$ -S /bin/sh
tmpfile=/home/user/tmpdir/tmpfile.txt                      #中間ファイルを指定
outfile=/home/user/outdir/outfile.txt                           #結果ファイルを指定

###追記内容##########################
if [ -f ${tmpfile} ] ; then                                   #中間ファイルが存在すれば削除
rm ${tmpfile}
fi
if [ -f ${outfile} ] ; then                                  #結果ファイルが存在すれば削除
rm ${outfile}
fi
#####################################

 

 

Fat計算ノードにジョブを投入する際の注意点

こちらをご参照ください。

 

Chainer(Deep Learning)をローカルにインストールする方法

こちらをご参照ください。

 

他サイトからデータをダウンロードできない場合

遺伝研スパコンはInfinibandネットワークインタフェースのMTU値を高めに設定しているため、
それが原因でダウンロードに問題が発生する場合があります。
現在、"Phase2 nt104"ノードをダウンロード用ノードとして用意しています。
Phase2 nt104にゲートウェイノードから直接ログイン(ssh nt104)していただき、
ダウンロードを実行してください。

 

手持ちのプログラムをシステム内のコンパイラでコンパイル、動作させてみたが、他の旧式のシステムと比べても遅い

頂いた乱数発生プログラムについてこちらで確認しましたが、SSE3に最適化して開発されているプログラムでした。 システム内では対応しているSSE拡張命令によって最適化を行うコンパイラとしてインテルコンパイラを推奨コンパイラとしてインストールしてありますので、インテルコンパイラを利用して下さい。 この際、最適化オプションとして通常は-fastを利用することが推奨されますが、一部ライブラリが共有ライブラリであるとリンケージが取れません(-fastは複数のオプション指定に展開され、その中に-staticが含まれる為)。 この為、シェアドライブラリをリンクしながら最適化コンパイルも実行したい場合は、以下のコンパイルオプションをバイナリリンケージに指定してリンクを実施してください。
-ipo -O3 -no-prec-div -xHost

 

最適化オプションですが、おすすめのオプションはありますか? -O3を利用してみましたが、各ノードの計算が、あまり速くないようです。

Intelコンパイラの最適化オプションとして"-fast"があります。 これは以下のオプションを付与した場合と同等の効果が得られます。
-ipo -O3 -no-prec-div -static -xHost
コンパイラの最適化オプションについてはプログラミング環境をご参照ください。

 

旧スーパーコンピュータシステム上のコンパイラmpiFCCで指定出来た"-Kfast"(最適化オプション)は新システムでも指定できるのでしょうか。

新スーパコンピュータシステム上のコンパイラでは、"-Kfast"オプションは指定できません。利用可能コンパイラについてはプログラミング環境をご参照ください。

 

希望するソフトウェアがすでにインストールされているかどうかを調べるにはどのようにすればよろしいでしょうか。

スーパーコンピュータシステムで利用可能なソフトウェアは「インストール済みソフトウェア一覧」に掲載しております。こちらをご参照ください。

  

スーパーコンピュータシステム上でGPUを使用した計算プログラムを実行できるのでしょうか。

GPU関連のツールキットを踏査したGPU搭載ノードで実行できます。GPUノードへは、qlogin時に"-l gpu"を付与して下さい。GPUの利用環境についてはプログラミング環境をご参照ください。

 

スーパーコンピュータシステムからDDBJのデータベースに直接アクセスすることは可能なのでしょうか。

以下のようにするとデータベースを置いている省電力ディスクにアクセスできます。ご自身のホームディレクトリにコピーしてご利用ください。
ssh アカウント名@gw.ddbj.nig.ac.jp(Phase2の場合:@gw2.ddbj.nig.ac.jp)
ssh ascp
cd /usr/local/ftp/public/ddbj_database/
cp some_file /home_ph1/youraccount/somewhere (Phase2の場合:/home/youraccount/somewhere)

 

zlibは,i686とx86_64版がinstallされているが、zlib-develはx86_64版のみでi686版がインストールされていないのは、何か理由があるのでしょうか。

686版のzlib-develのRPMがインストールされていない理由は、本スーパーコンピュータシステム環境には32bitCPUのノードが存在しないため、32bit版開発環境は特に必要ないのではないかという判断からです。

 

/home/User/ 以下のファイルにMacからアクセスしたいのですが、 Finderの「サーバへ接続」からアクセスすることは可能でしょうか。

スーパーコンピュータシステムはssh接続のみを許可していますが、 MacのFinder単体では、ssh接続出来ません。 他のフリーソフトと組み合わせることで、可能となります。 以下の手順でマウント可能となります。 ①macfuse-core-10.5-2.1.9をインストール  URL http://www.tuxera.com/mac/macfuse-core-10.5-2.1.9.dmg <ダウンロードする時の注意点>   ダウンロードの接続が悪いため、ダウンロードが完全に終わる前に 終了してしまうことが あります。ダウンロードを100%完了させてください。   ②Macfusionのインストール   URL http://macfusionapp.org/ ③Macfusionを利用する  起動するとリストウインドウが表示されるので、左下の+ボタンからsshfsを選択し、  Host, Path, User Name, Passwordを入力します。  リストに設定したサーバが表示されるので、Mountをクリックしてマウントします。