一般解析環境におけるログイン方法と基本的な使い方
このページではログイン方法と、基本的な使い方および本システムのノード構成について説明します。
システムへのログイン
スパコンを使うにはログインの準備が必要です。まずは下記のリンクを参考にログインを行ってください。
基本的な使い方
「システムへのログイン」でログインを行った際にゲートウェイノード、インタラクティブノードという用語が存在します。
ゲートウェイノードは システム外部からの入口であり、このノード上では計算の実行およびプログラムの編集処理を実行することは禁止されており 、環境設定もされていません。
計算やプログラムを実行する時には、必ずインタラクティブノードに入ってから実行が必要です。
インタラクティブノードにログインする際には、ゲートウェイノード上で以下のコマンドを実行してください。
$qlogin
ログイン例
@の後にatXXXとなっていればインタラクティブノードです。
インタラクティブノードに入り、それぞれの目的に合わせて使うことができます。
目的別利用詳細
処理するデータのアップロード・ダウンロード方法。
本システムへのジョブの投入方法。
計算ソフトウェアを本システム上で安定的に使用できるSingularityの利用方法。
Singularityコンテナ上で動く生物学系ソフトウェア群の利用方法。
ノード構成
本システムを利用する際には、システムの構成を理解する必要があります。
まず用語を定義し、その後ノード構成図を説明します。
1. ゲートウェイノード
インターネットから本システムに接続するためのノードです。システム利用のためにシステム外からまずこのノードにログインします。
2. ログインノード
ユーザがプログラム開発や、ジョブ管理システムにジョブの投入を行うためのノードです。
ゲートウェイノードからqloginコマンドでログインします。
システム内に複数台存在し、ユーザはログイン時に負荷状況の低いログインノードに割り振られてログインします。
3. 計算ノード
ジョブ管理システムの管理下にあってユーザから投入されたジョブを実行する為のノードです。計算機の種別によりThin計算ノード、Medium計算ノード、 Fat計算ノードがあります。
4. キュー
後述するUniva Grid Engine(UGE)上の概念で、計算ノードを論理的にグループ化するものです。キューを指定してジョブの実行をUGEに対して指示すると、指定した条件に合致するように 自動的に計算ノード上で計算が実行されます。キューには後述のように複数種類があります。
これらの構成要素の関連を示したシステム利用の概略図を示します。
その他利用方法
1. 高速領域(LUSTRE領域)の利用方法
本システムでは、ユーザホームディレクトリをLustre File Systemで構成されたファイルシステム上に構築しています。そのため、どのディレクトリにおいても高速領域を利用することができます。
ただし、Lustre領域の特性上、巨大ファイルの扱いは得意なものの、同一ディレクトリ上に数万の 小サイズのファイルを置くなどの操作は避けていただけますとありがたいです。もし、そのようになってしまう場合は複数のディレクトリに分けて格納してください。
本システムでは、Phase2(2018年3月)にMDS(後述)2台、OSS(後述)4台、OST(後述)41セットで構成したlustre6を、Phase3(2019年3月)でMDS(後述)2台、OSS(後述)4台、OST(後述)54セットで構成したlustre7、lustre8の2ファイルシステム導入しています。
ファイルシステム | 導入時期 | 容量 | mds | oss | ost |
---|---|---|---|---|---|
lustre6 | 2018/3/1 | 3.8PB | 2 | 4VM on SFA14KXE | 41 x RAID6(8D+2P) |
lustre7 | 2019/3/1 | 5.0PB | 2 | 4VM on SFA14KXE | 54 x RAID6(8D+2P) |
lustre8 | 2019/3/1 | 5.0PB | 2 | 4VM on SFA14KXE | 54 x RAID6(8D+2P) |
ホームディレクトリの使用状況の確認
ユーザの現在のホームディレクトリの使用状況は、"lfs quota"コマンドで確認することができます。
[username@at031 ~]$ lfs quota -u username ./ Disk quotas for usr username (uid 9876): Filesystem kbytes quota limit grace files quota limit grace ./ 359743396 0 0 - 5250 0 0 -
項目 | 意味・説明 |
kbyte | 使用中のファイル容量(KB) |
quota | ファイル容量/数の制限値(ソフトリミット) |
limit | ファイル容量/数の絶対制限値(ハードリミット) |
grace | 制限値越えの許容期間 |
files | 使用中のファイル数 |
ファイルストライプの設定方法
本システムでは、ファイル操作を高速化するためのファイルストライプが使用可能です。
Lustreの特長は、1つのファイルを複数のセグメントに分割し、これを複数のObject Storage Target(OST)上に分散して格納できることです。この機能をファイルストライピング(file striping)と呼びます。
そのメリットは、一つのファイルが複数のOST上に分割して格納されるため、それに対してクライアントから並列にRead/Writeを実行可能で、大容量のファイルについては 高速にRead/Writeができることです。そのデメリットは、ファイルが複数のOST上に分散されるため、分散したデータのハンドリングのオーバーヘッドが増大することです。
このため、一般にストライプサイズ、ストライプカウントを変更して有効と考えられるのは、対象となるファイルサイズが数GBであるとき等が考えられます。
ファイルストライプを使用したい場合は以下の手順を実施してください。
まず、現状のストライプカウントを確認するとシステムデフォルトは1になっています。 "lfs getstrip 対象ファイル(ディレクトリ)"で確認することができます。
[username@at031 ~]$ ls -ld tmp drwxr-xr-x 2 username lect 4096 Feb 22 00:51 tmp [username@at031 ~]$ lfs getstripe tmp tmp stripe_count: 1 stripe_size: 1048576 stripe_offset: -1
ストライプの設定は、"lfs setstripe"コマンドで設定することができます。
オプション名 | 説明 |
-c | ストライプ数、ストライプ幅を設定します。 |
-o | オフセットを指定します。 |
-s | ストライピングサイズを指定します |
2. ログインノード上でのXクライアントの利用方法
本システムでは、システムのGUI操作が可能となるXクライアントの使用が可能です。
ログインノード上でX-Window Clientを利用する場合は、Windows 上の場合は、対応したX-Window サーバエミュレータをユーザ側でご用意下さい。
Macの場合は、 Xcode Toolsのなかに、X11 SDKがありますので、これをインストールしてX11を利用可能にしてください。