Thin計算ノード搭載NVMe SSDについて

Thin計算ノード搭載NVMe SSDの機器詳細

ph3システムのThin計算ノード全台にOS領域以外の一時解析データ置場として3.2TBのNVMe SSDを1台ずつ搭載しています。
機器の詳細は以下の通りです。

型番 HPE 3.2TB nvme x4 Lanes Mixed Use SFF(2.5in) SCN 3yr Wty Digitally Singned Firmware SSD
容量 3.2TB
接続インタフェース NVMe
最大シーケンシャルread 3,200 MB/sec
最大シーケンシャルwrite 2,000 MB/sec
最大ランダムread IOPS(4KiB) 675,000@Q256
最大ランダムwrite IOPS(4KiB) 240,000@Q16
書き込み耐性(DWPD) ランダムWrite時 2.9DWPD

 

Thin計算ノード搭載NVMe SSDを利用したジョブ投入例

全Thin計算ノードの/data1というパスでアクセス可能です。

[username@at030 ~]$ df -h /data1
ファイルシス サイズ 使用 残り 使用% マウント位置
/dev/nvme1n1p1 3.0T 101G 2.9T 4% /data1


この領域は各Thin計算ノードで独立であり、ノード間では共有されません。そのためUGEにジョブ投入して本領域を使用する場合は、ジョブスクリプト内にホーム領域と/data1の間でのデータコピー処理を含めるようにしてください。

また/data1に格納したデータをsingularityコンテナで利用する場合はsingularity exec時にbindオプション(--bind /data1)を付与してください。

■ジョブ例
/home/username/blast以下のsample.queryを/data1に配置してから、singularityコンテナでblastを実行する例
 query:/data1以下に配置したsample.query
 DB:/usr/local/seq以下で提供しているncbi nt

#!/bin/sh
module load singularity
cd ~/blast
mkdir /data1/username                                                           #/data1以下に自分用のディレクトリを作成
cp sample.query /data1/username/                                                #/data1以下にジョブで利用するqurtyファイルをコピー
singularity exec --bind /data1,/usr/local/seq /usr/local/biotools/b/blast\:2.7.1--boost1.64_1 \
blastn -query /data1/username/sample.query -db /usr/local/seq/blast/ncbi/nt     #singularityによるblast実行
rm /data1/username/sample.query                                                 #/data1以下の片づけ
rmdir /data1/username                                                           #/data1以下の片づけ

 

Lustre on demand(LustreOD)サービス

各計算ノードのNVMe SSDをMDTまたはOSTとして利用し、各計算ノードでMDS,OSSのサービスを起動することで専用のLustreファイルシステムを構成することが可能です。この専用Lustreを占有利用することで共有Lustreとは独立して計算処理をして頂けます。

ご利用になるためには計算ノードを占有利用する課金サービスの申請をしてください。占有利用した計算ノードのローカルディスクを使用してLustreファイルシステムを構成させて頂きます。

参考:課金サービスの利用申請

LustreODの性能ですが、構成にも左右されますが計算ノード3台構成(MDS1台+OSS2台)においてIORで測定した場合、Readが4.1GB/sec、Writeが1.9GB/sec程度でした。参考としてください。