遺伝研スーパーコンピュータ個人ゲノム解析環境の利用方法
利用資格
個人ゲノム解析システムの利用にあたりましては遺伝研スパコン利用規程のページにある各文書をご一読いただき、遵守していただきますようお願いいたします。
遺伝研スパコン個人ゲノム解析システムは以下のセキュリティーガイドラインを遵守しております。
利用申請は以下のページからお願いいたします。
課金サービス全般の利用方法は以下のページをご参照ください。
利用方法
個人ゲノム解析システムは下図の構成となっています。ネットワーク接続は遺伝研スパコンファイアウォールによりホワイトリストにある特定のIPアドレスとだけ許可されています。またユーザーは検疫用ゲートウェイを介してのみユーザーの計算機と個人ゲノム解析システムとの間のデータ転送ができます。解析用クラスタ計算機内に研究グループごとの仮想マシンが作られそれを占有する形になります。
ファイルのアップロードの方法
個人ゲノム解析システムでは検疫用ゲートウェイに向かってscpでファイルをアップロードしてください。
scp your-file.txt your-account@qgwa.ddbj.nig.ac.jp:/home/you/Upload |
また、ファイルのアップロードにファイル転送ソフトAspera Connectを使用することも可能です。Aspera Connectを使用する場合はユーザーの申請が必要となりますので、までご申請ください。Aspera Connectの使用方法についてはシステムへのファイル転送方法をご確認ください。
検疫用ゲートウェイ上へのファイルのアップロードが完了次第、アップロードファイルに対してウイルスチェックなどのテストが行われ、問題のないファイルは自動的に解析システムのストレージにコピーされます。(このコピーに関してユーザーがコマンドを実行するなどの操作は必要ありません。解析システムに直接ファイルをアップロードすることはできません。)
検疫用ゲートウェイのディスクサイズは110TB、解析用システムのディスクサイズは2019年現在合計5PBです。
検疫用ゲートウェイにアップロードされたファイルは解析システムへのデータコピー終了後約1週間以内に自動的に消去されます。ユーザー側で検疫ゲートウェイ上のファイルを明示的に消去しても構いません。(消去の際にはsrmコマンドを推奨します。OSによりコマンドラインオプションが異なることがありますので利用しているシステムのmanコマンドで利用方法を確認してください。)
ssh your-account@qgwa.ddbj.nig.ac.jp srm your_files.tar.gz |
解析システムへのログイン方法
一旦、解析システムゲートウェイ(gwa)にログインし、解析システムゲートウェイ(gwa)上からご自身の解析環境(例えばA001)にログインします。
ssh your-account@gwa.ddbj.nig.ac.jp ssh your-account@A001 |
解析プログラムのインストール方法
解析システムはシステム中にUbuntu Linux, CentOSのリポジトリを持っているのでaptやyumはそのまま利用できます。
また、Singularityのリポジトリを遺伝研側で整備しており、そこで用意されているコンテナはそのまま利用できます。
さらに、ユーザーが解析システム内からHTTP, HTTPSによりgithub等のインターネット上のリポジトリのファイルを取得することも可能ですので、ユーザー自身でソースファイルを取得してプログラムをコンパイルして利用することも可能です。
上記で対応できない場合はまでメールで連絡してください。
プログラムの実行方法
ユーザーに仮想マシンが割り当てられていますのでプログラム実行は通常のLinuxと同様の手順となります。
データのダウンロードの方法
解析システムからユーザーの研究室の計算機にデータをダウンロードする際には、 ユーザーの計算機と解析システムの間で直接データ転送する経路はありませんのでデータアップロードと反対の経路を使います。解析システムの$HOME/Downloadディレクトリにファイルを置いておくと、検疫ゲートウェイにファイルがコピーされますので、その後、検疫ゲートウェイからファイルを研究室にscpしてください。
your-computer $ scp your-account@qgwa.ddbj.nig.ac.jp:/home/your-account/Download/your_files.tar.gz . |
データの消去について
前述の通り、利用前にユーザーに仮想マシンの利用計画を提出していただきます。利用計画とは例えばCPU4コア、メモリ16GB、ディスク10TBの仮想マシン3台を6ヶ月間のあとCPU12コア、メモリ48GB、ディスク10TBの仮想マシン10台を6ヶ月間、という内容となります。
利用期間が終わったら仮想マシンをDDBJ側で消去します。その際にその研究グループのデータは解析システム上から無くなることになります。
ユーザー側で明示的に消去しても構いません。消去の際にはsrmコマンドを推奨します。OSによりコマンドラインオプションが異なることがありますので利用しているシステムのmanコマンドで利用方法を確認してください。
ssh your-account@A001 srm –r your-directory |
セキュリティーに関する注意事項
ユーザーの計算機は公開鍵暗号方式にてsshを用いて解析環境にログインします。ユーザーの計算機の盗難等に備えて 必ず十分な強度のパスフレーズを設定してください。
計算機の盗難その他セキュリティーインシデントや個人情報漏洩が疑われる場合などは速やかに宛てに連絡してください。