メインコンテンツまでスキップ

Archaea tools(旧 HCPtools) の使い方

遺伝研スパコンに対してファイルのアップロード、ダウンロードを行うには、一般的に広く用いられているファイル転送ソフトウェアであるscpやsftpをつかうことができますが、scpなどでは遠距離間で大量のファイルを転送する際に転送速度が遅くなる性質があります。

遠距離の高速通信のために、遺伝研スパコンでは、一般解析区画では Aspera、個人ゲノム解析区画では Archaea tools(旧 HCPtools)というファイル転送ソフトウェアが利用可能となっています。

参考資料

ソフトウェアの改称について​

2022 年 10 月、HCPtools ソフトウェア提供元が、データ転送系のブランド名称として、「Bytix(バイティックス)」というブランド名を立ち上げ、製品名称が「HCPtools」から「Archaea tools」へ変更になりました。

製品名称変更後も、これまで通り HCPtools で使用していたコマンドと同じコマンドをそのままお使いいただけます。

変更についての詳細は、🔗Bytix 公式ページ「製品名称変更等について」のページをご参照ください。

クライアントソフトウェアのインストール​

Archaea tools(旧 HCPtools)を利用するためにはクライアントソフトウェアをユーザのクライアント計算機にインストールする必要があります。 お使いのクライアント計算機の環境に応じて以下の文書をご参照ください。

設定ファイルの設置方法​

遺伝研スパコンとのデータの受送信を行うためにはホームディレクトリに Archaea tools(旧 HCPtools)の設定ファイルを設置する必要があります。遺伝研スパコン用の設定ファイルは github からクローンして取得してください。

Linux (Windows の WSL2 環境の場合も含む)

cd $HOME
git clone https://github.com/nig-sc/Bytix_Archaea/ .hcp

Mac OS の場合

cd $HOME
git clone https://github.com/nig-sc/Bytix_Archaea/ .hcp

Windows (PowerShell)の場合

cd $HOME
git clone https://github.com/nig-sc/Bytix_Archaea/ _hcp

git clone すると以下のファイルが作られます。

$ tree .hcp
.hcp
├── README.md
├── hchmod.conf
├── hchown.conf
├── hcp-common.conf
├── hcp-ls.conf
├── hcp.conf
├── hln.conf
├── hmkdir.conf
├── hmv.conf
├── hpwd.conf
├── hrm.conf
└── hsync.conf

1 directory, 12 files

次に秘密鍵の絶対パスを設定ファイル hcp-common.conf の中に以下のように書いてください。

hcp-common.conf の中身

PrivateKeyFile /home/youraccount/.ssh/id_rsa    # 秘密鍵の絶対パス
AcceptableCryptMethod   PLAIN                # 暗号化:なし
AcceptableDigestMethod  SHA256               # ダイジェスト方式: SHA256
DisableDataIntegrityChecking yes             # ダイジェスト方式なしを許可

Mac OS の場合

PrivateKeyFile /Users/youraccount/.ssh/id_rsa    # 秘密鍵の絶対パス

Windows (PowerShell)の場合

PrivateKeyFile C:\Users\youraccount\.ssh/id_rsa    # 秘密鍵の絶対パス

ファイル転送​

個人ゲノム解析区画への SSL-VPN 接続​

個人ゲノム解析区画とのファイルの転送を行うために、まず最初にクライアント計算機と遺伝研スパコン個人ゲノム解析区画との間で SSL-VPN 接続を行う必要があります。

接続方法は、「ログイン方法(個人ゲノム解析区画)」の「VPN への接続方法」をご参照ください。

アップロード​

ユーザのクライアント計算機でターミナルエミュレータを起動し以下のコマンドを実行します。

Linux (Windows の WSL2 環境の場合も含む）の場合

hcp --user youraccountname --hpfp \
   /home/youraccountname/your_file.txt \
   gwa.ddbj.nig.ac.jp:/home/your_account-pg/some_directory/your_file.txt

Mac OS の場合

hcp --user youraccountname --hpfp \
   /Users/youraccountname/your_file.txt \
   gwa.ddbj.nig.ac.jp:/home/your_account-pg/some_directory/your_file.txt

Windows (PowerShell)の場合

hcp --user youraccountname --hpfp \
    C:\Users\youraccountname\your_file.txt \
    gwa.ddbj.nig.ac.jp:/home/your_account-pg/some_directory/your_file.txt

ダウンロード​

ユーザのクライアント計算機でターミナルエミュレータを起動し以下のコマンドを実行します。

hcp --user youraccountname --hpfp  \
    gwa.ddbj.nig.ac.jp:/home/your_account-pg/some_directory/your_file.txt \
    C:\Users\youraccountname\your_file.txt

注意​

初めてデータ転送を行う時に以下のメッセージが表示されます。ここは yes と入力してください。

Are you sure you want to continue connecting [yes/no] ?

ファイル転送でよく使うオプション​

オプションの詳細については、🔗公式マニュアルのコマンドリファレンスをご参照下さい。

  • --hpfp : UDP(HpFP2)通信の指定で、遠距離間の通信を高速化します
    • このオプションを省略すると、通常広く用いられている TCP 通信を行います。
  • -p : 転送元のパーミッションを保持します。
  • -R : ディレクトリごと再帰的にファイルを転送します。
  • -r : ファイル転送の再開処理（リジューム）を行う。
  • -y : データの完全性（転送途中でエラーや改ざんがないか）の確認を行います。
  • -z : 転送時にデータの圧縮を行います。

その他のコマンド​

コマンド機能
hrmサーバ上のファイルを削除
hcp-lsサーバ上のファイル一覧を表示
hmkdirサーバ上にディレクトリ作成
hpwdサーバ上のワーキングディレクトリ表示
hmvサーバ上のファイルを移動
hlmサーバ上にシンボリックリンク等を作成
hchmodサーバ上のファイルのパーミッションを変更
hchownサーバ上のファイルの所有者を変更
hsyncサーバ上のファイルと同期

詳細については、🔗公式マニュアルをご参照下さい。

に最終更新