メインコンテンツまでスキップ

Archaea toolsの使い方

遺伝研スパコンに対してファイルのアップロード、ダウンロードを行うには、一般的に広く用いられているファイル転送ソフトウェアであるscpやsftpをつかうことができますが、これらは遠距離間で大量のファイルを転送する際に転送速度が遅くなる性質があります。

株式会社クレアリンクテクノロジーが開発した Archaea toolsは遠距離通信の際にも100Gbpsクラスの高速通信が可能です。

参考資料

利用手順の概要​

Archaea toolsを用いてデータ転送を行うには以下の作業を行ってください。

  1. クライアントソフトウェアのインストール
  2. 設定ファイルの設置
  3. データ転送コマンドの実行

クライアントソフトウェアのインストール​

遺伝研スパコンではユーザの計算機とスパコンとの間のデータ転送のためにArchaea toolsを使うことができます。

Archaea toolsを利用するためにはクライアントソフトウェアをクライアント計算機(遺伝研スパコンと通信する計算機。典型的にはユーザのパソコンなど)にインストールする必要があります。

お使いの計算機の環境に応じて以下の文書をご参照ください。(公式ドキュメントのインストール手順の説明)

設定ファイルの設置方法​

遺伝研スパコンとのデータの受送信を行うためにはクライアント計算機のホームディレクトリに Archaea tools(旧 HCPtools)の設定ファイルを設置する必要があります。

備考

公式ドキュメントによる設定ファイルの書き方の説明は以下のリンクにあります。 最新情報は公式ドキュメントをご確認ください。

設定ファイルがたくさんあり設定が面倒なので、設定を簡略化するために 遺伝研スパコン用の設定ファイルをgithub からクライアント計算機のホームディレクトリにgit cloneにより取得してください。 (遺伝研スパコンのホームディレクトリに設定ファイルを置くのではありません。)

Linux (Windows の WSL2 環境の場合も含む)

cd $HOME
git clone https://github.com/nig-sc/Bytix_Archaea/ .hcp

Mac OS の場合

cd $HOME
git clone https://github.com/nig-sc/Bytix_Archaea/ .hcp

Windows (PowerShell)の場合

cd $HOME
git clone https://github.com/nig-sc/Bytix_Archaea/ _hcp

git clone すると以下のファイルが作られます。

$ tree .hcp
.hcp
├── README.md
├── hchmod.conf
├── hchown.conf
├── hcp-common.conf
├── hcp-ls.conf
├── hcp.conf
├── hln.conf
├── hmkdir.conf
├── hmv.conf
├── hpwd.conf
├── hrm.conf
└── hsync.conf

1 directory, 12 files

次に遺伝研スパコンにログインするときに使う、ユーザの秘密鍵の絶対パスを設定ファイル hcp-common.conf の中に以下のように書いてください。

hcp-common.conf の中身 (Macの場合)

PrivateKeyFile /Users/youraccount/.ssh/id_ed25519 # 秘密鍵の絶対パス 
AcceptableCryptMethod   PLAIN                # 暗号化:なし
AcceptableDigestMethod  SHA256               # ダイジェスト方式: SHA256
DisableDataIntegrityChecking yes             # ダイジェスト方式なしを許可

hcp-common.conf の中身 (Windows PowerShellの場合)

PrivateKeyFile C:\Users\youraccount\.ssh/id_ed25519 # 秘密鍵の絶対パス
AcceptableCryptMethod   PLAIN                # 暗号化:なし
AcceptableDigestMethod  SHA256               # ダイジェスト方式: SHA256
DisableDataIntegrityChecking yes             # ダイジェスト方式なしを許可

hcp-common.conf の中身 (Linuxの場合)

PrivateKeyFile /home/youraccount/.ssh/id_ed25519 # 秘密鍵の絶対パス
AcceptableCryptMethod   PLAIN                # 暗号化:なし
AcceptableDigestMethod  SHA256               # ダイジェスト方式: SHA256
DisableDataIntegrityChecking yes             # ダイジェスト方式なしを許可

ファイル転送​

アップロード​

ユーザの計算機からスパコンにファイルを転送する場合は ユーザのクライアント計算機でターミナルエミュレータを起動し以下のようにコマンドを実行します。

hcp --user youraccountname --hpfp \
   your_file.txt \
   dtn1.ddbj.nig.ac.jp:/home/your_account/

ダウンロード​

スパコンからユーザの計算機にファイルを転送する場合は ユーザのクライアント計算機でターミナルエミュレータを起動し以下のようにコマンドを実行します。

ユーザの計算機のカレントディレクトリ(下記コマンド中の最後のコンマ.で表される)に、スパコンと同じ名前でファイルを転送する場合

hcp --user youraccountname --hpfp  \
    dtn1.ddbj.nig.ac.jp:/home/your_account/your_file.txt \
    .

スパコン上の特定のディレクトリ全体をユーザの計算機のカレントディレクトリ(下記コマンド中の最後のコンマ.で表される)に再帰的にコピーしたい場合は-Rオプションをつけます。

hcp -R --user youraccountname --hpfp  \
    dtn1.ddbj.nig.ac.jp:/home/your_account/data_dir \
    .

注意​

初めてデータ転送を行う時に以下のメッセージが表示されます。ここは yes と入力してください。

Are you sure you want to continue connecting [yes/no] ?

ファイル転送でよく使うオプション​

オプションの詳細については、🔗公式マニュアルのコマンドリファレンスをご参照下さい。

  • --hpfp : UDP(HpFP2)通信の指定で、遠距離間の通信を高速化します
    • このオプションを省略すると、通常広く用いられている TCP 通信を行います。
  • -p : 転送元のパーミッションを保持します。
  • -R : ディレクトリごと再帰的にファイルを転送します。
  • -r : ファイル転送の再開処理（リジューム）を行う。
  • -y : データの完全性（転送途中でエラーや改ざんがないか）の確認を行います。
  • -z : 転送時にデータの圧縮を行います。

その他のコマンド​

コマンド機能
hrmサーバ上のファイルを削除
hcp-lsサーバ上のファイル一覧を表示
hmkdirサーバ上にディレクトリ作成
hpwdサーバ上のワーキングディレクトリ表示
hmvサーバ上のファイルを移動
hlmサーバ上にシンボリックリンク等を作成
hchmodサーバ上のファイルのパーミッションを変更
hchownサーバ上のファイルの所有者を変更
hsyncサーバ上のファイルと同期

詳細については、🔗公式マニュアルをご参照下さい。

に最終更新
RSS FeedJSON Feed