一般解析環境におけるファイル転送の方法

このページでは、スーパーコンピュータシステム(一般解析環境)に対するファイル転送方法について説明します。

現在以下の2つの方法が利用可能です。

・SFTP

・Aspera

Asperaは大容量ファイル転送を効率的に行う商用ソフトウェアで、数100MBを超えるファイルをアップロードする場合はAsperaの利用を推奨します。

 

個人ゲノム解析環境のファイル転送方法についてはこちらをご覧ください。

 

SSHプロトコルによるファイル転送の方法

本システムのゲートウェイサーバ(gw.ddbj.nig.ac.jp)に対してscp, sftp等を用いたファイル転送が可能です。
 
scpやsftpは、初回のシステムログイン時に作成した公開鍵情報を用いたSSHで暗号化された安全なデータ通信方法です。
ゲートウェイサーバに対してSFTPなどで接続し、スーパーコンピュータシステムに対してファイル転送を行って下さい。
 
SSHプロトコルによる通信ソフトウェアは多数存在するため、例としてWindows環境のWinSCPの使用例を下記に記載します。

1-1. WinSCPのダウンロード

WinSCPのダウンロードページにアクセスします。
https://winscp.net/eng/download.php

自己解凍されるexe形式のファイルをダウンロードしたら、ダブルクリックでセットアップを実行します。

 

1-2. WinSCPの起動・環境設定・ログイン

 接続先を設定します。その後、環境設定を選択します。

usage_g_data-img1.png

 

設定ではSSHを使用するために公開鍵情報の設定を行います。

初回ログイン時に作成した鍵をPutty形式に変更する必要があるので、ツール > 鍵ペアをPuTTYgenで生成を選択します。

usage_g_data-img2.png

 

Loadを選択します。

usage_g_data-img3.png

 

ここでロードするファイルの種類を右下でAll Filesにしてください。

そうするとid_rsaファイルを選択できます。

usage_g_data-img4.png

 

SSH鍵のパスフレーズを確認されるので入力するとppkファイルが作成されます。

Save private keyで保存します。

usage_g_data-img5.png

 

その秘密鍵ppkファイル:id_rsa.ppkを読み込み、接続します。

usage_g_data-img6.png

 

Asperaの利用方法

Asperaとは、WAN帯域を有効に活用して大容量ファイル転送を効率的に行う商用ソフトウェアです。ユーザの端末と遺伝研との回線帯域幅がそれほど太くない状態で数100MBを超えるようなファイルをアップロードする場合はAsperaを利用することを推奨します。

問い合わせ窓口sc-help.pngまでご連絡ください。

 

1-1. Asperaのダウンロード

Asperaのダウンロードページ(https://downloads.asperasoft.com/)にアクセスします。
CLIENT SOFTWAREからAspera CLIをダウンロードします。
WindowsやMacなど、環境に合わせたファイルをダウンロードしてください。
自己解凍されるexe形式のファイルをダウンロードしたら、ダブルクリックでセットアップを実行します。

1-2. Asperaへのパスを通す

コマンドラインからascpコマンドを利用するために、aspera.exeが設置されたフォルダへパスを通します。

 

1-3. Asperaでのアップロード、ダウンロード

コマンドラインからascpコマンドを利用してアップロードを行う場合、下記のようにします。

":"の後ろになにも指定しない場合、ユーザのホームディレクトリにコピーされます。

 $ ascp -l 1G -Z 1500 -P 33001 -i (秘密鍵ファイル名) (送りたいファイル) ユーザーID@ascp.ddbj.nig.ac.jp:(指定ディレクトリ)

 例として、下記のようにします。

 $ ascp -l 1G -Z 1500 -P 33001 -i C:\.ssh\DDBJ\id_rsa C:\ddbj\test.txt user_id@ascp.ddbj.nig.ac.jp:

 

指定可能な基本的なオプションは以下の通りです。
オプション 説明
-T データの暗号化を行いません。転送速度は向上しますがセキュリティは低下します。
-l "値" データ転送速度の上限を指定します。"値"の部分に上限値を指定しますが、"10M"など、英字による単位指定ができます。本システムでは"1G"が上限で、10Mが本オプションを指定しない場合のデフォルト値です。
回線速度を超えるような値を指定すると却って転送効率を下げますので、10M~100M程度の指定を推奨します。

その他指定可能な詳細オプションについては、開発元のドキュメントサイト上のAspera Connectのドキュメントをご参照ください。