「EMPIARからのデータダウンロード方法」の版間の差分

提供: Eospedia
移動: 案内、検索
(ページの作成:「== Aspera connectのインストール == [https://downloads.asperasoft.com/connect2/ Aspera connect]はIBMが提供しているデータダウンロードツールです。」)
 
(→‎ascpコマンドを用いたEMPIARデータダウンロード)
(同じ利用者による、間の5版が非表示)
行1: 行1:
 
== Aspera connectのインストール ==
 
== Aspera connectのインストール ==
 
[https://downloads.asperasoft.com/connect2/ Aspera connect]はIBMが提供しているデータダウンロードツールです。
 
[https://downloads.asperasoft.com/connect2/ Aspera connect]はIBMが提供しているデータダウンロードツールです。
 +
 +
=== <u>Linuxの場合</u> ===
 +
Aspera connectのウェブサイトからLinux用のパッケージをダウンロードします。
 +
 +
2019年5月21日時点では ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz が最新でした。
 +
 +
tar.gzを展開すると、ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.sh というインストールスクリプトが出てきます。以下コマンドでインストールできます。
 +
 +
<pre>
 +
$ ./ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.sh
 +
 +
Installing IBM Aspera Connect
 +
 +
Deploying IBM Aspera Connect (/home/kttn/.aspera/connect) for the current user only.
 +
 +
Install complete.
 +
</pre>
 +
 +
$HOME/.aspera/connect/bin にパスを通すなりして使います。
 +
 +
== ascpコマンドでのEMPIARからのデータダウンロードが機能するかのチェック ==
 +
(https://www.ebi.ac.uk/pdbe/emdb/empiar/faq#question_CLDownload より)
 +
 +
以下コマンドで、58MBのテストデータをEMPIARからダウンロードできます。
 +
 +
<pre>
 +
> ascp -QT -l 200M -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh emp_ext3@fasp.ebi.ac.uk:/test testset
 +
</pre>
 +
 +
成功すれば以下の様に表示されます。
 +
 +
<pre>
 +
testset                                                                    100%  57MB  167Mb/s    00:05
 +
Completed: 58368K bytes transferred in 5 seconds
 +
(87642K bits/sec), in 1 file.
 +
</pre>
 +
 +
== ascpコマンドを用いたEMPIARデータダウンロード ==
 +
[https://www.ebi.ac.uk/pdbe/emdb/empiar/faq#question_CLDownload EMPIAR公式]でも説明されていますが、
 +
 +
例えば以下の様にします。各オプションの意味はascp -hで確認ください。
 +
<pre>
 +
~/.aspera/connect/bin/ascp -QT -k3 -I 200M -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh emp_ext3@fasp.ebi.ac.uk:/<EMPIAR ID> <保存先ディレクトリ>
 +
</pre>
 +
 +
例えば[https://www.ebi.ac.uk/pdbe/emdb/empiar/entry/10248 EMPIAR-10248]をダウンロードしたければ、<EMPIAR ID>の部分を 10248 に置き換えて、適当な保存先ディレクトリを指定すれば良いです。EMPIAR-10248の場合であれば、<保存先ディレクトリ>を . (カレントディレクトリ)にすると、10248というディレクトリが作成され、その中にデータがダウンロードされます。(どのデータセットでもそのようになるかはわかりません。)
 +
 +
<b>数TBに達するデータセットも多数あるので、ダウンロードする前にデータセットの情報を確認しましょう。(https://www.ebi.ac.uk/pdbe/emdb/empiar/)</b>

2020年7月22日 (水) 05:25時点における版

Aspera connectのインストール

Aspera connectはIBMが提供しているデータダウンロードツールです。

Linuxの場合

Aspera connectのウェブサイトからLinux用のパッケージをダウンロードします。

2019年5月21日時点では ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz が最新でした。

tar.gzを展開すると、ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.sh というインストールスクリプトが出てきます。以下コマンドでインストールできます。 

$ ./ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.sh

Installing IBM Aspera Connect

Deploying IBM Aspera Connect (/home/kttn/.aspera/connect) for the current user only.

Install complete.

$HOME/.aspera/connect/bin にパスを通すなりして使います。

ascpコマンドでのEMPIARからのデータダウンロードが機能するかのチェック

(https://www.ebi.ac.uk/pdbe/emdb/empiar/faq#question_CLDownload より)

以下コマンドで、58MBのテストデータをEMPIARからダウンロードできます。 

> ascp -QT -l 200M -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh emp_ext3@fasp.ebi.ac.uk:/test testset

成功すれば以下の様に表示されます。 

testset                                                                     100%   57MB  167Mb/s    00:05
Completed: 58368K bytes transferred in 5 seconds
 (87642K bits/sec), in 1 file.

ascpコマンドを用いたEMPIARデータダウンロード

EMPIAR公式でも説明されていますが、

例えば以下の様にします。各オプションの意味はascp -hで確認ください。 

~/.aspera/connect/bin/ascp -QT -k3 -I 200M -P33001 -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh emp_ext3@fasp.ebi.ac.uk:/<EMPIAR ID> <保存先ディレクトリ>

例えばEMPIAR-10248をダウンロードしたければ、<EMPIAR ID>の部分を 10248 に置き換えて、適当な保存先ディレクトリを指定すれば良いです。EMPIAR-10248の場合であれば、<保存先ディレクトリ>を . (カレントディレクトリ)にすると、10248というディレクトリが作成され、その中にデータがダウンロードされます。(どのデータセットでもそのようになるかはわかりません。)

数TBに達するデータセットも多数あるので、ダウンロードする前にデータセットの情報を確認しましょう。(https://www.ebi.ac.uk/pdbe/emdb/empiar/)


「https://www.yasunaga-lab.bio.kyutech.ac.jp/EosJ/index.php?title=EMPIARからのデータダウンロード方法&oldid=17006」から取得