基本４の補足（eachでの速度検証） - 変更履歴

2016年4月14日 (木) 02:45にTakahiroによる

2016-04-14T02:45:18Z

2016年4月14日 (木) 02:43にTakahiroによる

2016-04-14T02:43:26Z

Takahiro: ページの作成:「eachを利用すれば、各々のファイル毎で並列処理を行うことができます。このとき、各タスクごとに入力ファイルがコピーされ...」

2016-04-14T02:40:45Z

ページの作成:「eachを利用すれば、各々のファイル毎で並列処理を行うことができます。このとき、各タスクごとに入力ファイルがコピーされ...」

新規ページ

eachを利用すれば、各々のファイル毎で並列処理を行うことができます。このとき、各タスクごとに入力ファイルがコピーされ、処理が進んでいきます。<br>
しかし、異なるタスクで同じ入力ファイルを使うときでも毎回コピー処理が行われると、無駄なコピー処理が発生する、という問題があります。<br>
そこで[[PIONE]]では、同じファイルについてはリンクを作成・使用することによって、逐次コピーする時間を削減しています。<br>
<br>

例えば、下記のようなmrcファイルの情報を出力する２つのコードがあったとします。(1)は全てのファイル(A.mrc, B.mrc, C.mrc, D.mrc, E.mrc)について１回ずつSizeOutを呼び、(2)は１つのA.mrcファイルについて５回SizeOutを呼ぶ仕組みとしています。サイズの大きいファイル（512×512×512の[[mrc]]画像：[[ mrcImageNullImageCreate]]を使用）を入力として動作を比較します。<br>
<table border="1">
<tr>
<th></th>
<th>コード</th>
<th>入力ファイル</th>
<th>1ファイル毎のSizeOut</th>
<th>処理結果（[[ProM]]）</th>
</tr>
<tr>
<td>(1)</td>
<td>
<pre>
Rule Main
input '*.mrc'
output '*.txt'.all
Flow
rule SizeOut {val:1}
End

Rule SizeOut
input '*.mrc'
output '{$I[1][1]}{$val}.txt'
param $val
Action
wc {$I[1]} > {$O[1]}
End
</pre>
</td>
<td>
A.mrc<br>
B.mrc<br>
C.mrc<br>
D.mrc<br>
E.mrc<br>
</td>
<td>1回</td>
<td>[[画像:Outdata-PIONE-Advanced4-1.png]]</td>
</tr>
<tr>
<td>(2)</td>
<td>
<pre>
Rule Main
input 'A.mrc'
output '*.txt'.all
Flow
rule SizeOut {val:1.upto(5)}
End

Rule SizeOut
input 'A.mrc'
output 'A{$val}.txt'
param $val
Action
wc {$I[1]} > {$O[1]}
End
</pre>
</td>
<td>
A.mrc<br>
</td>
<td>5回</td>
<td>[[画像:Outdata-PIONE-Advanced4-2.png|255px]]</td>
</tr>
</table>
いずれにしてもSizeOutは5回処理されていますが、(2)の場合は(1)に比べ時間が削減されています。同じマシン内においてeachの処理ではリンクを利用することにより同じ入力ファイルを何度もコピーすることを避けていることが確認できます。つまり入力ファイルのサイズを特に気にすることなくeachで並列処理を行えることが分かります。<br>
<br>

では、eachとallの速度の違いを見てみましょう。いずれもA.mrcの情報をそれぞれ5回出力している処理ですが、(3)ではSizeOutをall出力とし、(4)ではSizeOutをeach出力としています。eachを実行するときは[[pione-client]]のオプション-t 5として５つの並列処理を行って、動作を比較してみます。<br>
<table border="1">
<tr>
<th></th>
<th>コード</th>
<th>処理結果（[[ProM]]）</th>
</tr>
<tr>
<td>(3) all</td>
<td>
<pre>
Rule Main
input 'A.mrc'
output '*.txt'.all
Flow
rule SizeOut
End

Rule SizeOut
input 'A.mrc'
output '*.txt'.all
Action
for (( i=1; i<6; i++ ))
do
wc {$I[1]} > "{$I[1][1]}$i.txt"
done
End
</pre>
</td>
<td>[[画像:Outdata-PIONE-Advanced4-3.png]]</td>
</tr>
<tr>
<td>(4) each</td>
<td>
<pre>
Rule Main
input 'A.mrc'
output '*.txt'.all
Flow
rule SizeOut {val:1.upto(5)}
End

Rule SizeOut
input 'A.mrc'
output '{$I[1][1]}{$val}.txt'
param $val
Action
wc {$I[1]} > {$O[1]}
End
</pre>
</td>
<td>[[画像:Outdata-PIONE-Advanced4-4.png|410px]]</td>
</tr>
<table>
eachによる並列処理により、時間が大幅に削減されていることが確認できます。<br>
<br>

@@ 行73: / 行73: @@
 	</tr>
 </table>
-では、eachとallの速度の違いを見てみましょう。いずれもA.mrcの情報をそれぞれ5回出力している処理ですが、(3)ではSizeOutをall出力とし、(4)ではSizeOutをeach出力としています。eachを実行するときは[[pione-client]]のオプション-t 5として５つの並列処理を行って、動作を比較してみます。<br>
+いずれにしてもSizeOutは5回処理されていますが、(2)の場合は(1)に比べ時間が削減されています。<br>
 <table border="1">
 	<tr>
@@ 行130: / 行135: @@
 	</tr>
 <table>
 eachによる並列処理により、時間が大幅に削減されていることが確認できます。<br>

@@ 行1: / 行1: @@
-eachを利用すれば、各々のファイル毎で並列処理を行うことができます。このとき、各タスクごとに入力ファイルがコピーされ、処理が進んでいきます。<br>
+　eachを利用すれば、各々のファイル毎で並列処理を行うことができます。このとき、各タスクごとに入力ファイルがコピーされ、処理が進んでいきます。<br>
 しかし、異なるタスクで同じ入力ファイルを使うときでも毎回コピー処理が行われると、無駄なコピー処理が発生する、という問題があります。<br>
 そこで[[PIONE]]では、同じファイルについてはリンクを作成・使用することによって、逐次コピーする時間を削減しています。<br>
-例えば、下記のようなmrcファイルの情報を出力する２つのコードがあったとします。(1)は全てのファイル(A.mrc, B.mrc, C.mrc, D.mrc, E.mrc)について１回ずつSizeOutを呼び、(2)は１つのA.mrcファイルについて５回SizeOutを呼ぶ仕組みとしています。サイズの大きいファイル（512×512×512の[[mrc]]画像：[[ mrcImageNullImageCreate]]を使用）を入力として動作を比較します。<br>
+　例えば、下記のようなmrcファイルの情報を出力する２つのコードがあったとします。<br>
 <table border="1">
 	<tr>