GNU parallel - 変更履歴

Kttn: /* テキストファイルに記述したコマンドを並列処理 */

2019-09-04T14:43:36Z

‎テキストファイルに記述したコマンドを並列処理

Kttn: /* コマンド備忘録 */

2019-09-04T14:42:19Z

‎コマンド備忘録

Kttn: /* lsでファイルをリストアップし、ローカルマシンで並列処理 */

2019-07-24T05:30:45Z

‎lsでファイルをリストアップし、ローカルマシンで並列処理

2019年7月24日 (水) 05:28にKttnによる

2019-07-24T05:28:39Z

Kttn: /* GNU parallel勉強リソース */

2019-07-24T05:25:30Z

‎GNU parallel勉強リソース

2019年7月24日 (水) 05:24にKttnによる

2019-07-24T05:24:43Z

Kttn: ページの作成:「== GNU parallel勉強リソース == * https://www.youtube.com/watch?v=OpaiGYxkSuQ&list=PL284C9FF2488BC6D1&index=2&t=0s ** 開発者Ole Tange本人によるビデオチ...」

2019-06-14T11:22:59Z

ページの作成:「== GNU parallel勉強リソース == * https://www.youtube.com/watch?v=OpaiGYxkSuQ&list=PL284C9FF2488BC6D1&index=2&t=0s ** 開発者Ole Tange本人によるビデオチ...」

新規ページ

== GNU parallel勉強リソース ==
* https://www.youtube.com/watch?v=OpaiGYxkSuQ&list=PL284C9FF2488BC6D1&index=2&t=0s
** 開発者Ole Tange本人によるビデオチュートリアル

@@ 行22: / 行22: @@
 === テキストファイルに記述したコマンドを並列処理 ===
-例えば以下のようなテキストファイル hoge.comを書いたとする。
+例えばテキストファイル hoge.comに、以下のように実行したいコマンドを並べて書いたとする。(tiffをmrcに変換するコマンドです。）
 <pre>
 e2proc2d.py fuga001.tiff fuga001.mrc

←前の版		2019年9月4日 (水) 14:42時点における版
行19:		行19:

	即ち、{} が hoge.tif であるとき、{.} は hoge となり、{.}.mrc は hoge.mrc となる。		即ち、{} が hoge.tif であるとき、{.} は hoge となり、{.}.mrc は hoge.mrc となる。
		+
		+
		+	=== テキストファイルに記述したコマンドを並列処理 ===
		+	例えば以下のようなテキストファイル hoge.comを書いたとする。
		+	<pre>
		+	e2proc2d.py fuga001.tiff fuga001.mrc
		+	e2proc2d.py fuga002.tiff fuga002.mrc
		+	e2proc2d.py fuga003.tiff fuga003.mrc
		+	e2proc2d.py fuga004.tiff fuga004.mrc
		+	... (以下略)
		+	</pre>
		+
		+	例えば4プロセス並列で上記ファイル内のコマンドを処理していくには、
		+	<pre>
		+	> parallel -j 4 < hoge.com
		+	</pre>
		+	とやればいい。
		+
		+	進捗状況や残り時間を表示するには、例えば
		+	<pre>
		+	> parallel -j 4 --eta --progress < hoge.com
		+	</pre>
		+	とすれば良いが、こうするとhoge.com内のコマンドの標準出力とごっちゃに表示されてしまう。
		+
		+	実行している方のコマンドの標準出力はファイルへリダイレクトしてあげると良い。
		+	<pre>
		+	> parallel -j 4 --eta --progress < hoge.com > piyo.log
		+	</pre>
		+
		+	GNU Parallelの記法は結構ややこしくて覚える気にならないので、個人的にはPythonとかシェルスクリプトとかでコマンドファイルを生成し、上記のように実行させる感じで使っていこうと思う。実行したコマンドもファイルとして残せるし。

←前の版		2019年7月24日 (水) 05:30時点における版
行15:		行15:
	ls *.tif \| parallel -j 4 'e2proc2d.py --apix 1.9 --outmode uint16 --outtype mrc --fixintscaling noscale {} {.}.mrc'		ls *.tif \| parallel -j 4 'e2proc2d.py --apix 1.9 --outmode uint16 --outtype mrc --fixintscaling noscale {} {.}.mrc'
	</pre>		</pre>
		+
		+	{} は ls *.tif からパイプ( \| )を通して渡された個々のファイル名を表し、{.} は末尾の拡張子を除去することを意味する。
		+
		+	即ち、{} が hoge.tif であるとき、{.} は hoge となり、{.}.mrc は hoge.mrc となる。

←前の版		2019年7月24日 (水) 05:28時点における版
行1:		行1:
		+	== GNU parallelとは ==
		+	* 任意のコマンドを並列で実行してくれるお助けコマンドラインツール。
		+	* 意外と知っている人が少ない感があるが、使ってみると超便利。
		+
	== GNU parallel勉強リソース ==		== GNU parallel勉強リソース ==
	* https://www.youtube.com/watch?v=OpaiGYxkSuQ&list=PL284C9FF2488BC6D1&index=2&t=0s		* https://www.youtube.com/watch?v=OpaiGYxkSuQ&list=PL284C9FF2488BC6D1&index=2&t=0s

←前の版		2019年7月24日 (水) 05:24時点における版
行2:		行2:
	* https://www.youtube.com/watch?v=OpaiGYxkSuQ&list=PL284C9FF2488BC6D1&index=2&t=0s		* https://www.youtube.com/watch?v=OpaiGYxkSuQ&list=PL284C9FF2488BC6D1&index=2&t=0s
	** 開発者Ole Tange本人によるビデオチュートリアル		** 開発者Ole Tange本人によるビデオチュートリアル
		+
		+	== コマンド備忘録 ==
		+	* 具体的なコマンドとともに。
		+
		+	=== lsでファイルをリストアップし、ローカルマシンで並列処理 ===
		+	カレントディレクトリ内の.tifファイルを.mrcファイルに変換する処理を4プロセス並列で。
		+	<pre>
		+	ls *.tif \| parallel -j 4 'e2proc2d.py --apix 1.9 --outmode uint16 --outtype mrc --fixintscaling noscale {} {.}.mrc'
		+	</pre>

@@ 行1: / 行1: @@
 == GNU parallel勉強リソース ==
 * https://www.youtube.com/watch?v=OpaiGYxkSuQ&list=PL284C9FF2488BC6D1&index=2&t=0s
-** 開発者Ole Tange本人によるビデオチュートリアル
+** 開発者Ole Tange本人によるビデオチュートリアル。とりあえず見たほうが良い。
 == コマンド備忘録 ==