cryoSPARC tips - 変更履歴

2020年10月30日 (金) 02:13にKttnによる

2020-10-30T02:13:38Z

Kttn: /* コマンドラインの使い方 */

2020-09-24T10:23:22Z

‎コマンドラインの使い方

Kttn: /* 参考になるスクリプト */

2020-09-24T10:05:00Z

‎参考になるスクリプト

Kttn: /* 参考になるスクリプト */

2020-09-24T10:02:20Z

‎参考になるスクリプト

Kttn: /* .csfファイル生成のソースコード */

2020-09-15T08:24:18Z

‎.csfファイル生成のソースコード

Kttn: /* メタデータファイル(.cs, .csg)の編集 */

2020-09-15T08:24:07Z

‎メタデータファイル(.cs, .csg)の編集

Kttn: /* コマンドラインインターフェイス */

2020-09-15T03:31:48Z

‎コマンドラインインターフェイス

Kttn: /* データベースの移動 */

2020-09-14T11:50:44Z

‎データベースの移動

Kttn: /* データベースの移動 */

2020-09-14T11:37:51Z

‎データベースの移動

Kttn: /* コマンドラインの使い方 */

2020-09-14T10:24:07Z

‎コマンドラインの使い方

←前の版		2020年10月30日 (金) 02:13時点における版
行202:		行202:

	これで、移動したデータベースで、新しいホストからジョブを実行できるようになった。		これで、移動したデータベースで、新しいホストからジョブを実行できるようになった。
		+
		+
		+	== RELION連携 ==
		+	=== RELION(3.1)のリファインメントの結果をインポートする ===
		+	<b>最低限必要なもの</b>
		+	* リファインメント結果のrun_data.star (とか、それに類するstarファイル)
		+	* リファインメントで使われている単粒子画像の実体が収められているディレクトリのパス
		+	* 加速電圧、球面収差、振幅コントラスト比率、ピクセルサイズの情報 (starファイルのdata_opticsを見るなどして確認)
		+
		+	<b>備考</b>
		+	* RELIONのデータはcryoSPARCのディレクトリと違う場所にあっても良い。
		+	* 切り出し元のムービーをあらかじめインポートしておいて、それをInputsのmicrographsへ渡すと、後々何かに使うことができるらしいが(粒子単位のドリフト補正など?)、単粒子画像だけで良ければそれは不要、の様。
		+
		+	<b>方法(例)</b>
		+
		+	1. Job BuilderからImport Particle Stackを選択
		+
		+	2. INPUTSのmicrographs (exposure) は空でも良い (必要なら指定する)
		+
		+	3. PRAMETERSの Particle meta path にstarファイル、Particle data pathに単粒子画像の実体が収められているディレクトリのパスを指定する。
		+	* Particle data pathは例えば、Particle meta pathに指定したstarファイルの _rlnImageName に 00002@Extract/job139/Micrographs/***.mrcs とか書いてあれば、 Extract/job139/Micrographs のフルパスを指定すればよい。(そこに単粒子画像スタックの実体があるから。)
		+
		+	4. Microscope Parameter Overridesに、加速電圧などなどの情報を入力する。Data Signは 'light-on-dark'でいい。(RELIONで切り出された単粒子画像はコントラスト反転してタンパク質が白になっているので）
		+
		+	5. 実行！

@@ 行33: / 行33: @@
 $ cryosparcm cli "GetUser('<ユーザー登録に使用したメールアドレス>')['_id']"
 </pre>
 <b>2. enqueue_jobでスケジューラにジョブを投下</b>

@@ 行11: / 行11: @@
 === 参考になるスクリプト ===
-cryosparc/cryosparc2_worker/cryosparc2_compute/jobs/workflows/buildrun_bench.py に、T20Sデータセットの自動処理が記述してある。
+cryosparc/cryosparc2_worker/cryosparc2_compute/jobs/workflows/buildrun_bench.py に、T20Sデータセットの自動処理(web GUIのjob builderのExtensive Workflow for T20s (BENCH)(BETA)の処理の中身）が記述してある。
-buildrun_bench.pyで各make_jobに渡されているcreated_by_job_uidパラメータは、自動処理ジョブから投げる際特有のオプションのようなので、普通に投げる分には不要。
+buildrun_bench.pyで各make_jobに渡されているcreated_by_job_uidパラメータは、Extensive Workflowジョブから投げる際特有のオプションのようなので、普通に投げる分には不要(のはず)。
 === コマンドラインの使い方 ===

@@ 行12: / 行12: @@
 === 参考になるスクリプト ===
 cryosparc/cryosparc2_worker/cryosparc2_compute/jobs/workflows/buildrun_bench.py に、T20Sデータセットの自動処理が記述してある。
 === コマンドラインの使い方 ===

@@ 行3: / 行3: @@
 https://cryosparc.com/docs/tutorials/data-management#faq-cs-csg
-=== .csfファイル生成のソースコード ===
+=== .csgファイル生成のソースコード ===
 cryosparc/cryosparc2_master/cryosparc2_compute/jobs/runcommon.py の create_csg() で定義されている様。

@@ 行1: / 行1: @@
 == メタデータファイル(.cs, .csg)の編集 ==
 https://cryosparc.com/docs/tutorials/data-management#faq-cs-csg
 == コマンドラインインターフェイス ==

←前の版		2020年9月15日 (火) 03:31時点における版
行69:		行69:

	このようにしてmake_jobしてenqueue_jobすると、ちょうどGUIで J20のparticles_selectedをドラッグしてab initioのparticlesへドロップして実行したのと同じことになる。		このようにしてmake_jobしてenqueue_jobすると、ちょうどGUIで J20のparticles_selectedをドラッグしてab initioのparticlesへドロップして実行したのと同じことになる。
		+
		+	=== 別のホストマシン、別のユーザーからジョブを投げたい場合 ===
		+	sshを利用して投げることが可能。
		+
		+	例えばcryoSPARCのユーザー名がcryosparc_user、cryoSPARCを動かすホストマシンがfugaの場合、
		+
		+	<pre>
		+	> ssh cryosparc_user@fuga "cryosparcm cli \"make_job(job_type='homo_abinit', ......)\""
		+	</pre>
		+
		+	のようにしてジョブを作り、同様にしてキューへ投下すれば実行可能。内側のダブルクォートのエスケープを忘れずに。

	== データベースの移動 ==		== データベースの移動 ==

@@ 行156: / 行156: @@
 cryoSPARCを動かすホストは変えずにデータベースだけ移動する場合なら、上記のステップ5までで(多分)良いと思われる。
-しかしcryoSPARCを動かすホストを変更し、かつ既存インストールを使用する場合、上記までの手順ではジョブの実行時にssh関連のエラーが出た。ワーカーを動かすレーンの情報(cryoSPARCのUIのResource Manager -> Instance Information で確認できる計算リソース）がデータベースに記録されており、データベースを移動しただけでは元々データベースを置いていたノードのままになっているためと考えている。
+しかしcryoSPARCを動かすホストを変更し、かつ既存インストールを使用する場合、上記までの手順ではジョブの実行時にssh関連のエラーが出た。ワーカーを動かすホストの情報(cryoSPARCのUIのResource Manager -> Instance Information で確認できる計算リソース）がデータベースに記録されており、データベースを移動しただけでは元々データベースを置いていたホストのままになっているためと考えている。
-(ほかに方法はあるかもしれないが、) 筆者が試したところでは、新しいホストにてcryoSPARCを新規インストールしなおせば、新しいホストのレーン情報が登録された。
+(ほかに方法はあるかもしれないが、) 筆者が試したところでは、新しいホストにてcryoSPARCを新規インストールしなおせば、新しいホストのリソース情報が登録された。
 もちろんこのとき、データベースはcryoSPARCのインストールディレクトリではなく、ステップ3で新たに作ったデータベースを使う必要があって、それはinstall.shに --dbpath オプションで指定できる。
@@ 行167: / 行167: @@
 <b>7. 古いレーン情報の削除 </b>
-ステップ6で新しいホストのレーン情報の登録はできるが、下図のように古いホストのレーン情報が残ったままになってしまった。(Target1 csparc-standalone-cs06が古いホスト、Target2 csparc-standalone-cs08 が新しいホスト)
+ステップ6で新しいホストのリソース情報の登録はできるが、下図のように古いホストのリソース情報が残ったままになってしまった。(Target1 csparc-standalone-cs06が古いホスト、Target2 csparc-standalone-cs08 が新しいホスト)
 [[File:スクリーンショット 2020-09-14 201755.png]]

@@ 行71: / 行71: @@
 == データベースの移動 ==
-データベースがdocker内のホームディレクトリに作られてしまっていたので、ネットワークドライブの中に移動させ、どのホスト、コンテナからもマウントして利用できるようにしたい。
+データベースがdocker内のホームディレクトリに作られてしまっていたので、ネットワークドライブの中に移動させ、どのホスト、コンテナからもマウントして利用できるようにしたい。(※ single workstationインストールなので普通はホストの移動とかはしないと思うが、筆者はいろいろな事情でホストやコンテナを移動したい場合があるので、このような要求が出てきた。)
 参考： https://discuss.cryosparc.com/t/how-to-change-database-directory-in-cryosparc-v2/2068/5
@@ 行152: / 行152: @@
 あとはブラウザからウェブUIにアクセスして、移動前と同じ内容になっているか確認するとよい。
-ここでは既存のcryoSPARCのDBパスを変更する手順について書いたが、新規インストールする場合にはインストール時のオプションで対応できる気がするので、調べるのが良いと思う。
+<b>6. 新しいホストでcryoSPARCの新規(上書き)インストール</b>

←前の版		2020年9月14日 (月) 10:24時点における版
行20:		行20:

	make_jobの中に何を書くかは、上記のリファレンスガイドやT20Sベンチマークスクリプトを眺めたり、cryosparc/cryosparc2master/cryosparc2_compute/jobs/ 内の各ジョブディレクトリの build.py を読むとなんとなく把握できる感がある。		make_jobの中に何を書くかは、上記のリファレンスガイドやT20Sベンチマークスクリプトを眺めたり、cryosparc/cryosparc2master/cryosparc2_compute/jobs/ 内の各ジョブディレクトリの build.py を読むとなんとなく把握できる感がある。
		+
		+	job_typeに関しては、cryosparc/cryosparc2master/cryosparc2_compute/jobs/ 内の各ジョブディレクトリの__init__.pyを読むとわかる。

	user_idを渡す必要があるが、それは以下で確認できる。		user_idを渡す必要があるが、それは以下で確認できる。