DockerでcryoSPARCクラスタ - 変更履歴

Kttn: /* CentOS 7 */

2020-11-17T11:07:27Z

‎CentOS 7

2020-11-17T08:17:42Z

‎ファイアウォール設定

2020-11-17T08:14:59Z

‎ファイアウォール設定

2020-11-17T08:08:41Z

‎ホストマシンを再起動した後のクラスタの復旧

2020-11-04T10:08:17Z

2020-09-24T05:47:48Z

‎cryoSPARCクラスタ構築

2020-09-24T03:08:56Z

‎cryoSPARCクラスタ構築

2020-09-24T03:08:23Z

‎cryoSPARCワーカーを追加する方法

2020-09-24T02:54:59Z

‎cryoSPARCワーカーを追加する方法

2020-09-24T02:53:37Z

‎cryoSPARCワーカーを追加する方法

@@ 行19: / 行19: @@
 <pre>
 > sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp --permanent
 </pre>

@@ 行10: / 行10: @@
 Docker間の通信に必要なポートを開ける必要がある。こちらを参照⇒ https://docs.docker.com/network/overlay/#create-an-overlay-network
 CentOSの場合はfirewall-cmdでポートを開けることができる。クラスタに参加するホストマシンのすべてで実行する必要がある。(firewall-cmdについて参考： [[Linux関連#ネットワーク関連]])
 <pre>
@@ 行19: / 行20: @@
 > sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp --permanent
 </pre>
 === Swarmの構成 ===

@@ 行13: / 行13: @@
 <pre>
 > sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp
 </pre>

←前の版		2020年11月17日 (火) 08:08時点における版
行115:		行115:

	マスターノードで docker node ls すると、ワーカーノードのSTATUSが軒並み Down になっていて、dockerのネットワークが駄目な感じがあった。が、修復の方法がよくわからず、頓挫中。		マスターノードで docker node ls すると、ワーカーノードのSTATUSが軒並み Down になっていて、dockerのネットワークが駄目な感じがあった。が、修復の方法がよくわからず、頓挫中。
		+
		+	=== 原因 ===
		+	[[#ファイアウォール設定\|ファイアウォール設定]]でswarm通信用のポートをfirewall-cmdで開けるが、--permanentオプションを付けて実行しないと、計算機再起動した際に設定が消えるらしい。上記問題が出た環境は--permanetを付けずにポートを開いていたので、それゆえ再起動した後にswarm通信ができず、各ノードのSTATUSがDownとなっていたと考えられる。(実際に検証する前にネットワーク設定を消してしまったので検証はできていない)

←前の版		2020年11月4日 (水) 10:08時点における版
行105:		行105:
	</pre>		</pre>
	としてから再度connectをすれば大丈夫(なはず)。		としてから再度connectをすれば大丈夫(なはず)。
		+
		+	== ホストマシンを再起動した後のクラスタの復旧 ==
		+	停止したコンテナをdocker startで再稼働するとき、swarmのマスターではうまく行くがワーカーでは失敗するエラーが起きた。
		+	エラーがの内容(例)は
		+	<pre>
		+	Error response from daemon: Could not attach to network asuaxn22bff1sq8pqqay2sg64: context deadline exceeded
		+	Error: failed to start containers: csparc-worker-cs06
		+	</pre>
		+
		+	マスターノードで docker node ls すると、ワーカーノードのSTATUSが軒並み Down になっていて、dockerのネットワークが駄目な感じがあった。が、修復の方法がよくわからず、頓挫中。

@@ 行57: / 行57: @@
 == cryoSPARCクラスタ構築 ==
-クラスタに加えたいノードのそれぞれでcryoSPARCを動かす能力のあるdockerコンテナを動かし、それらをcryosparc-netに参加させ、cryoSPARCのマスターとして使いたいコンテナでのみcryoSPARCのマスターインストールをして、必要ならワーカーもインストールし、他のコンテナではワーカーのみインストールする + α をすればクラスタ構築できた。
+クラスタに加えたいノードのそれぞれでcryoSPARCを動かす能力のあるdockerコンテナを動かし、それらをcryosparc-netに参加させ、cryoSPARCのマスターとして使いたいコンテナでのみcryoSPARCのマスターインストールをして、必要ならワーカーもインストールし、他のコンテナではワーカーのみインストールする + α をすればクラスタ構築できた。cryoSPARCのインストール場所やデータベース、プロジェクトディレクトリなどなどは、どのホスト・コンテナからもマウント可能なネットワークドライブに置く必要があります。
 手順が煩雑なのでいずれ整理して書きます。(各ホストマシンでコンテナを動かして、同一の仮想ネットワーク上に載せることさえできれば、あとは通常のcryoSPARC master workerインストールと同じです。)

@@ 行84: / 行84: @@
 とする。workerとmasterは指定が必要。
+=== cryosparcw connectのエラー ===
 以下のようなエラーが出た場合は、
 <pre>

←前の版		2020年9月24日 (木) 03:08時点における版
行76:		行76:

	--ssdquota によりSSDの使用可能量(MB)を適宜指定したほうがよいだろう。		--ssdquota によりSSDの使用可能量(MB)を適宜指定したほうがよいだろう。
		+
		+	=== ワーカーの設定変更 ===
		+	ワーカーの設定を一部変更するには、--updateフラグを立てたうえで、変更したいオプション値を指定すればよい。例えばssdquotaを100GBに制限したければ、
		+	<pre>
		+	> cryosparcw connect --worker <ワーカーコンテナ名> --master <マスターコンテナ名> --update --ssdquota 100000
		+	</pre>
		+	とする。workerとmasterは指定が必要。

←前の版		2020年9月24日 (木) 02:54時点における版
行75:		行75:
	新しいレーンを作る場合は、--newlaneフラグを立てたうえで--lane で新しいレーン名を指定する。		新しいレーンを作る場合は、--newlaneフラグを立てたうえで--lane で新しいレーン名を指定する。

−	--ssdquota によりSSDの使用可能量(MB)~~を指定したほうがよいだろう。~~	+	--ssdquota によりSSDの使用可能量(MB)を適宜指定したほうがよいだろう。

←前の版		2020年9月24日 (木) 02:53時点における版
行74:		行74:

	新しいレーンを作る場合は、--newlaneフラグを立てたうえで--lane で新しいレーン名を指定する。		新しいレーンを作る場合は、--newlaneフラグを立てたうえで--lane で新しいレーン名を指定する。
		+
		+	--ssdquota によりSSDの使用可能量(MB)を指定したほうがよいだろう。