Eospedia - 利用者の投稿記録 [ja]

RELION

2021-01-07T13:09:27Z

Kttn:

2017年現在で、デファクトスタンダードとなっているRELIONに関して、まとめたものです。

== 導入方法　==
=== [[RELIONのMacへの導入]]===
===RELION2のLinuxへの導入===
* [[ハードウェア]]
* [[RELION2のUbuntuへの導入]]
* [[RELION2のCentOSへの導入]]
* [[RELION2のScientificLinux7への導入]]

== [[RELIONチュートリアル]]==
RELIONを使った構造解析に関するチュートリアルサイトです。
[[RELIONチュートリアル]]:2.0
[[RELION3チュートリアル]]:3.0
[[RELION3.1チュートリアル]]:3.1

== [[RELION理論]]==
[[RELION]]のアルゴリズムを通して、三次元再構成の基本を示した頁になります。

== [[RELION実装]]==
[[RELION]]の実装を通して、三次元再構成の基本を示した頁になります。

== [[RELION tips]] ==
[[RELION]]のtipsをまとめた項になります。

== [[Visual Studio CodeでRELIONのdebug]] ==
Visual Studio Codeを使って[[RELION]]のデバッグ実行をする方法

instamatic

2020-12-23T12:23:37Z

Kttn:

== 必要要件 ==
* Windows
* Python3
* JEOL TEMを使う場合
** JEOL TemExternal
* シミュレーションモードを使う場合
** 特になし

== インストール ==
最新版のインストール方法について説明する。

* 参考： https://github.com/stefsmeets/instamatic/blob/master/docs/setup.md

https://github.com/stefsmeets/instamatic より、ソースコードをクローンする。
<pre>
git clone https://github.com/stefsmeets/instamatic.git
cd instamatic
</pre>

※ commit 2c32254以降を使用すること。古いバージョンだとsimulationモードがエラーで動作しない場合あり。

依存ライブラリを記述したrequirements.txtがあるので、pipでそれらをインストールする。
<pre>
pip install -r requirements.txt
</pre>

instamaticをPython環境へインストールする。
<pre>
python setup.py install
</pre>

== シミュレーションモード ==
実際にTEM、カメラに接続せず、シミュレーションモードで動作させる方法。
=== 初期設定 ===
Powershellを開き、instamaticを起動する。
<pre>
instamatic.exe
</pre>
初回起動の時は、設定ファイルを格納したディレクトリを自動で作ってくれる。執筆者環境の場合、C:\Users\kttn8\AppData\Roaming\instamatic\config が作成された。

コンフィグが作成されたら、autoconfigで設定を変えられる。
<pre>
instamatic.autoconfig.exe
</pre>
インタラクティブなプロンプトが表示されるので、適宜答えていく。今回はシミュレーションモードで設定をしてみる。

↓プロンプトでのやりとり
<pre>
PS C:\Users\kttn8> instamatic.autoconfig.exe
Config directory: C:\Users\kttn8\AppData\Roaming\instamatic\config

1: jeol
2: fei
3: simulate

Which microscope can I connect to? [simulate] >>
simulate

1: None
2: gatan
3: tvips
4: simulate

Which camera can I connect to? [simulate] >>
simulate

1: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\orius.yaml
2: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\simulate.yaml
3: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\simulateDLL.yaml
4: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\timepix.yaml
5: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\tvips-f416.yaml
6: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\tvips-xf416.yaml
7: None

Which camera type do you want to use (select closest one and modify if needed)? [None] >>
None

Mode: mag1
High tension: 200 kV
Current density: 100221.24 pA/cm2
GunShift(x=57788, y=11163)
GunTilt(x=42281, y=34217)
BeamShift(x=32772, y=30285)
BeamTilt(x=36439, y=255)
ImageShift1(x=37126, y=55930)
ImageShift2(x=42692, y=62856)
DiffShift(x=52452, y=45943)
Stage(x=52584.0, y=-33851.0, z=-8761.0, a=35.0, b=-9.0)
Magnification(value=25000, index=10)
DiffFocus(value=n/a)
Brightness(value=20770)
SpotSize(1)
Saved alignments: ('neutral.yaml',)

Wrote files config files:
Copy simulate_tem.yaml -> `C:\Users\kttn8\AppData\Roaming\instamatic\config\simulate_tem.yaml`
Copy simulate_calib.yaml -> `C:\Users\kttn8\AppData\Roaming\instamatic\config\simulate_calib.yaml`

In `settings.yaml`:
microscope: simulate_tem
calibration: simulate_calib

Todo: Check and update the pixelsizes in `simulate_calib.yaml`
In real space, pixelsize in nm
In reciprocal space, pixelsize in px/Angstrom
</pre>

=== 起動方法 ===
シェルで以下コマンドを打つ。
<pre>
instamatic
</pre>

すると以下のようなGUIが立ち上がる。パスとかは適宜変更しないと、何か操作したときにエラーメッセージが多分出てくる。

[[File:2020-04-28 (1).png|x400px]]

== コンソール実行 ==
=== JEOL TemExternal(COM)をPythonから直接叩く ===
<pre>
import comtypes
comtypes.CoInitialize()
import comtypes.client
temext = comtypes.client.GetModule(('{CE70FCE4-26D9-4BAB-9626-EC88DB7F6A0A}', 3, 0))
# TEM3コンポーネントのオブジェクト
tem3 = comtypes.client.CreateObject(temext.TEM3, comtypes.CLSCTX_ALL)
# LEN3インターフェイス
lens3 = tem3.CreateLens3()
# DEF3インターフェイス (deflector制御API)
stage3 = tem3.CreateDef3()
#　などなど
</pre>

=== Instamatic TEMControllerでTEMを制御 ===
<pre>
from instamatic import TEMController
ctrl = TEMController.initialize(tem_name='jeol', cam_name=None)
</pre>
* instamaticのTEMServer使わない場合(setting.yamlでuse_tem_server=False)は ctrl.tem が JeolMicroscopeクラスインスタンスになり、そのメソッドからTemExternalのCOMインターフェイスを間接的にたたく感じになる
* TEMServer使う場合は、ctrl.tem が MicroscopeClientクラスインスタンスになり、TEMServerを介してJeolMicroscopeインスタンスにコマンド渡す感じ (使う分には、ctrl.temをJeolMicroscopeインスタンスだと思ってAPI叩けばok)

== コンフィグロードのテスト ==
<pre>
from instamatic import config
</pre>
* configの__init__.pyの中で各種読み込みが実行されて、各種コンフィグはディクショナリ型の値をもつ属性として保持される
* 例えば config.microscope.wavelength のようにアクセス

instamatic

2020-12-23T10:23:56Z

Kttn: /* Instamatic TEMControllerでTEMを制御 */

instamatic

2020-12-23T10:23:16Z

Kttn:

== 必要要件 ==
* Windows
* Python3
* JEOL TEMを使う場合
** JEOL TemExternal
* シミュレーションモードを使う場合
** 特になし

== インストール ==
最新版のインストール方法について説明する。

* 参考： https://github.com/stefsmeets/instamatic/blob/master/docs/setup.md

https://github.com/stefsmeets/instamatic より、ソースコードをクローンする。
<pre>
git clone https://github.com/stefsmeets/instamatic.git
cd instamatic
</pre>

※ commit 2c32254以降を使用すること。古いバージョンだとsimulationモードがエラーで動作しない場合あり。

依存ライブラリを記述したrequirements.txtがあるので、pipでそれらをインストールする。
<pre>
pip install -r requirements.txt
</pre>

instamaticをPython環境へインストールする。
<pre>
python setup.py install
</pre>

== シミュレーションモード ==
実際にTEM、カメラに接続せず、シミュレーションモードで動作させる方法。
=== 初期設定 ===
Powershellを開き、instamaticを起動する。
<pre>
instamatic.exe
</pre>
初回起動の時は、設定ファイルを格納したディレクトリを自動で作ってくれる。執筆者環境の場合、C:\Users\kttn8\AppData\Roaming\instamatic\config が作成された。

コンフィグが作成されたら、autoconfigで設定を変えられる。
<pre>
instamatic.autoconfig.exe
</pre>
インタラクティブなプロンプトが表示されるので、適宜答えていく。今回はシミュレーションモードで設定をしてみる。

↓プロンプトでのやりとり
<pre>
PS C:\Users\kttn8> instamatic.autoconfig.exe
Config directory: C:\Users\kttn8\AppData\Roaming\instamatic\config

1: jeol
2: fei
3: simulate

Which microscope can I connect to? [simulate] >>
simulate

1: None
2: gatan
3: tvips
4: simulate

Which camera can I connect to? [simulate] >>
simulate

1: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\orius.yaml
2: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\simulate.yaml
3: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\simulateDLL.yaml
4: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\timepix.yaml
5: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\tvips-f416.yaml
6: C:\Users\kttn8\AppData\Local\Programs\Python\Python38\lib\site-packages\instamatic-1.3.0-py3.8.egg\instamatic\config\camera\tvips-xf416.yaml
7: None

Which camera type do you want to use (select closest one and modify if needed)? [None] >>
None

Mode: mag1
High tension: 200 kV
Current density: 100221.24 pA/cm2
GunShift(x=57788, y=11163)
GunTilt(x=42281, y=34217)
BeamShift(x=32772, y=30285)
BeamTilt(x=36439, y=255)
ImageShift1(x=37126, y=55930)
ImageShift2(x=42692, y=62856)
DiffShift(x=52452, y=45943)
Stage(x=52584.0, y=-33851.0, z=-8761.0, a=35.0, b=-9.0)
Magnification(value=25000, index=10)
DiffFocus(value=n/a)
Brightness(value=20770)
SpotSize(1)
Saved alignments: ('neutral.yaml',)

Wrote files config files:
Copy simulate_tem.yaml -> `C:\Users\kttn8\AppData\Roaming\instamatic\config\simulate_tem.yaml`
Copy simulate_calib.yaml -> `C:\Users\kttn8\AppData\Roaming\instamatic\config\simulate_calib.yaml`

In `settings.yaml`:
microscope: simulate_tem
calibration: simulate_calib

Todo: Check and update the pixelsizes in `simulate_calib.yaml`
In real space, pixelsize in nm
In reciprocal space, pixelsize in px/Angstrom
</pre>

=== 起動方法 ===
シェルで以下コマンドを打つ。
<pre>
instamatic
</pre>

すると以下のようなGUIが立ち上がる。パスとかは適宜変更しないと、何か操作したときにエラーメッセージが多分出てくる。

[[File:2020-04-28 (1).png|x400px]]

== コンソール実行 ==
=== JEOL TemExternal(COM)をPythonから直接叩く ===
<pre>
import comtypes
comtypes.CoInitialize()
import comtypes.client
temext = comtypes.client.GetModule(('{CE70FCE4-26D9-4BAB-9626-EC88DB7F6A0A}', 3, 0))
# TEM3コンポーネントのオブジェクト
tem3 = comtypes.client.CreateObject(temext.TEM3, comtypes.CLSCTX_ALL)
# LEN3インターフェイス
lens3 = tem3.CreateLens3()
# DEF3インターフェイス (deflector制御API)
stage3 = tem3.CreateDef3()
#　などなど
</pre>

=== Instamatic TEMControllerでTEMを制御 ===
<pre>
from instamatic import TEMController
ctrl = TEMController.initialize(tem_name='jeol', cam_name=None)
</pre>
* instamaticのTEMServer使わない場合(setting.yamlでuse_tem_server=False)は ctrl.tem が JeolMicroscopeクラスインスタンスになり、そのメソッドからCOMインターフェイスを間接的にたたく感じになる
* TEMServer使う場合は、ctrl.tem が MicroscopeClientクラスインスタンスになり、TEMServerを介してJeolMicroscopeインスタンスにコマンド渡す感じ (使う分には、ctrl.temをJeolMicroscopeインスタンスだと思ってAPI叩けばok)

Python on Windows10

2020-11-24T04:45:04Z

Kttn: ページの作成:「覚書です。 = '''PYTHONPATHの設定''' = * コントロールパネルを開き、System and Security > System > Advanced system setting と進む * System Properti...」

覚書です。

= '''PYTHONPATHの設定''' =
* コントロールパネルを開き、System and Security > System > Advanced system setting と進む
* System Propertiesウィンドウが開いたらAdvancedタブのEnvironment Variablesを押下する
* User variables for (ユーザー名) で New... を押下する
* Variable name: PYTHONPATH
* Variable value(例): C:\Users\Hoge\Softwares\fuga_image_library;%PYTHONPATH%
** パスはセミコロンで列挙。%%で挟んで環境変数名を記述すると変数展開される。

Python

2020-11-24T04:40:10Z

Kttn:

当研究室特有の説明を含む場合があるので留意ください。

== [[Python tips]] ==
いつも調べてしまうことなどを書き残しておく

== [[Numpy tips]] ==

== [[Matplotlib tips]] ==

== [[JupyterLab設定]] ==
Jupyter Labの設定集

== [[DockerでJupyterLab]] ==
Jupyter Notebook(.ipynb)をウェブブラウザで閲覧、作成、編集、実行できるJupyterLabサーバーをDockerで立ち上げ、リモートのPCのウェブブラウザから使う方法を説明します。

== [[Visual Studio CodeでPythonデバッグ実行]] ==
Visual Studio CodeでPythonスクリプトをデバッグ実行する方法について説明します。

== [[PythonのためのVisual Studio Code設定覚書]] ==

== [[Anaconda覚書]] ==

== [[Pythonトラブルシューティング]] ==

== [[Python on Windows10]] ==

Python

2020-11-24T04:40:01Z

Kttn:

Visual Studio CodeでPythonデバッグ実行

2020-11-20T06:18:08Z

Kttn:

= '''デバッグ設定ファイル launch.json''' =
== launch.jsonで使える定義済み変数 ==
https://code.visualstudio.com/docs/editor/variables-reference

== デバッガに環境変数を渡す ==
参考： [https://qiita.com/YumaInaura/items/72c1c68e22c71f37cdd3#%E7%92%B0%E5%A2%83%E5%A4%89%E6%95%B0%E3%82%92%E6%B8%A1%E3%81%99 VSCode 用のlaunch.jsonでデバッグコマンドに環境変数 / 引数 / フラグを渡す設定]

launch.jsonに環境変数を記述すればよい。

例：PythonのモジュールサーチパスPYTHONPATHを追加する
<pre>
{
// IntelliSense を使用して利用可能な属性を学べます。
// 既存の属性の説明をホバーして表示します。
// 詳細情報は次を確認してください: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"name": "Python: モジュール",
"type": "python",
"request": "launch",
"module": "instamatic"
},
{
"name": "Python: Current File",
"type": "python",
"request": "launch",
"program": "${file}",
"console": "integratedTerminal",
"env": {
"PYTHONPATH": "${workspaceFolder}"
}
}
]
}
</pre>

* Windowsの場合
** ディレクトリのセパレータはバックスラッシュだが、あとに続く文字によっては特殊文字と見なされてしまうので、バックスラッシュは二重にして書く。
** パスを続けて2つ以上書く場合、例えば次のようにする。
<pre>
"env": {
"PYTHONPATH": "${workspaceFolder};C:\\Users\\hogeta\\hoge\\fuga"
}
</pre>

== モジュールのデバッグ ==
スクリプトではなくモジュール(インポートで呼び出される側のコード)をデバッグする場合は、モジュールとしてデバッグする。

例：ワークスペースフォルダに置いてあるinstamatic.server.tem_serverというモジュール (ファイルとしては${workspaceFolder}/instamatic/server/tem_server.py)をデバッグしたいとき
<pre>
{
// IntelliSense を使用して利用可能な属性を学べます。
// 既存の属性の説明をホバーして表示します。
// 詳細情報は次を確認してください: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"name": "Python: debug tem_server module",
"type": "python",
"request": "launch",
　　　　　　"cwd": "${workspaceFolder}",
"module": "instamatic.server.tem_server"
}
]
}
</pre>

== 標準ライブラリや外部ライブラリの中までステップインする ==
デバッグの設定ファイルであるlaunch.jsonにて、justMyCodeオプションをFalseとすればよい、とのこと

参考： https://srbrnote.work/archives/4231

= '''デバッガ使い方''' =
== 現在のデバッグ行に飛ぶ ==
コールスタックペインに表示されている一番上の項目をクリックすれば、現在デバッグしている行（正確にはこれから実行する行）に飛べる。デバッグ中にファイルをいろいろ移動して迷子になってしまったときに、デバッグ行に戻れる。

参考： https://stackoverflow.com/a/56270324

PythonのためのVisual Studio Code設定覚書

2020-11-20T05:56:38Z

Kttn: /* 特定のディレクトリにモジュールサーチパスを通す */

== 特定のディレクトリにモジュールサーチパスを通す ==
* VSCodeの設定で、ワークスペースもしくはディレクトリのタブを開く(ワークスペースの設定としたいか、ディレクトリの設定としたいかで選ぶ)。
* setting.jsonを開く。
* python.analysis.extraPaths と python.autoComplete.extraPaths に、所望のディレクトリを追加する。
例えばpiyo_image_handlerが自作のモジュールで、それを開発に使いたいとなったら、
<pre>
"python.analysis.extraPaths": [
"C:\\Users\\hoge\\Softwares\\piyo_image_handler"
],
"python.autoComplete.extraPaths": [
"C:\\Users\\hoge\\Softwares\\piyo_image_handler"
]
</pre>

とする。

デバッグもする場合は、launch.jsonにもパスを追加する。
( [[Visual Studio CodeでPythonデバッグ実行#デバッガに環境変数を渡す]] )
<pre>
{
"name": "Debug scripts",
"type": "python",
"request": "launch",
"program": "${file}",
"console": "integratedTerminal",
"env": {
"PYTHONPATH": "${workspaceFolder};C:\\Users\\hoge\\Softwares\\piyo_image_handler"
}
},
</pre>

PythonのためのVisual Studio Code設定覚書

2020-11-20T05:53:18Z

Kttn:

Visual Studio CodeでPythonデバッグ実行

2020-11-20T05:44:03Z

Kttn: /* デバッガに環境変数を渡す */

== デバッガに環境変数を渡す ==
参考： [https://qiita.com/YumaInaura/items/72c1c68e22c71f37cdd3#%E7%92%B0%E5%A2%83%E5%A4%89%E6%95%B0%E3%82%92%E6%B8%A1%E3%81%99 VSCode 用のlaunch.jsonでデバッグコマンドに環境変数 / 引数 / フラグを渡す設定]

launch.jsonに環境変数を記述すればよい。

例：PythonのモジュールサーチパスPYTHONPATHを追加する
<pre>
{
// IntelliSense を使用して利用可能な属性を学べます。
// 既存の属性の説明をホバーして表示します。
// 詳細情報は次を確認してください: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"name": "Python: モジュール",
"type": "python",
"request": "launch",
"module": "instamatic"
},
{
"name": "Python: Current File",
"type": "python",
"request": "launch",
"program": "${file}",
"console": "integratedTerminal",
"env": {
"PYTHONPATH": "${workspaceFolder}"
}
}
]
}
</pre>

* Windowsの場合
** ディレクトリのセパレータはバックスラッシュだが、あとに続く文字によっては特殊文字と見なされてしまうので、バックスラッシュは二重にして書く。
** パスを続けて2つ以上書く場合、例えば次のようにする。
<pre>
"env": {
"PYTHONPATH": "${workspaceFolder};C:\\Users\\hogeta\\hoge\\fuga"
}
</pre>

== 現在のデバッグ行に飛ぶ ==
コールスタックペインに表示されている一番上の項目をクリックすれば、現在デバッグしている行（正確にはこれから実行する行）に飛べる。デバッグ中にファイルをいろいろ移動して迷子になってしまったときに、デバッグ行に戻れる。

参考： https://stackoverflow.com/a/56270324

== モジュールのデバッグ ==
スクリプトではなくモジュール(インポートで呼び出される側のコード)をデバッグする場合は、モジュールとしてデバッグする。

例：ワークスペースフォルダに置いてあるinstamatic.server.tem_serverというモジュール (ファイルとしては${workspaceFolder}/instamatic/server/tem_server.py)をデバッグしたいとき
<pre>
{
// IntelliSense を使用して利用可能な属性を学べます。
// 既存の属性の説明をホバーして表示します。
// 詳細情報は次を確認してください: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"name": "Python: debug tem_server module",
"type": "python",
"request": "launch",
　　　　　　"cwd": "${workspaceFolder}",
"module": "instamatic.server.tem_server"
}
]
}
</pre>

== 標準ライブラリや外部ライブラリの中までステップインする ==
デバッグの設定ファイルであるlaunch.jsonにて、justMyCodeオプションをFalseとすればよい、とのこと

参考： https://srbrnote.work/archives/4231

Git

2020-11-19T14:26:48Z

Kttn:

= '''CLI''' =
== ユーザー名とemailの登録 ==
<pre>
git config --global user.name "ユーザー名"
git config --global user.email メールアドレス
</pre>

= '''GitHub''' =
== Issueコメント ==
=== 他のリポジトリのコミットへのリンク ===
<pre>
ユーザー名/リポジトリ名@コミットハッシュ
</pre>

例えば
<pre>
yasunaga-lab/hogefuga@fdk54u89iraa66baab5f4955e0dba066ea0d7dab1
</pre>

Python tips

2020-11-19T13:51:06Z

Kttn: /* build-in */

== argparse ==
https://docs.python.org/release/3.8.2/library/argparse.html
=== インスタンス化 ===
モジュールdocstring書いといてそれをdescriptionにすると良さげ
<pre>
parser = argparse.ArgumentParser(description=__doc__)
</pre>

=== オプション名の書き方と格納先変数名 ===
https://docs.python.org/release/3.8.2/library/argparse.html#dest

=== 引数個数の指定 ===
https://docs.python.org/release/3.8.2/library/argparse.html#nargs

==== 一つ以上のキーワード引数 ====
<pre>
parser.add_argument('--hoge', nargs='+', help='Hoge files')
</pre>
パース結果はリストに格納される。

=== ヘルプメッセージにデフォルト値を表示する ===
https://docs.python.org/release/3.8.2/library/argparse.html#argparse.ArgumentDefaultsHelpFormatter
<pre>
parser = argparse.ArgumentParser(formatter_class=argparse.ArgumentDefaultsHelpFormatter)
</pre>

=== スニペット1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)

args = parser.parse_args()

print('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
print(args_print_str)
return args
</pre>

=== 具体例1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)
parser.add_argument('--Z_file', type=str, required=True, help='Pickled file of latent variables.')
parser.add_argument('--k_init', type=int, default=2, help='Initial number of clusters in X-Means')
parser.add_argument('--k_max', type=int, default=20, help='Max number of clusters in X-Means')
parser.add_argument('--criterion', type=str, default='bic', choices=['bic', 'mndl'], help='Splitting criterion. bic: bayesian information criterion, mndl: minimum noiseless description length.')
parser.add_argument('--random_state', type=int, default=None, help='Random seed for X-Means initialization (K-Means++)')
parser.add_argument('--no_ccore', action='store_true', help='Use python implementation of PyClustering library, instead of C++.')
parser.add_argument('--outdir', required=True, help='Output directory.')
parser.add_argument('--input_star', type=str, required=True, help='Input star file.')
parser.add_argument('--output_star_rootname', type=str, default='cluster', help='Output file rootname for each cluster\'s star file.')
parser.add_argument('--output_model', type=str, default='xmeans_model.pkl', help='Output X-Means model file name (pickled).')

args = parser.parse_args()

print('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
print(args_print_str)
return args
</pre>

== logging ==
https://docs.python.org/release/3.8.2/library/logging.html
=== ロガー生成スニペット ===
<pre>
logging_fmt = logging.Formatter(
'\n[%(asctime)s - %(name)s - %(levelname)s] %(message)s')
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(logging_fmt)
logger.addHandler(stream_handler)

def set_logger(log_file, is_debug):
if log_file is not None:
log_file_dir = os.path.dirname(log_file)
if log_file_dir:
if not os.path.exists(log_file_dir):
logger.debug('Creating log file directory...')
os.makedirs(log_file_dir)
elif not os.path.isdir(log_file_dir):
logger.error('{} is not a directory.'.format(log_file_dir))
sys.exit(1)
file_handler = logging.FileHandler(log_file, mode='w')
file_handler.setFormatter(logging_fmt)
logger.addHandler(file_handler)

if not is_debug:
logger.setLevel(logging.INFO)
</pre>

== serialize ==
=== pickle ===
==== 保存 ====
<pre>
pickle.dump(\
object_to_be_serialized,
open(outfile, 'wb'),
protocol=4)
</pre>

==== 読み込み ====
<pre>
with open(pickled_file, 'rb') as f:
pickled_content = pickle.load(f)
</pre>

== subprocess ==
=== run - 同期型 ===
<pre>
ret = subprocess.run("シェルコマンド", text=True, shell=True, capture_output=True)
</pre>

投げたシェルコマンドが終わるまで呼び出し側コードはブロックされる。

retが持つ属性は ret.args, ret.returncode, ret.stdout, ret.stderr。

=== Popen - 非同期型 ===
* 参考
** https://qiita.com/HidKamiya/items/e192a55371a2961ca8a4
** https://qiita.com/megmogmog1965/items/5f95b35539ed6b3cfa17
<pre>
p = subprocess.Popen("シェルコマンド", shell=True, text=True, stderr=subprocess.STDOUT, stdout=subprocess.PIPE)
</pre>

Popenはコマンド投げっぱなしで、呼び出し側コードは遠慮なく先へ進む。

処理の終了 (p.poll() is not None)を待ちつつ、出力をリアルタイム表示するには、例えば以下の様にする。
<pre>
while True:
if p.poll() is not None:
break
line = p.stdout.readline()
if line is not None:
print(line, end='')
</pre>

== datetime ==
* datetimeはモジュール名、datetime.datetimeはdatetimeモジュールのdatetimeクラス
=== タイムスタンプ文字列生成 ===
20201119-093428 などのフォーマットで年月日-時刻の文字列を生成するには、
<pre>
import datetime
datetime.datetime.now().strftime('%Y%m%d-%H%M%S')
</pre>
nowはクラスメソッドで、現在時刻を持ったインスタンスを生成する。

=== iso8601フォーマットで時刻表示 ===
isoformatメソッドを使う。例えば、
<pre>
In [6]: a = datetime.datetime.strptime('2020/11/19 18:55:37.614', '%Y/%m/%d %H:%M:%S.%f')

In [7]: a.isoformat()
Out[7]: '2020-11-19T18:55:37.614000'
</pre>

=== 任意の型式の日時表示からdatetimeインスタンス生成 ===
strptimeメソッドを使う。例えば、
<pre>
In [5]: datetime.datetime.strptime('2020/11/19 18:55:37.614', '%Y/%m/%d %H:%M:%S.%f')
Out[5]: datetime.datetime(2020, 11, 19, 18, 55, 37, 614000)
</pre>
どうやらミリ秒は無くて、マイクロ秒(%fでパース)で表現するらしい。

== docstring ==
=== モジュールdocstring ===
ファイルの先頭にそのモジュールの説明を書けばよい。
<pre>
'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

シェバン行やエンコーディング指定はモジュールdocstringの前に書く。
<pre>
#!/usr/bin/env python
# *_* coding: utf-8 *_*

'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

モジュールdocstringは<pre>__doc__</pre>で参照できる。

== build-in ==
=== print ===
==== 改行無しで表示 ====
<pre>
print('hogefuga', end='')
</pre>

=== 型チェック ===
==== isinstance ====
<pre>
isinstance(obj, class_or_tuple)
</pre>

Python tips

2020-11-19T13:39:47Z

Kttn: /* datetime */

Python tips

2020-11-19T13:35:36Z

Kttn: /* datetime */

== argparse ==
https://docs.python.org/release/3.8.2/library/argparse.html
=== インスタンス化 ===
モジュールdocstring書いといてそれをdescriptionにすると良さげ
<pre>
parser = argparse.ArgumentParser(description=__doc__)
</pre>

=== オプション名の書き方と格納先変数名 ===
https://docs.python.org/release/3.8.2/library/argparse.html#dest

=== 引数個数の指定 ===
https://docs.python.org/release/3.8.2/library/argparse.html#nargs

==== 一つ以上のキーワード引数 ====
<pre>
parser.add_argument('--hoge', nargs='+', help='Hoge files')
</pre>
パース結果はリストに格納される。

=== ヘルプメッセージにデフォルト値を表示する ===
https://docs.python.org/release/3.8.2/library/argparse.html#argparse.ArgumentDefaultsHelpFormatter
<pre>
parser = argparse.ArgumentParser(formatter_class=argparse.ArgumentDefaultsHelpFormatter)
</pre>

=== スニペット1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)

args = parser.parse_args()

print('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
print(args_print_str)
return args
</pre>

=== 具体例1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)
parser.add_argument('--Z_file', type=str, required=True, help='Pickled file of latent variables.')
parser.add_argument('--k_init', type=int, default=2, help='Initial number of clusters in X-Means')
parser.add_argument('--k_max', type=int, default=20, help='Max number of clusters in X-Means')
parser.add_argument('--criterion', type=str, default='bic', choices=['bic', 'mndl'], help='Splitting criterion. bic: bayesian information criterion, mndl: minimum noiseless description length.')
parser.add_argument('--random_state', type=int, default=None, help='Random seed for X-Means initialization (K-Means++)')
parser.add_argument('--no_ccore', action='store_true', help='Use python implementation of PyClustering library, instead of C++.')
parser.add_argument('--outdir', required=True, help='Output directory.')
parser.add_argument('--input_star', type=str, required=True, help='Input star file.')
parser.add_argument('--output_star_rootname', type=str, default='cluster', help='Output file rootname for each cluster\'s star file.')
parser.add_argument('--output_model', type=str, default='xmeans_model.pkl', help='Output X-Means model file name (pickled).')

args = parser.parse_args()

print('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
print(args_print_str)
return args
</pre>

== logging ==
https://docs.python.org/release/3.8.2/library/logging.html
=== ロガー生成スニペット ===
<pre>
logging_fmt = logging.Formatter(
'\n[%(asctime)s - %(name)s - %(levelname)s] %(message)s')
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(logging_fmt)
logger.addHandler(stream_handler)

def set_logger(log_file, is_debug):
if log_file is not None:
log_file_dir = os.path.dirname(log_file)
if log_file_dir:
if not os.path.exists(log_file_dir):
logger.debug('Creating log file directory...')
os.makedirs(log_file_dir)
elif not os.path.isdir(log_file_dir):
logger.error('{} is not a directory.'.format(log_file_dir))
sys.exit(1)
file_handler = logging.FileHandler(log_file, mode='w')
file_handler.setFormatter(logging_fmt)
logger.addHandler(file_handler)

if not is_debug:
logger.setLevel(logging.INFO)
</pre>

== serialize ==
=== pickle ===
==== 保存 ====
<pre>
pickle.dump(\
object_to_be_serialized,
open(outfile, 'wb'),
protocol=4)
</pre>

==== 読み込み ====
<pre>
with open(pickled_file, 'rb') as f:
pickled_content = pickle.load(f)
</pre>

== subprocess ==
=== run - 同期型 ===
<pre>
ret = subprocess.run("シェルコマンド", text=True, shell=True, capture_output=True)
</pre>

投げたシェルコマンドが終わるまで呼び出し側コードはブロックされる。

retが持つ属性は ret.args, ret.returncode, ret.stdout, ret.stderr。

=== Popen - 非同期型 ===
* 参考
** https://qiita.com/HidKamiya/items/e192a55371a2961ca8a4
** https://qiita.com/megmogmog1965/items/5f95b35539ed6b3cfa17
<pre>
p = subprocess.Popen("シェルコマンド", shell=True, text=True, stderr=subprocess.STDOUT, stdout=subprocess.PIPE)
</pre>

Popenはコマンド投げっぱなしで、呼び出し側コードは遠慮なく先へ進む。

処理の終了 (p.poll() is not None)を待ちつつ、出力をリアルタイム表示するには、例えば以下の様にする。
<pre>
while True:
if p.poll() is not None:
break
line = p.stdout.readline()
if line is not None:
print(line, end='')
</pre>

== datetime ==
* datetimeはモジュール名、datetime.datetimeはdatetimeモジュールのdatetimeクラス
=== タイムスタンプ文字列生成 ===
20201119-093428 などのフォーマットで年月日-時刻の文字列を生成するには、
<pre>
import datetime
datetime.datetime.now().strftime('%Y%m%d-%H%M%S')
</pre>
nowはクラスメソッドで、現在時刻を持ったインスタンスを生成する。

=== 任意の型式の日時表示からdatetimeインスタンス生成 ===
strptimeメソッドを使う。例えば、
<pre>
In [5]: datetime.datetime.strptime('2020/11/19 18:55:37.614', '%Y/%m/%d %H:%M:%S.%f')
Out[5]: datetime.datetime(2020, 11, 19, 18, 55, 37, 614000)
</pre>
どうやらミリ秒は無くて、マイクロ秒(%fでパース)で表現するらしい。

== docstring ==
=== モジュールdocstring ===
ファイルの先頭にそのモジュールの説明を書けばよい。
<pre>
'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

シェバン行やエンコーディング指定はモジュールdocstringの前に書く。
<pre>
#!/usr/bin/env python
# *_* coding: utf-8 *_*

'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

モジュールdocstringは<pre>__doc__</pre>で参照できる。

== build-in ==
=== print ===
==== 改行無しで表示 ====
<pre>
print('hogefuga', end='')
</pre>

Python tips

2020-11-19T11:46:16Z

Kttn: /* argparse */

== argparse ==
https://docs.python.org/release/3.8.2/library/argparse.html
=== インスタンス化 ===
モジュールdocstring書いといてそれをdescriptionにすると良さげ
<pre>
parser = argparse.ArgumentParser(description=__doc__)
</pre>

=== オプション名の書き方と格納先変数名 ===
https://docs.python.org/release/3.8.2/library/argparse.html#dest

=== 引数個数の指定 ===
https://docs.python.org/release/3.8.2/library/argparse.html#nargs

==== 一つ以上のキーワード引数 ====
<pre>
parser.add_argument('--hoge', nargs='+', help='Hoge files')
</pre>
パース結果はリストに格納される。

=== ヘルプメッセージにデフォルト値を表示する ===
https://docs.python.org/release/3.8.2/library/argparse.html#argparse.ArgumentDefaultsHelpFormatter
<pre>
parser = argparse.ArgumentParser(formatter_class=argparse.ArgumentDefaultsHelpFormatter)
</pre>

=== スニペット1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)

args = parser.parse_args()

print('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
print(args_print_str)
return args
</pre>

=== 具体例1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)
parser.add_argument('--Z_file', type=str, required=True, help='Pickled file of latent variables.')
parser.add_argument('--k_init', type=int, default=2, help='Initial number of clusters in X-Means')
parser.add_argument('--k_max', type=int, default=20, help='Max number of clusters in X-Means')
parser.add_argument('--criterion', type=str, default='bic', choices=['bic', 'mndl'], help='Splitting criterion. bic: bayesian information criterion, mndl: minimum noiseless description length.')
parser.add_argument('--random_state', type=int, default=None, help='Random seed for X-Means initialization (K-Means++)')
parser.add_argument('--no_ccore', action='store_true', help='Use python implementation of PyClustering library, instead of C++.')
parser.add_argument('--outdir', required=True, help='Output directory.')
parser.add_argument('--input_star', type=str, required=True, help='Input star file.')
parser.add_argument('--output_star_rootname', type=str, default='cluster', help='Output file rootname for each cluster\'s star file.')
parser.add_argument('--output_model', type=str, default='xmeans_model.pkl', help='Output X-Means model file name (pickled).')

args = parser.parse_args()

print('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
print(args_print_str)
return args
</pre>

== logging ==
https://docs.python.org/release/3.8.2/library/logging.html
=== ロガー生成スニペット ===
<pre>
logging_fmt = logging.Formatter(
'\n[%(asctime)s - %(name)s - %(levelname)s] %(message)s')
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(logging_fmt)
logger.addHandler(stream_handler)

def set_logger(log_file, is_debug):
if log_file is not None:
log_file_dir = os.path.dirname(log_file)
if log_file_dir:
if not os.path.exists(log_file_dir):
logger.debug('Creating log file directory...')
os.makedirs(log_file_dir)
elif not os.path.isdir(log_file_dir):
logger.error('{} is not a directory.'.format(log_file_dir))
sys.exit(1)
file_handler = logging.FileHandler(log_file, mode='w')
file_handler.setFormatter(logging_fmt)
logger.addHandler(file_handler)

if not is_debug:
logger.setLevel(logging.INFO)
</pre>

== serialize ==
=== pickle ===
==== 保存 ====
<pre>
pickle.dump(\
object_to_be_serialized,
open(outfile, 'wb'),
protocol=4)
</pre>

==== 読み込み ====
<pre>
with open(pickled_file, 'rb') as f:
pickled_content = pickle.load(f)
</pre>

== subprocess ==
=== run - 同期型 ===
<pre>
ret = subprocess.run("シェルコマンド", text=True, shell=True, capture_output=True)
</pre>

投げたシェルコマンドが終わるまで呼び出し側コードはブロックされる。

retが持つ属性は ret.args, ret.returncode, ret.stdout, ret.stderr。

=== Popen - 非同期型 ===
* 参考
** https://qiita.com/HidKamiya/items/e192a55371a2961ca8a4
** https://qiita.com/megmogmog1965/items/5f95b35539ed6b3cfa17
<pre>
p = subprocess.Popen("シェルコマンド", shell=True, text=True, stderr=subprocess.STDOUT, stdout=subprocess.PIPE)
</pre>

Popenはコマンド投げっぱなしで、呼び出し側コードは遠慮なく先へ進む。

処理の終了 (p.poll() is not None)を待ちつつ、出力をリアルタイム表示するには、例えば以下の様にする。
<pre>
while True:
if p.poll() is not None:
break
line = p.stdout.readline()
if line is not None:
print(line, end='')
</pre>

== datetime ==
* datetimeはモジュール名、datetime.datetimeはdatetimeモジュールのdatetimeクラス
=== タイムスタンプ文字列生成 ===
20201119-093428 などのフォーマットで年月日-時刻の文字列を生成するには、
<pre>
import datetime
datetime.datetime.now().strftime('%Y%m%d-%H%M%S')
</pre>
nowはクラスメソッドで、現在時刻を持ったインスタンスを生成する。

== docstring ==
=== モジュールdocstring ===
ファイルの先頭にそのモジュールの説明を書けばよい。
<pre>
'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

シェバン行やエンコーディング指定はモジュールdocstringの前に書く。
<pre>
#!/usr/bin/env python
# *_* coding: utf-8 *_*

'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

モジュールdocstringは<pre>__doc__</pre>で参照できる。

== build-in ==
=== print ===
==== 改行無しで表示 ====
<pre>
print('hogefuga', end='')
</pre>

Python tips

2020-11-19T11:44:46Z

Kttn: /* argparse */

== argparse ==
https://docs.python.org/release/3.8.2/library/argparse.html
=== インスタンス化 ===
モジュールdocstring書いといてそれをdescriptionにすると良さげ
<pre>
parser = argparse.ArgumentParser(description=__doc__)
</pre>

=== オプション名の書き方と格納先変数名 ===
https://docs.python.org/release/3.8.2/library/argparse.html#dest

=== 引数個数の指定 ===
https://docs.python.org/release/3.8.2/library/argparse.html#nargs

==== 一つ以上のキーワード引数 ====
<pre>
parser.add_argument('--hoge', nargs='+', help='Hoge files')
</pre>
パース結果はリストに格納される。

=== ヘルプメッセージにデフォルト値を表示する ===
https://docs.python.org/release/3.8.2/library/argparse.html#argparse.ArgumentDefaultsHelpFormatter
<pre>
parser = argparse.ArgumentParser(formatter_class=argparse.ArgumentDefaultsHelpFormatter)
</pre>

=== スニペット1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)

args = parser.parse_args()

logger.info('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
return args
</pre>

=== 具体例1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)
parser.add_argument('--Z_file', type=str, required=True, help='Pickled file of latent variables.')
parser.add_argument('--k_init', type=int, default=2, help='Initial number of clusters in X-Means')
parser.add_argument('--k_max', type=int, default=20, help='Max number of clusters in X-Means')
parser.add_argument('--criterion', type=str, default='bic', choices=['bic', 'mndl'], help='Splitting criterion. bic: bayesian information criterion, mndl: minimum noiseless description length.')
parser.add_argument('--random_state', type=int, default=None, help='Random seed for X-Means initialization (K-Means++)')
parser.add_argument('--no_ccore', action='store_true', help='Use python implementation of PyClustering library, instead of C++.')
parser.add_argument('--outdir', required=True, help='Output directory.')
parser.add_argument('--input_star', type=str, required=True, help='Input star file.')
parser.add_argument('--output_star_rootname', type=str, default='cluster', help='Output file rootname for each cluster\'s star file.')
parser.add_argument('--output_model', type=str, default='xmeans_model.pkl', help='Output X-Means model file name (pickled).')

args = parser.parse_args()

logger.info('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
return args
</pre>

== logging ==
https://docs.python.org/release/3.8.2/library/logging.html
=== ロガー生成スニペット ===
<pre>
logging_fmt = logging.Formatter(
'\n[%(asctime)s - %(name)s - %(levelname)s] %(message)s')
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(logging_fmt)
logger.addHandler(stream_handler)

def set_logger(log_file, is_debug):
if log_file is not None:
log_file_dir = os.path.dirname(log_file)
if log_file_dir:
if not os.path.exists(log_file_dir):
logger.debug('Creating log file directory...')
os.makedirs(log_file_dir)
elif not os.path.isdir(log_file_dir):
logger.error('{} is not a directory.'.format(log_file_dir))
sys.exit(1)
file_handler = logging.FileHandler(log_file, mode='w')
file_handler.setFormatter(logging_fmt)
logger.addHandler(file_handler)

if not is_debug:
logger.setLevel(logging.INFO)
</pre>

== serialize ==
=== pickle ===
==== 保存 ====
<pre>
pickle.dump(\
object_to_be_serialized,
open(outfile, 'wb'),
protocol=4)
</pre>

==== 読み込み ====
<pre>
with open(pickled_file, 'rb') as f:
pickled_content = pickle.load(f)
</pre>

== subprocess ==
=== run - 同期型 ===
<pre>
ret = subprocess.run("シェルコマンド", text=True, shell=True, capture_output=True)
</pre>

投げたシェルコマンドが終わるまで呼び出し側コードはブロックされる。

retが持つ属性は ret.args, ret.returncode, ret.stdout, ret.stderr。

=== Popen - 非同期型 ===
* 参考
** https://qiita.com/HidKamiya/items/e192a55371a2961ca8a4
** https://qiita.com/megmogmog1965/items/5f95b35539ed6b3cfa17
<pre>
p = subprocess.Popen("シェルコマンド", shell=True, text=True, stderr=subprocess.STDOUT, stdout=subprocess.PIPE)
</pre>

Popenはコマンド投げっぱなしで、呼び出し側コードは遠慮なく先へ進む。

処理の終了 (p.poll() is not None)を待ちつつ、出力をリアルタイム表示するには、例えば以下の様にする。
<pre>
while True:
if p.poll() is not None:
break
line = p.stdout.readline()
if line is not None:
print(line, end='')
</pre>

== datetime ==
* datetimeはモジュール名、datetime.datetimeはdatetimeモジュールのdatetimeクラス
=== タイムスタンプ文字列生成 ===
20201119-093428 などのフォーマットで年月日-時刻の文字列を生成するには、
<pre>
import datetime
datetime.datetime.now().strftime('%Y%m%d-%H%M%S')
</pre>
nowはクラスメソッドで、現在時刻を持ったインスタンスを生成する。

== docstring ==
=== モジュールdocstring ===
ファイルの先頭にそのモジュールの説明を書けばよい。
<pre>
'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

シェバン行やエンコーディング指定はモジュールdocstringの前に書く。
<pre>
#!/usr/bin/env python
# *_* coding: utf-8 *_*

'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

モジュールdocstringは<pre>__doc__</pre>で参照できる。

== build-in ==
=== print ===
==== 改行無しで表示 ====
<pre>
print('hogefuga', end='')
</pre>

Python tips

2020-11-19T11:42:46Z

Kttn: /* 引数個数の指定 */

== argparse ==
https://docs.python.org/release/3.8.2/library/argparse.html
=== インスタンス化 ===
モジュールdocstring書いといてそれをdescriptionにすると良さげ
<pre>
parser = argparse.ArgumentParser(description=__doc__)
</pre>

=== オプション名の書き方と格納先変数名 ===
https://docs.python.org/release/3.8.2/library/argparse.html#dest

=== 引数個数の指定 ===
https://docs.python.org/release/3.8.2/library/argparse.html#nargs

==== 一つ以上のキーワード引数 ====
<pre>
parser.add_argument('--hoge', nargs='+', help='Hoge files')
</pre>
パース結果はリストに格納される。

=== ヘルプメッセージにデフォルト値を表示する ===
https://docs.python.org/release/3.8.2/library/argparse.html#argparse.ArgumentDefaultsHelpFormatter
<pre>
parser = argparse.ArgumentParser(formatter_class=argparse.ArgumentDefaultsHelpFormatter)
</pre>

=== 具体例1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)
parser.add_argument('--Z_file', type=str, required=True, help='Pickled file of latent variables.')
parser.add_argument('--k_init', type=int, default=2, help='Initial number of clusters in X-Means')
parser.add_argument('--k_max', type=int, default=20, help='Max number of clusters in X-Means')
parser.add_argument('--criterion', type=str, default='bic', choices=['bic', 'mndl'], help='Splitting criterion. bic: bayesian information criterion, mndl: minimum noiseless description length.')
parser.add_argument('--random_state', type=int, default=None, help='Random seed for X-Means initialization (K-Means++)')
parser.add_argument('--no_ccore', action='store_true', help='Use python implementation of PyClustering library, instead of C++.')
parser.add_argument('--outdir', required=True, help='Output directory.')
parser.add_argument('--input_star', type=str, required=True, help='Input star file.')
parser.add_argument('--output_star_rootname', type=str, default='cluster', help='Output file rootname for each cluster\'s star file.')
parser.add_argument('--output_model', type=str, default='xmeans_model.pkl', help='Output X-Means model file name (pickled).')

args = parser.parse_args()

logger.info('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
return args
</pre>

== logging ==
https://docs.python.org/release/3.8.2/library/logging.html
=== ロガー生成スニペット ===
<pre>
logging_fmt = logging.Formatter(
'\n[%(asctime)s - %(name)s - %(levelname)s] %(message)s')
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(logging_fmt)
logger.addHandler(stream_handler)

def set_logger(log_file, is_debug):
if log_file is not None:
log_file_dir = os.path.dirname(log_file)
if log_file_dir:
if not os.path.exists(log_file_dir):
logger.debug('Creating log file directory...')
os.makedirs(log_file_dir)
elif not os.path.isdir(log_file_dir):
logger.error('{} is not a directory.'.format(log_file_dir))
sys.exit(1)
file_handler = logging.FileHandler(log_file, mode='w')
file_handler.setFormatter(logging_fmt)
logger.addHandler(file_handler)

if not is_debug:
logger.setLevel(logging.INFO)
</pre>

== serialize ==
=== pickle ===
==== 保存 ====
<pre>
pickle.dump(\
object_to_be_serialized,
open(outfile, 'wb'),
protocol=4)
</pre>

==== 読み込み ====
<pre>
with open(pickled_file, 'rb') as f:
pickled_content = pickle.load(f)
</pre>

== subprocess ==
=== run - 同期型 ===
<pre>
ret = subprocess.run("シェルコマンド", text=True, shell=True, capture_output=True)
</pre>

投げたシェルコマンドが終わるまで呼び出し側コードはブロックされる。

retが持つ属性は ret.args, ret.returncode, ret.stdout, ret.stderr。

=== Popen - 非同期型 ===
* 参考
** https://qiita.com/HidKamiya/items/e192a55371a2961ca8a4
** https://qiita.com/megmogmog1965/items/5f95b35539ed6b3cfa17
<pre>
p = subprocess.Popen("シェルコマンド", shell=True, text=True, stderr=subprocess.STDOUT, stdout=subprocess.PIPE)
</pre>

Popenはコマンド投げっぱなしで、呼び出し側コードは遠慮なく先へ進む。

処理の終了 (p.poll() is not None)を待ちつつ、出力をリアルタイム表示するには、例えば以下の様にする。
<pre>
while True:
if p.poll() is not None:
break
line = p.stdout.readline()
if line is not None:
print(line, end='')
</pre>

== datetime ==
* datetimeはモジュール名、datetime.datetimeはdatetimeモジュールのdatetimeクラス
=== タイムスタンプ文字列生成 ===
20201119-093428 などのフォーマットで年月日-時刻の文字列を生成するには、
<pre>
import datetime
datetime.datetime.now().strftime('%Y%m%d-%H%M%S')
</pre>
nowはクラスメソッドで、現在時刻を持ったインスタンスを生成する。

== docstring ==
=== モジュールdocstring ===
ファイルの先頭にそのモジュールの説明を書けばよい。
<pre>
'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

シェバン行やエンコーディング指定はモジュールdocstringの前に書く。
<pre>
#!/usr/bin/env python
# *_* coding: utf-8 *_*

'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

モジュールdocstringは<pre>__doc__</pre>で参照できる。

== build-in ==
=== print ===
==== 改行無しで表示 ====
<pre>
print('hogefuga', end='')
</pre>

Python tips

2020-11-19T11:39:28Z

Kttn:

== argparse ==
https://docs.python.org/release/3.8.2/library/argparse.html
=== インスタンス化 ===
モジュールdocstring書いといてそれをdescriptionにすると良さげ
<pre>
parser = argparse.ArgumentParser(description=__doc__)
</pre>

=== オプション名の書き方と格納先変数名 ===
https://docs.python.org/release/3.8.2/library/argparse.html#dest

=== 引数個数の指定 ===
https://docs.python.org/release/3.8.2/library/argparse.html#nargs

=== ヘルプメッセージにデフォルト値を表示する ===
https://docs.python.org/release/3.8.2/library/argparse.html#argparse.ArgumentDefaultsHelpFormatter
<pre>
parser = argparse.ArgumentParser(formatter_class=argparse.ArgumentDefaultsHelpFormatter)
</pre>

=== 具体例1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)
parser.add_argument('--Z_file', type=str, required=True, help='Pickled file of latent variables.')
parser.add_argument('--k_init', type=int, default=2, help='Initial number of clusters in X-Means')
parser.add_argument('--k_max', type=int, default=20, help='Max number of clusters in X-Means')
parser.add_argument('--criterion', type=str, default='bic', choices=['bic', 'mndl'], help='Splitting criterion. bic: bayesian information criterion, mndl: minimum noiseless description length.')
parser.add_argument('--random_state', type=int, default=None, help='Random seed for X-Means initialization (K-Means++)')
parser.add_argument('--no_ccore', action='store_true', help='Use python implementation of PyClustering library, instead of C++.')
parser.add_argument('--outdir', required=True, help='Output directory.')
parser.add_argument('--input_star', type=str, required=True, help='Input star file.')
parser.add_argument('--output_star_rootname', type=str, default='cluster', help='Output file rootname for each cluster\'s star file.')
parser.add_argument('--output_model', type=str, default='xmeans_model.pkl', help='Output X-Means model file name (pickled).')

args = parser.parse_args()

logger.info('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
return args
</pre>

== logging ==
https://docs.python.org/release/3.8.2/library/logging.html
=== ロガー生成スニペット ===
<pre>
logging_fmt = logging.Formatter(
'\n[%(asctime)s - %(name)s - %(levelname)s] %(message)s')
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(logging_fmt)
logger.addHandler(stream_handler)

def set_logger(log_file, is_debug):
if log_file is not None:
log_file_dir = os.path.dirname(log_file)
if log_file_dir:
if not os.path.exists(log_file_dir):
logger.debug('Creating log file directory...')
os.makedirs(log_file_dir)
elif not os.path.isdir(log_file_dir):
logger.error('{} is not a directory.'.format(log_file_dir))
sys.exit(1)
file_handler = logging.FileHandler(log_file, mode='w')
file_handler.setFormatter(logging_fmt)
logger.addHandler(file_handler)

if not is_debug:
logger.setLevel(logging.INFO)
</pre>

== serialize ==
=== pickle ===
==== 保存 ====
<pre>
pickle.dump(\
object_to_be_serialized,
open(outfile, 'wb'),
protocol=4)
</pre>

==== 読み込み ====
<pre>
with open(pickled_file, 'rb') as f:
pickled_content = pickle.load(f)
</pre>

== subprocess ==
=== run - 同期型 ===
<pre>
ret = subprocess.run("シェルコマンド", text=True, shell=True, capture_output=True)
</pre>

投げたシェルコマンドが終わるまで呼び出し側コードはブロックされる。

retが持つ属性は ret.args, ret.returncode, ret.stdout, ret.stderr。

=== Popen - 非同期型 ===
* 参考
** https://qiita.com/HidKamiya/items/e192a55371a2961ca8a4
** https://qiita.com/megmogmog1965/items/5f95b35539ed6b3cfa17
<pre>
p = subprocess.Popen("シェルコマンド", shell=True, text=True, stderr=subprocess.STDOUT, stdout=subprocess.PIPE)
</pre>

Popenはコマンド投げっぱなしで、呼び出し側コードは遠慮なく先へ進む。

処理の終了 (p.poll() is not None)を待ちつつ、出力をリアルタイム表示するには、例えば以下の様にする。
<pre>
while True:
if p.poll() is not None:
break
line = p.stdout.readline()
if line is not None:
print(line, end='')
</pre>

== datetime ==
* datetimeはモジュール名、datetime.datetimeはdatetimeモジュールのdatetimeクラス
=== タイムスタンプ文字列生成 ===
20201119-093428 などのフォーマットで年月日-時刻の文字列を生成するには、
<pre>
import datetime
datetime.datetime.now().strftime('%Y%m%d-%H%M%S')
</pre>
nowはクラスメソッドで、現在時刻を持ったインスタンスを生成する。

== docstring ==
=== モジュールdocstring ===
ファイルの先頭にそのモジュールの説明を書けばよい。
<pre>
'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

シェバン行やエンコーディング指定はモジュールdocstringの前に書く。
<pre>
#!/usr/bin/env python
# *_* coding: utf-8 *_*

'''Hoge fuga module

This module is for hoge fuga piyo!'''
</pre>

モジュールdocstringは<pre>__doc__</pre>で参照できる。

== build-in ==
=== print ===
==== 改行無しで表示 ====
<pre>
print('hogefuga', end='')
</pre>

Git

2020-11-19T10:46:55Z

Kttn: ページの作成:「== ユーザー名とemailの登録 == <pre> git config --global user.name "ユーザー名" git config --global user.email メールアドレス </pre>」

== ユーザー名とemailの登録 ==
<pre>
git config --global user.name "ユーザー名"
git config --global user.email メールアドレス
</pre>

メインページ

2020-11-19T10:43:46Z

Kttn: /* Git] */

== '''Eospediaにようこそ''' ==

2010年11月05日に、研究室内にEospediaクローズドβ版の運営を開始しました。 
2012年８月に、こちらが電子顕微鏡画像処理システムEosのホームページの本家となるように、オープンにしました。 
 
[[Eos]]のコマンド説明やその中のアルゴリズムについてなど、幅広い知識を集約できればと思います。また、2012年より開発を開始した[[PIONE]]、2013年度より開発を開始した[[VEM/WITs]]についても同様にこちらでまとめていきます。 
それに加えて、電子顕微鏡画像処理を含む、各種画像処理の基本を学ぶことができるサイトとして運営したいと考えています。 
 
[[Eos]]は、[https://sourceforge.jp/projects/eos/ Eos@sourceforge]上で、[[PIONE]]は、[https://github.com/pione PIONE@github]で開発を進めています。それらをまとめた情報はこちらで展開したいと思います。将来は、大学から離れた方が良いかと考えています。それぞれ開発や利用に興味があるかたはそれぞれのサイトも覗いてみて下さい。 
 
wikiは「間違いをいかに防ぐか」ではなく、「いかに修正するか」が哲学ですので、
間違いを恐れず(もちろんデタラメは論外)皆さんの知識とノウハウを自由に書いて頂ければ幸いです。 
 
只今ホームページに公開していたEosマニュアル(日本語版も含む)の転載作業を進めています。 
 
ちなみに、[http://www.yasunaga-lab.bio.kyutech.ac.jp/Eos/ 英語版]もあります。現在は、日本語版のほうが充実しています。 
 
また、Eosに関しては、[http://sourceforge.jp/projects/eos/lists/ メーリングリスト]及び[http://sourceforge.jp/projects/eos/forums/ フォーラム]があります。 
Eosの使い方を知りたい方は：eos-users@ 
Eosでの開発にご興味のある方は：eos-developers@ 
Eosのドキュメント作成のお手伝いを頂ける方は：eos-document@ 
にて、是非ともご協力下さい。 
 
また、facebook上で、Eos User Group[https://www.facebook.com/EosUserGroup]を開設しました。こちらからも発信していくことにします。 
 
詳細は,安永[mailto:yasunaga@bio.kyutech.ac.jp]までご連絡下さい。 
 

== 開発しているシステムの全体像（Eos/PIONE/Zephyr & WITs/VEM) ==
　現在、電子顕微鏡画像取得・処理・分析のための一連のワークフロー全体を総括するソリューションとして、Eos/PIONE/Zephyr & WITs/VEMとよぶシステムを作っています。システム全体の名前もつけたほうがよい位、Systems of System といった様相になってきています。個々に、当該システムの概要とその目指す姿をまとめておきたいと思います。

　下記のページにまとめておきます。
[[Eos/PIONE/Zephyr/WITs/VEM システム]]

== '''Eosビギナーズガイド''' ==

=== [[Eos|Eosとは？]] ===
　Eosとはなにかについて述べます。
=== [[コマンド|Eosのコマンドとは？]] ===
　Eosにおけるコマンドについて述べます。
=== [[Makefile|Eosはどうやって使うの？]] ===
　Eosにおける[[make]]を用いたコマンドの統合方法について述べます。
=== [[コマンド一覧|Eosのコマンド一覧表]] ===
　Eosが提供するコマンドの一覧を示します。
=== [[機能別コマンド一覧|Eosの機能別コマンド一覧表]] ===
　Eosが提供するコマンドの機能別一覧を示します。

== Eos/PIONEのインストール方法 ==
===[[必要な環境|Eosの必要な環境]]===

=== [[ダウンロード|Eosのダウンロード(インストール方法)]] ===
　Eosのダウンロード方法について述べます。利用するだけであれば、ダウンロードだけで利用することができます。共同開発を進めたい方、機能の要望がある方は、現在、EosはOSDN(旧：SourceForge)にて開発を進めています。是非、ご一緒して下さい。

=== [[インストール方法|Eosのインストール方法（開発・再構築）]] ===
　Eosのインストール方法について述べます。ここでは、ダウンロードしたファイルから再構築する方法や自分自身が開発したソースコードを運用する方法を述べています。

=== [[PIONEのインストール方法]]===
　makeに替わる分散プロセス処理プラットフォーム(PIONE)のインストール方法を示します。現在、PIONEはgithubにて開発を進めています。

== '''Eosリファレンス''' ==

=== [[統合コマンド|Eosの提供する統合コマンド]] ===
　Eosが提供する統合コマンドについて述べます。

=== 統合コマンド：[[PIONE]]===
　Eosが分散環境、クラウド環境に対応した統合環境として提供するPIONEについて述べます。インストールに関しては[[PIONEのインストール]]を、ブラウザ操作に関しては[[PIONEの起動方法]]や[[PIONE Webclientチュートリアル]]を、[[PIONE定義書]]の作り方や実行方法については[[PIONEチュートリアル]]や[[PIONEチュートリアル-PNML]]を、ログの確認方法は[[PIONEチュートリアル-XES]]を、パッケージの作り方は[[PIONEチュートリアル-package]]を、コマンドの一覧は[[PIONEコマンド一覧]]または[[機能別PIONEコマンド一覧]]を、メソッドの一覧などは[[PIONEの式]]を、その他TIPSなどは[[PIONEのTIPS]]をご覧下さい。 
 

=== 電子顕微鏡制御統合環境(WITs/VEM) ===

==== 相関顕微鏡のためのシステム ====
　同一視野の撮影のためのシステムの提供を進めています．[[SerialEM]]に対応する環境として，電子顕微鏡を仮想化するための[[VEM]]，および，[[VEM]]と通信して，電子顕微鏡を制御するための[[WITs]]というシステムに大きく分けて開発を進めています．

下記に[[WITs]]としてのアプリケーションのリストを示します．

[[WITs-CLEM]]: 相関顕微鏡向けのシステムになります．

== '''Eos チュートリアル'''　==
=== 環境の設定　===
最初にEosのインストール方法を簡単に説明します。詳細は、[[インストール方法|Eosのインストール方法の詳細]]をご覧下さい。

* [[Eosのインストール|Eosのインストール方法]]

=== Eosでのコマンドの取り扱い　===
Eosのコマンドの簡単な使い方を説明します。詳細は、[[コマンド|コマンドの詳細]]をご覧下さい。Eosでは、基本はCUIを使ったコマンドの実行により画像処理を進めます。その結果は、ファイルとして保存され、その内容を確認することが出来ます。

* [[Eosのコマンド|Eosのコマンド]]

=== Eosでの画像の取り扱い　===
Eosで取り扱うことのできる[[画像フォーマット]]と一般的な画像フォーマットからの変換方法を示します。
* [[画像フォーマット|画像フォーマット]]
* [[画像フォーマット変換|画像フォーマットの変換]]

=== Eosを使った簡単な画像処理　===
Eosを使った簡単な画像処理を実行してもらいます。
* [[簡単な画像処理|簡単な２次元画像処理]]

=== [[チュートリアル一覧]] ===
ここには、[[Small Tools]]や様々な[[画像処理]]で使用する[[Makefile]]や[[PIONE]]の一覧があります。

=== CTF画像補正　===
電子顕微鏡画像では、その撮影方法に由来して、コントラストが大きく変調を受けています。ここでは、その画像のコントラストの変調を補正する方法を示します。
* [[CTF補正|CTFの補正]]

=== 単粒子解析の基礎　===
　ここでは、単粒子解析の基礎を行います。実際の単粒子解析は、粒子の形やその対称性などを使って探索方法や3次元再構成法を切り替えることができます。

==== [[単粒子解析]]の概要 ====
　単粒子解析の概要を示します。

==== [[粒子抽出|粒子の抽出]] ====
　まず、単粒子を抽出します。ここでは、手動で切り出す方法を示します。自動で切り出す方法も各種提案されています。

==== [[２次元画像の分類|２次元画像の分類]] ====
　２次元画像を分類して、ＳＮ比を上げます。

==== [[参照付投影角度決定|参照像があるときの投影角の決定方法]] ====
　参照像があるときの投影角の決定方法を説明します。参照像としては、単なる球や楕円体などとすることもあり得ます。参照像がない場合の構造解析法も別途存在しています。

==== [[参照無投影角度決定|参照像がないときの投影角の決定方法]] ====
　参照画像がないときの投影角の決定方法を示しています。[[コモンライン]]をもちいた[[コモンライン探索]]という方法が一般的です。ただノイズに弱く問題が生じる場合があります。

==== [[３次元再構成・逆投影|３次元再構成・逆投影法]] ====
　3次元再構成自身を解説します。

==== [[らせん対称をもつ粒子の３次元再構成法]]====
　アクチンフィラメントなどのらせん対称性をもつ場合のEosでの解析法を紹介します。

==== [[可視化ツール|可視化ツール]] ====
　できあがった三次元像を可視化するためのツールを紹介します。

====参考資料 ====

===== [[RELION]] =====
　単粒子解析法のデファクトスタンダードになりつつある[[RELION]]について、解説を準備することにしました。
少しずつ整理していきます。

===== [[Gautomatch]] =====
　粒子抽出のためのプログラムのひとつです。

===== [[cryoDRGN]] =====
　深層ニューラルネットワークを用いた単粒子3D再構成プログラム[[cryoDRGN]]に関するページです。

===== [[Topaz]] =====
　深層ニューラルネットワークを用いた単粒子ピッキングプログラム[[Topaz]]に関するページです。

===== [[cryoSPARC]] =====
　優れたUIを持った単粒子解析パッケージ[[cryoSPARC]]に関するページです。

==== 備考 ====
　上記のチュートリアル・ページは、2012/09/10-11 単粒子解析Workshopでの資料を元に作成したものです。
今後もこのサイトを充実させ、ワークショップ等で利用していきたいと考えています。

=== [[電子線トモグラフィー]] ===
　電子線トモグラフィーとは、同一視野の連続傾斜像から、その視野の３次元画像を再構成する方法です。細胞内の構造や構造多型性をもつタンパク質の構造解析に有効な方法です。

==== [[電子線トモグラフィー]]の概要 ====
　電子線トモグラフィー法は、同一視野の傾斜シリーズ画像のセットから３次元像を再構成する方法です。ここではその概要を述べます。

==== [[画像の補正]] ====
　傾斜画像では、視野全体がアンダーフォーカスとなるように、通常の電子顕微鏡撮影よりも大きなデフォカース値をとる場合が多いです。その場合、LaB6などの電子銃では第一トーンリングより外側の情報がほとんど無いために、CTF補正等は必要ありませんが、電界放出銃を利用した場合には、場合によっては間違った情報を与える場合があるので注意が必要です。

==== [[ラフ・アラインメント]] ====
　傾斜画像の中心付近の画像の相関から、それぞれの傾斜画像の大まかな位置を合わせます。

==== [[ファイン・アラインメント]] ====
　傾斜画像の軸の位置、角度を出来る限り一致させます。

==== [[３次元再構成]] ====
　２次元画像のセットから３次元画像を再構成します。

==== [[電子線トモグラフィー画像のもつ問題点]] ====
　全方位からの投影像を得られないために、ミッシングエリアとよばれる情報がない領域があります。そのため、方向依存でのボケを生じます。

==== [[トモグラム画像の解釈]] ====
　多様な構造を含むため、３次元画像から興味あるセグメントを切り出すなどの作業が必要です。そのための支援ソフトウェアが必要です。

==== [[サブトモグラム画像の平均化]] ====
　クライオ電子顕微鏡画像からトモグラム画像はノイズが多いため、同等の構造をしたものを平均化する必要があります。

==== 参考資料 ====
===== [[IMOD/ETomo]]の使い方=====
　[[IMOD/ETomo]]は、電子線トモグラフィー法やシリアルセクションなどで使われる、デファクトスタンダードともいえる3次元再構成プログラムです。

====== [[eTomoチュートリアル]] ======
　eTomoのチュートリアルを示しています。

=== 連続２次元画像からの３次元再構成 ===
　連続切片(Serial Section）や、連続ブロック表面(Serial Block Face)からの３次元再構成のための手順を示したものです。

==== [[SBF-SEMからの３次元再構成]] ====

== Eosにおける開発（開発者向け） ==

　Eosのもうひとつのウリは迅速なプログラムの開発です。その手法について下記に述べます。

=== [[Eosの構造|Eosの構造]] ===
　Eosの構造(Architecture）について述べます。

=== [[Eosの開発|Eosの開発]]===
　SourceForgeからクローンを作成し、localで新規ツールなどを開発した後、SourceForgeに登録するまでの流れを示します。

=== [[Eosの開発におけるTIPS]] ===
　Eos上で開発する際のTIPSをまとめています。

=== [[ツールの開発]] ===
==== [[ツールの作り方]] ====
　Eosの上での[[Small Tools]]([[コマンド群]])の作り方について述べます。

==== [[簡単なプログラム例]] ====
　Eosの上での[[Small Tools]]([[コマンド群]])の簡単なプログラム例について述べます。

=== [[ライブラリ（API）の作り方]]===
　Eosの上での[[オブジェクト指向型ライブラリ]]（[[API]]）の作り方について述べます。

=== [[ライブラリ(API)一覧]]===
　Eosの上での[[オブジェクト指向型ライブラリ]]（[[API]]）の一覧です。

=== [[機能別ライブラリ(API)一覧]]===
　Eosの上での機能別に分類された[[オブジェクト指向型ライブラリ]]（[[API]]）の一覧です。

並列処理のためのライブラリ
*[[eosCuda]]: CUDA を使うためのライブラリ
*[[eosPThread]]: pthread を使うためのライブラリ

=== [[統合コマンドの作り方]]===
　統合コマンドの作り方を示します。

==== [[Makefileによる統合]] ====
　[[Makefile]]を用いた統合方法について示します。[[Visualmake]]は自動的に簡易型のGUIを提供します。

==== [[PIONEによる統合]] ====
　分散環境（クラウド環境）に対応したプロセス定義書[[PIONE]]を用いた統合方法について示します。

==== [[PIONEチュートリアル]] ====
　[[PIONE]]の使い方を示したチュートリアルです。

==== [[PIONEチュートリアル-PNML]]====
　[[PNML]]を用いたPIONE定義書の設計方法を示しています．

==== [[PIONEチュートリアル-XES]]====
　ログファイルを[[XES]]形式に変換し、[[ProM]]を利用して処理結果を確認する方法を示しています。

==== [[PIONEチュートリアル-package]]====
　[[PIONE定義書]]などをひとつにまとめたパッケージを作成する方法を示しています。

==== [[bashによる統合]] ====
　bashなどのスクリプト言語による統合方法について示します。

==== [[統合コマンドによる統合]] ====
　[[Display2]], [[smolet]], [[Eos]]などのTcl/Tk型の統合コマンドによる統合, [[ctfDisplay]]等のRuby型の統合コマンドによる統合，[[molvie]]などのＣ言語型の統合コマンドによる統合、などの各種方法について示します。

=== [[並列処理による高速化]] ===
　Eosでは、makeを使った単一ホストでのプロセスレベルでの並列処理、PIONEを使った分散環境におけるプロセスレベルの並列処理に加えて、pthread/GPGPUを用いたthreadレベルでの高速化も試行しています。すべてのコードが対応している訳ではありませんが、随時、対応を進めています。

===== [[eosPThread]] =====

===== [[eosCuda]] =====

=== [[よく使うシェルコマンド]] ===
　ここでは[[コマンド]]、[[Makefile]]、[[PIONE]]などの作成や実行においてよく使うシェルコマンドを簡易的にリストアップしています。

== [[画像処理]] ==
=== [[画像処理一般]] ===
　ここでは画像処理一般に関する話をまとめています。

==== [[簡単な画像処理]]====
　Eosを使った簡単な画像処理に関するチュートリアルが掲載されています。

==== [[画像の入力]]と[[レンズ]] ====
　コンピュータを使って画像処理を行う前に、画像がデジタル化される入力装置のことを気にしておく必要があります。

==== [[CTF]],[[PSF]]と[[MTF]]====
　真に得たい画像をf(x,y)で表現した場合に、[[画像の入力]]方法や[[レンズ]]の性能などによりどうしても画像が劣化します。

==== [[標本化]] ====
　アナログ画像をデジタル画像にするためには、空間を刻み、離散化することが重要です。このステップを標本化といいます。

==== [[量子化]] ====
　デジタル画像処理では、アナログである濃度値（光学密度）をあるビット数内で表現する量子化（ＡＤ変換）という操作が最初に必要です。

==== [[ノイズ除去]] ====
　ノイズが非常に多い画像を取り扱うためには、ノイズの性質をよく知ることが重要です。

===== [[平滑化]] =====
　画像のもつノイズを取り除くことを主たる目的として実施する画像処理方法です。ノイズの性質をよく理解することで、適切なノイズ除去が可能になります。

==== [[エッジ検出]] ====
　対象物の形を理解するために重要なステップですが、とても難しいステップでもあります。

==== [[２値画像処理]] ====
　シグナルと背景の切り分けや、代表点や骨格の抽出など、画像処理や解析のスタートとなる処理方法です。

==== [[フーリエ空間]]を利用した画像処理 ====

==== 実空間の[[カーネル]]を用いた画像処理 ====

==== [[マスマティカル・モルフォロジー]]を使った画像処理 ====

=== [[電子顕微鏡画像処理]] ===
　電子顕微鏡画像処理に関する話をまとめています。

==== [[モンタージュ]]、[[パノラマ]]画像 ====
　異なる領域を撮影した複数の画像（ただし、その一部は重なっている画像のセット）を組み合わせて、広領域の画像をつくる方法です。

==== [[CTF補正]] ====
　電子顕微鏡の画像は、原理的に、画像変調を受けています。その画像変調を補正する為の画像処理です。

==== [[３次元画像の位置合わせ]] ====
　３次元画像同士を平均し、雑音をとるための手法です。

==== [[シリアル画像の位置合わせ]] ====
　連続切片の画像同士の位置を合わせることで、三次元像を再構成する手法です。

=== [[３次元再構成法]] ===
　３次元再構成法とは、２次元の画像から３次元の画像を再構成する技術です

==== [[中央断面定理]]====
　投影像からなぜ、内部の構造がわかるのか、それを支えているのがこの中央断面定理です．

==== [[フーリエ法]]====
==== [[逆投影法]]====
==== [[SIRT]]====

== [[3Dモデル関連]] ==
=== [[chimera]] ===
　ボリュームデータやＰＤＢデータなどを可視化表示するためのソフトウェアです。
=== [[chimerax]] ===
=== [[vmd]] ===
=== [[NAMD]] ===

== [[電子顕微鏡制御]] ==
　電子顕微鏡制御のためのソフトウェアを開発しています。[[VEM]]は、仮想電子顕微鏡として各種の電子顕微鏡のコマンドを統一するためのシステムです。[[WITs]]は、VEMを通して電子顕微鏡を操作するためのUI(User Interface)です。

=== [[FEIの制御]]===

== [[電子顕微鏡]] ==
　ここでは電子顕微鏡に関する基礎、FAQ、TIPSをまとめておきます。

=== [[電子銃]]===
　電子顕微鏡の電子線源である電子銃についての解説です。

=== [[電子レンズ]]===
　透過電子顕微鏡の光学系、及び、レンズの仕組みに関する解説です。

=== [[透過型電子顕微鏡のコントラスト]]===
　透過型電子顕微鏡(TEM)がつくるコントラストに関する解説です。

=== [[走査型透過電子顕微鏡のコントラスト]]===
　走査型透過電子顕微鏡(STEM)がつくるコントラストに関する解説です。

=== [[走査型電子顕微鏡のコントラスト]] ===
　走査型電子顕微鏡(SEM)がつくるコントラストに関する解説です。

=== [[クライオ電子顕微鏡法]] ===
　クライオ電子顕微鏡法に関する解説です。

=== [[電子顕微鏡のFAQ]] ===
　電子顕微鏡に関するよくある質問に対する回答です。

=== [[電子顕微鏡のTIPS]] ===
　電子顕微鏡を利用する際などのTIPSをまとめることにしました。

== [[ロードマップ|Eosの今後の発展（ロードマップ）について]] ==
　Eosの今後の開発方針([[ロードマップ]])について述べます。

=== [[ロードマップ]] ===
　現在、開発はOSDNのチケットシステムを利用しており、チケット駆動型開発になっています。チケットの粒度はさまざまで、現在、いろいろと試しながら、開発環境を構築しています。

=== [[CUDA]]への対応 ===
　[[EosのCUDAへの対応状況]]を述べます。
　

== FAQ and TIPS ==
=== [[FAQ]] ===
　よくある質問をまとめました。まだまだ不十分ですが、少しずつ増やしていきたいと思います。

=== [[EosのTIPS]] ===
　よくある画像処理法をまとめてました。まだまだ不十分ですが、少しずつ増やしていきたいと思います。

=== [[Eos関連ソフトウェアのTIPS]] ===
　Eosに関連するソフトウェアの使い方をまとめています。

=== [[LINUXに関連したソフトウェアのTIPS]] ===

=== [[OSXに関連したソフトウェアのTIPS]] ===
　ＯＳＸで利用されているソフトウェアについてまとめています。

== 開発にかける思い ==
　開発当時と比べても非常に多くのソフトウェアが開発され、利用されている。その中で、継続的に開発していく意味はどこにあるのだろうか。[[開発にかける思いByYasunaga]]を少しずつ書き綴っていこう。

== Eos User Group ==
　Eosを利用する上での情報共有の場を、仮にFacebookの上に作りました。参加されたい方は、facebook上で登録をお願いします。

== '''イメージイラストについて''' ==

現在、Eospediaのイメージイラストを募集中です。
我こそはという方はEospedia管理者まで御連絡下さい。

Eospedia(WIKI)の使い方・設定に関しては、[http://meta.wikimedia.org/wiki/Main_Page ユーザーズガイド]を参照して下さい。

== Eos関連ツール及びサイト ==
=== 開発言語 ===
*[[C]]
*[[C++]]
*[[Ruby]]
*[[Tcl]]
*[[Tk]]

=== ワークフロー関係(PIONE) ===
==== ペトリネット ====
*[[PNML]]
*[[WoPeD]]
==== アクション記述 ====
*[[Markdown]]

==== ログファイル ====
*[[XES]]:ログファイル形式
*[[ProM]]:可視化のためのツール

=== ドキュメント作成ツール ===
*[[Pandoc]]
*[[html]]
*[[mediawiki]]
*[[Eospediaの編集で使用しているツール]]

== エディタ、統合開発環境 ==
=== [[Visual Studio Code]] ===
Microsoft主導でオープンソース開発が進められている、クロスプラットフォーム(Windows/macOS/Linux)のプログラミングエディタです。

=== [[Vim]] ===
言わずと知れた著名なテキストエディタです。非常にとっつきにくいですが、慣れると捗ります。

== その他 ==
=== [[クライオ電顕備忘録]] ===
　クライオ電顕関連の備忘録です。まとまり次第他の項目に順次移したりします。

=== [[MicroED]] ===
MicroED(Micro crystal Electron Diffraction:微結晶電子線回折)に関する情報を書き残していきます。

=== [[リモートワーク推進]] ===
リモートワーク推進のためのツール関連について書き残していきます。

=== [[Python]] ===
Python関係について書き残していきます。

=== [[Linux関連]] ===
Linux関連について書き残していきます。

=== [[EMAN2関連]] ===
EMAN2関連について書き残していきます。

=== [[Moodle関連]] ===
Moodle関連について整理しています。

=== [[計算機利用ことはじめ]] ===
研究室で初めて計算機を使う方へ向けたお役立ち情報を書いていきます。

=== [[単粒子解析ことはじめ]] ===
研究室で初めて単粒子解析をする方へ向けたお役立ち情報。

=== [[クライオ電顕ことはじめ]] ===
研究室でクライオ電顕観察に挑戦する方へ向けて。

=== [[Docker関連]] ===
Dockerを利用して研究、開発の環境を構築する方法を書いていきます。

=== [[EMPIAR]] ===
電顕画像データベースである[[EMPIAR]]について

=== [[XML Schema]] ===
XMLのデータ構造を定義するための言語であるXML Schema(スキーマ)について

=== [[Git]] ===

=== [[研究お役立ちツール]] ===
研究活動をするうえで役に立つと思ったツールを書いておきましょう。

== 外部リンク ==
=== Eos関連サイト===

* [http://www.yasunaga-lab.bio.kyutech.ac.jp/EosJ/ Eospedia.jp]
* [http://www.yasunaga-lab.bio.kyutech.ac.jp/Eos/ Eospedia.en]
* [http://sourceforge.jp/projects/eos/ Eos SourceForge]

=== 電子顕微鏡画像処理関連サイト ===
*[https://www.imagescience.de/em2em.html em2em]:汎用画像フォーマット変換ツール
* [http://en.wikibooks.org/wiki/Software_Tools_For_Molecular_Microscopy Software Tools For Molecular Microscopy]
* [http://emdatabank.org/emsoftware.html EM Software on EMDataBank]

=== 所属関連サイト ===
* [http://www.yasunaga-lab.bio.kyutech.ac.jp/ 安永研究室]
* [http://www.bio.kyutech.ac.jp/ 生命情報工学科]
* [http://www.iizuka.kyutech.ac.jp/ 情報工学部／情報工学府]
* [http://www.kyutech.ac.jp/ 九州工業大学]

== メディアウィキの始め方 ==
* [[testpage]] : メディアウィキのテスト頁
* [http://www.mediawiki.org/wiki/Manual:Configuration_settings/ja 設定一覧]
* [http://www.mediawiki.org/wiki/Manual:FAQ/ja MediaWiki FAQ]
* [https://lists.wikimedia.org/mailman/listinfo/mediawiki-announce MediaWiki リリース情報メーリングリスト]

メインページ

2020-11-19T10:43:37Z

Kttn: /* その他 */

== '''Eospediaにようこそ''' ==

2010年11月05日に、研究室内にEospediaクローズドβ版の運営を開始しました。 
2012年８月に、こちらが電子顕微鏡画像処理システムEosのホームページの本家となるように、オープンにしました。 
 
[[Eos]]のコマンド説明やその中のアルゴリズムについてなど、幅広い知識を集約できればと思います。また、2012年より開発を開始した[[PIONE]]、2013年度より開発を開始した[[VEM/WITs]]についても同様にこちらでまとめていきます。 
それに加えて、電子顕微鏡画像処理を含む、各種画像処理の基本を学ぶことができるサイトとして運営したいと考えています。 
 
[[Eos]]は、[https://sourceforge.jp/projects/eos/ Eos@sourceforge]上で、[[PIONE]]は、[https://github.com/pione PIONE@github]で開発を進めています。それらをまとめた情報はこちらで展開したいと思います。将来は、大学から離れた方が良いかと考えています。それぞれ開発や利用に興味があるかたはそれぞれのサイトも覗いてみて下さい。 
 
wikiは「間違いをいかに防ぐか」ではなく、「いかに修正するか」が哲学ですので、
間違いを恐れず(もちろんデタラメは論外)皆さんの知識とノウハウを自由に書いて頂ければ幸いです。 
 
只今ホームページに公開していたEosマニュアル(日本語版も含む)の転載作業を進めています。 
 
ちなみに、[http://www.yasunaga-lab.bio.kyutech.ac.jp/Eos/ 英語版]もあります。現在は、日本語版のほうが充実しています。 
 
また、Eosに関しては、[http://sourceforge.jp/projects/eos/lists/ メーリングリスト]及び[http://sourceforge.jp/projects/eos/forums/ フォーラム]があります。 
Eosの使い方を知りたい方は：eos-users@ 
Eosでの開発にご興味のある方は：eos-developers@ 
Eosのドキュメント作成のお手伝いを頂ける方は：eos-document@ 
にて、是非ともご協力下さい。 
 
また、facebook上で、Eos User Group[https://www.facebook.com/EosUserGroup]を開設しました。こちらからも発信していくことにします。 
 
詳細は,安永[mailto:yasunaga@bio.kyutech.ac.jp]までご連絡下さい。 
 

== 開発しているシステムの全体像（Eos/PIONE/Zephyr & WITs/VEM) ==
　現在、電子顕微鏡画像取得・処理・分析のための一連のワークフロー全体を総括するソリューションとして、Eos/PIONE/Zephyr & WITs/VEMとよぶシステムを作っています。システム全体の名前もつけたほうがよい位、Systems of System といった様相になってきています。個々に、当該システムの概要とその目指す姿をまとめておきたいと思います。

　下記のページにまとめておきます。
[[Eos/PIONE/Zephyr/WITs/VEM システム]]

== '''Eosビギナーズガイド''' ==

=== [[Eos|Eosとは？]] ===
　Eosとはなにかについて述べます。
=== [[コマンド|Eosのコマンドとは？]] ===
　Eosにおけるコマンドについて述べます。
=== [[Makefile|Eosはどうやって使うの？]] ===
　Eosにおける[[make]]を用いたコマンドの統合方法について述べます。
=== [[コマンド一覧|Eosのコマンド一覧表]] ===
　Eosが提供するコマンドの一覧を示します。
=== [[機能別コマンド一覧|Eosの機能別コマンド一覧表]] ===
　Eosが提供するコマンドの機能別一覧を示します。

== Eos/PIONEのインストール方法 ==
===[[必要な環境|Eosの必要な環境]]===

=== [[ダウンロード|Eosのダウンロード(インストール方法)]] ===
　Eosのダウンロード方法について述べます。利用するだけであれば、ダウンロードだけで利用することができます。共同開発を進めたい方、機能の要望がある方は、現在、EosはOSDN(旧：SourceForge)にて開発を進めています。是非、ご一緒して下さい。

=== [[インストール方法|Eosのインストール方法（開発・再構築）]] ===
　Eosのインストール方法について述べます。ここでは、ダウンロードしたファイルから再構築する方法や自分自身が開発したソースコードを運用する方法を述べています。

=== [[PIONEのインストール方法]]===
　makeに替わる分散プロセス処理プラットフォーム(PIONE)のインストール方法を示します。現在、PIONEはgithubにて開発を進めています。

== '''Eosリファレンス''' ==

=== [[統合コマンド|Eosの提供する統合コマンド]] ===
　Eosが提供する統合コマンドについて述べます。

=== 統合コマンド：[[PIONE]]===
　Eosが分散環境、クラウド環境に対応した統合環境として提供するPIONEについて述べます。インストールに関しては[[PIONEのインストール]]を、ブラウザ操作に関しては[[PIONEの起動方法]]や[[PIONE Webclientチュートリアル]]を、[[PIONE定義書]]の作り方や実行方法については[[PIONEチュートリアル]]や[[PIONEチュートリアル-PNML]]を、ログの確認方法は[[PIONEチュートリアル-XES]]を、パッケージの作り方は[[PIONEチュートリアル-package]]を、コマンドの一覧は[[PIONEコマンド一覧]]または[[機能別PIONEコマンド一覧]]を、メソッドの一覧などは[[PIONEの式]]を、その他TIPSなどは[[PIONEのTIPS]]をご覧下さい。 
 

=== 電子顕微鏡制御統合環境(WITs/VEM) ===

==== 相関顕微鏡のためのシステム ====
　同一視野の撮影のためのシステムの提供を進めています．[[SerialEM]]に対応する環境として，電子顕微鏡を仮想化するための[[VEM]]，および，[[VEM]]と通信して，電子顕微鏡を制御するための[[WITs]]というシステムに大きく分けて開発を進めています．

下記に[[WITs]]としてのアプリケーションのリストを示します．

[[WITs-CLEM]]: 相関顕微鏡向けのシステムになります．

== '''Eos チュートリアル'''　==
=== 環境の設定　===
最初にEosのインストール方法を簡単に説明します。詳細は、[[インストール方法|Eosのインストール方法の詳細]]をご覧下さい。

* [[Eosのインストール|Eosのインストール方法]]

=== Eosでのコマンドの取り扱い　===
Eosのコマンドの簡単な使い方を説明します。詳細は、[[コマンド|コマンドの詳細]]をご覧下さい。Eosでは、基本はCUIを使ったコマンドの実行により画像処理を進めます。その結果は、ファイルとして保存され、その内容を確認することが出来ます。

* [[Eosのコマンド|Eosのコマンド]]

=== Eosでの画像の取り扱い　===
Eosで取り扱うことのできる[[画像フォーマット]]と一般的な画像フォーマットからの変換方法を示します。
* [[画像フォーマット|画像フォーマット]]
* [[画像フォーマット変換|画像フォーマットの変換]]

=== Eosを使った簡単な画像処理　===
Eosを使った簡単な画像処理を実行してもらいます。
* [[簡単な画像処理|簡単な２次元画像処理]]

=== [[チュートリアル一覧]] ===
ここには、[[Small Tools]]や様々な[[画像処理]]で使用する[[Makefile]]や[[PIONE]]の一覧があります。

=== CTF画像補正　===
電子顕微鏡画像では、その撮影方法に由来して、コントラストが大きく変調を受けています。ここでは、その画像のコントラストの変調を補正する方法を示します。
* [[CTF補正|CTFの補正]]

=== 単粒子解析の基礎　===
　ここでは、単粒子解析の基礎を行います。実際の単粒子解析は、粒子の形やその対称性などを使って探索方法や3次元再構成法を切り替えることができます。

==== [[単粒子解析]]の概要 ====
　単粒子解析の概要を示します。

==== [[粒子抽出|粒子の抽出]] ====
　まず、単粒子を抽出します。ここでは、手動で切り出す方法を示します。自動で切り出す方法も各種提案されています。

==== [[２次元画像の分類|２次元画像の分類]] ====
　２次元画像を分類して、ＳＮ比を上げます。

==== [[参照付投影角度決定|参照像があるときの投影角の決定方法]] ====
　参照像があるときの投影角の決定方法を説明します。参照像としては、単なる球や楕円体などとすることもあり得ます。参照像がない場合の構造解析法も別途存在しています。

==== [[参照無投影角度決定|参照像がないときの投影角の決定方法]] ====
　参照画像がないときの投影角の決定方法を示しています。[[コモンライン]]をもちいた[[コモンライン探索]]という方法が一般的です。ただノイズに弱く問題が生じる場合があります。

==== [[３次元再構成・逆投影|３次元再構成・逆投影法]] ====
　3次元再構成自身を解説します。

==== [[らせん対称をもつ粒子の３次元再構成法]]====
　アクチンフィラメントなどのらせん対称性をもつ場合のEosでの解析法を紹介します。

==== [[可視化ツール|可視化ツール]] ====
　できあがった三次元像を可視化するためのツールを紹介します。

====参考資料 ====

===== [[RELION]] =====
　単粒子解析法のデファクトスタンダードになりつつある[[RELION]]について、解説を準備することにしました。
少しずつ整理していきます。

===== [[Gautomatch]] =====
　粒子抽出のためのプログラムのひとつです。

===== [[cryoDRGN]] =====
　深層ニューラルネットワークを用いた単粒子3D再構成プログラム[[cryoDRGN]]に関するページです。

===== [[Topaz]] =====
　深層ニューラルネットワークを用いた単粒子ピッキングプログラム[[Topaz]]に関するページです。

===== [[cryoSPARC]] =====
　優れたUIを持った単粒子解析パッケージ[[cryoSPARC]]に関するページです。

==== 備考 ====
　上記のチュートリアル・ページは、2012/09/10-11 単粒子解析Workshopでの資料を元に作成したものです。
今後もこのサイトを充実させ、ワークショップ等で利用していきたいと考えています。

=== [[電子線トモグラフィー]] ===
　電子線トモグラフィーとは、同一視野の連続傾斜像から、その視野の３次元画像を再構成する方法です。細胞内の構造や構造多型性をもつタンパク質の構造解析に有効な方法です。

==== [[電子線トモグラフィー]]の概要 ====
　電子線トモグラフィー法は、同一視野の傾斜シリーズ画像のセットから３次元像を再構成する方法です。ここではその概要を述べます。

==== [[画像の補正]] ====
　傾斜画像では、視野全体がアンダーフォーカスとなるように、通常の電子顕微鏡撮影よりも大きなデフォカース値をとる場合が多いです。その場合、LaB6などの電子銃では第一トーンリングより外側の情報がほとんど無いために、CTF補正等は必要ありませんが、電界放出銃を利用した場合には、場合によっては間違った情報を与える場合があるので注意が必要です。

==== [[ラフ・アラインメント]] ====
　傾斜画像の中心付近の画像の相関から、それぞれの傾斜画像の大まかな位置を合わせます。

==== [[ファイン・アラインメント]] ====
　傾斜画像の軸の位置、角度を出来る限り一致させます。

==== [[３次元再構成]] ====
　２次元画像のセットから３次元画像を再構成します。

==== [[電子線トモグラフィー画像のもつ問題点]] ====
　全方位からの投影像を得られないために、ミッシングエリアとよばれる情報がない領域があります。そのため、方向依存でのボケを生じます。

==== [[トモグラム画像の解釈]] ====
　多様な構造を含むため、３次元画像から興味あるセグメントを切り出すなどの作業が必要です。そのための支援ソフトウェアが必要です。

==== [[サブトモグラム画像の平均化]] ====
　クライオ電子顕微鏡画像からトモグラム画像はノイズが多いため、同等の構造をしたものを平均化する必要があります。

==== 参考資料 ====
===== [[IMOD/ETomo]]の使い方=====
　[[IMOD/ETomo]]は、電子線トモグラフィー法やシリアルセクションなどで使われる、デファクトスタンダードともいえる3次元再構成プログラムです。

====== [[eTomoチュートリアル]] ======
　eTomoのチュートリアルを示しています。

=== 連続２次元画像からの３次元再構成 ===
　連続切片(Serial Section）や、連続ブロック表面(Serial Block Face)からの３次元再構成のための手順を示したものです。

==== [[SBF-SEMからの３次元再構成]] ====

== Eosにおける開発（開発者向け） ==

　Eosのもうひとつのウリは迅速なプログラムの開発です。その手法について下記に述べます。

=== [[Eosの構造|Eosの構造]] ===
　Eosの構造(Architecture）について述べます。

=== [[Eosの開発|Eosの開発]]===
　SourceForgeからクローンを作成し、localで新規ツールなどを開発した後、SourceForgeに登録するまでの流れを示します。

=== [[Eosの開発におけるTIPS]] ===
　Eos上で開発する際のTIPSをまとめています。

=== [[ツールの開発]] ===
==== [[ツールの作り方]] ====
　Eosの上での[[Small Tools]]([[コマンド群]])の作り方について述べます。

==== [[簡単なプログラム例]] ====
　Eosの上での[[Small Tools]]([[コマンド群]])の簡単なプログラム例について述べます。

=== [[ライブラリ（API）の作り方]]===
　Eosの上での[[オブジェクト指向型ライブラリ]]（[[API]]）の作り方について述べます。

=== [[ライブラリ(API)一覧]]===
　Eosの上での[[オブジェクト指向型ライブラリ]]（[[API]]）の一覧です。

=== [[機能別ライブラリ(API)一覧]]===
　Eosの上での機能別に分類された[[オブジェクト指向型ライブラリ]]（[[API]]）の一覧です。

並列処理のためのライブラリ
*[[eosCuda]]: CUDA を使うためのライブラリ
*[[eosPThread]]: pthread を使うためのライブラリ

=== [[統合コマンドの作り方]]===
　統合コマンドの作り方を示します。

==== [[Makefileによる統合]] ====
　[[Makefile]]を用いた統合方法について示します。[[Visualmake]]は自動的に簡易型のGUIを提供します。

==== [[PIONEによる統合]] ====
　分散環境（クラウド環境）に対応したプロセス定義書[[PIONE]]を用いた統合方法について示します。

==== [[PIONEチュートリアル]] ====
　[[PIONE]]の使い方を示したチュートリアルです。

==== [[PIONEチュートリアル-PNML]]====
　[[PNML]]を用いたPIONE定義書の設計方法を示しています．

==== [[PIONEチュートリアル-XES]]====
　ログファイルを[[XES]]形式に変換し、[[ProM]]を利用して処理結果を確認する方法を示しています。

==== [[PIONEチュートリアル-package]]====
　[[PIONE定義書]]などをひとつにまとめたパッケージを作成する方法を示しています。

==== [[bashによる統合]] ====
　bashなどのスクリプト言語による統合方法について示します。

==== [[統合コマンドによる統合]] ====
　[[Display2]], [[smolet]], [[Eos]]などのTcl/Tk型の統合コマンドによる統合, [[ctfDisplay]]等のRuby型の統合コマンドによる統合，[[molvie]]などのＣ言語型の統合コマンドによる統合、などの各種方法について示します。

=== [[並列処理による高速化]] ===
　Eosでは、makeを使った単一ホストでのプロセスレベルでの並列処理、PIONEを使った分散環境におけるプロセスレベルの並列処理に加えて、pthread/GPGPUを用いたthreadレベルでの高速化も試行しています。すべてのコードが対応している訳ではありませんが、随時、対応を進めています。

===== [[eosPThread]] =====

===== [[eosCuda]] =====

=== [[よく使うシェルコマンド]] ===
　ここでは[[コマンド]]、[[Makefile]]、[[PIONE]]などの作成や実行においてよく使うシェルコマンドを簡易的にリストアップしています。

== [[画像処理]] ==
=== [[画像処理一般]] ===
　ここでは画像処理一般に関する話をまとめています。

==== [[簡単な画像処理]]====
　Eosを使った簡単な画像処理に関するチュートリアルが掲載されています。

==== [[画像の入力]]と[[レンズ]] ====
　コンピュータを使って画像処理を行う前に、画像がデジタル化される入力装置のことを気にしておく必要があります。

==== [[CTF]],[[PSF]]と[[MTF]]====
　真に得たい画像をf(x,y)で表現した場合に、[[画像の入力]]方法や[[レンズ]]の性能などによりどうしても画像が劣化します。

==== [[標本化]] ====
　アナログ画像をデジタル画像にするためには、空間を刻み、離散化することが重要です。このステップを標本化といいます。

==== [[量子化]] ====
　デジタル画像処理では、アナログである濃度値（光学密度）をあるビット数内で表現する量子化（ＡＤ変換）という操作が最初に必要です。

==== [[ノイズ除去]] ====
　ノイズが非常に多い画像を取り扱うためには、ノイズの性質をよく知ることが重要です。

===== [[平滑化]] =====
　画像のもつノイズを取り除くことを主たる目的として実施する画像処理方法です。ノイズの性質をよく理解することで、適切なノイズ除去が可能になります。

==== [[エッジ検出]] ====
　対象物の形を理解するために重要なステップですが、とても難しいステップでもあります。

==== [[２値画像処理]] ====
　シグナルと背景の切り分けや、代表点や骨格の抽出など、画像処理や解析のスタートとなる処理方法です。

==== [[フーリエ空間]]を利用した画像処理 ====

==== 実空間の[[カーネル]]を用いた画像処理 ====

==== [[マスマティカル・モルフォロジー]]を使った画像処理 ====

=== [[電子顕微鏡画像処理]] ===
　電子顕微鏡画像処理に関する話をまとめています。

==== [[モンタージュ]]、[[パノラマ]]画像 ====
　異なる領域を撮影した複数の画像（ただし、その一部は重なっている画像のセット）を組み合わせて、広領域の画像をつくる方法です。

==== [[CTF補正]] ====
　電子顕微鏡の画像は、原理的に、画像変調を受けています。その画像変調を補正する為の画像処理です。

==== [[３次元画像の位置合わせ]] ====
　３次元画像同士を平均し、雑音をとるための手法です。

==== [[シリアル画像の位置合わせ]] ====
　連続切片の画像同士の位置を合わせることで、三次元像を再構成する手法です。

=== [[３次元再構成法]] ===
　３次元再構成法とは、２次元の画像から３次元の画像を再構成する技術です

==== [[中央断面定理]]====
　投影像からなぜ、内部の構造がわかるのか、それを支えているのがこの中央断面定理です．

==== [[フーリエ法]]====
==== [[逆投影法]]====
==== [[SIRT]]====

== [[3Dモデル関連]] ==
=== [[chimera]] ===
　ボリュームデータやＰＤＢデータなどを可視化表示するためのソフトウェアです。
=== [[chimerax]] ===
=== [[vmd]] ===
=== [[NAMD]] ===

== [[電子顕微鏡制御]] ==
　電子顕微鏡制御のためのソフトウェアを開発しています。[[VEM]]は、仮想電子顕微鏡として各種の電子顕微鏡のコマンドを統一するためのシステムです。[[WITs]]は、VEMを通して電子顕微鏡を操作するためのUI(User Interface)です。

=== [[FEIの制御]]===

== [[電子顕微鏡]] ==
　ここでは電子顕微鏡に関する基礎、FAQ、TIPSをまとめておきます。

=== [[電子銃]]===
　電子顕微鏡の電子線源である電子銃についての解説です。

=== [[電子レンズ]]===
　透過電子顕微鏡の光学系、及び、レンズの仕組みに関する解説です。

=== [[透過型電子顕微鏡のコントラスト]]===
　透過型電子顕微鏡(TEM)がつくるコントラストに関する解説です。

=== [[走査型透過電子顕微鏡のコントラスト]]===
　走査型透過電子顕微鏡(STEM)がつくるコントラストに関する解説です。

=== [[走査型電子顕微鏡のコントラスト]] ===
　走査型電子顕微鏡(SEM)がつくるコントラストに関する解説です。

=== [[クライオ電子顕微鏡法]] ===
　クライオ電子顕微鏡法に関する解説です。

=== [[電子顕微鏡のFAQ]] ===
　電子顕微鏡に関するよくある質問に対する回答です。

=== [[電子顕微鏡のTIPS]] ===
　電子顕微鏡を利用する際などのTIPSをまとめることにしました。

== [[ロードマップ|Eosの今後の発展（ロードマップ）について]] ==
　Eosの今後の開発方針([[ロードマップ]])について述べます。

=== [[ロードマップ]] ===
　現在、開発はOSDNのチケットシステムを利用しており、チケット駆動型開発になっています。チケットの粒度はさまざまで、現在、いろいろと試しながら、開発環境を構築しています。

=== [[CUDA]]への対応 ===
　[[EosのCUDAへの対応状況]]を述べます。
　

== FAQ and TIPS ==
=== [[FAQ]] ===
　よくある質問をまとめました。まだまだ不十分ですが、少しずつ増やしていきたいと思います。

=== [[EosのTIPS]] ===
　よくある画像処理法をまとめてました。まだまだ不十分ですが、少しずつ増やしていきたいと思います。

=== [[Eos関連ソフトウェアのTIPS]] ===
　Eosに関連するソフトウェアの使い方をまとめています。

=== [[LINUXに関連したソフトウェアのTIPS]] ===

=== [[OSXに関連したソフトウェアのTIPS]] ===
　ＯＳＸで利用されているソフトウェアについてまとめています。

== 開発にかける思い ==
　開発当時と比べても非常に多くのソフトウェアが開発され、利用されている。その中で、継続的に開発していく意味はどこにあるのだろうか。[[開発にかける思いByYasunaga]]を少しずつ書き綴っていこう。

== Eos User Group ==
　Eosを利用する上での情報共有の場を、仮にFacebookの上に作りました。参加されたい方は、facebook上で登録をお願いします。

== '''イメージイラストについて''' ==

現在、Eospediaのイメージイラストを募集中です。
我こそはという方はEospedia管理者まで御連絡下さい。

Eospedia(WIKI)の使い方・設定に関しては、[http://meta.wikimedia.org/wiki/Main_Page ユーザーズガイド]を参照して下さい。

== Eos関連ツール及びサイト ==
=== 開発言語 ===
*[[C]]
*[[C++]]
*[[Ruby]]
*[[Tcl]]
*[[Tk]]

=== ワークフロー関係(PIONE) ===
==== ペトリネット ====
*[[PNML]]
*[[WoPeD]]
==== アクション記述 ====
*[[Markdown]]

==== ログファイル ====
*[[XES]]:ログファイル形式
*[[ProM]]:可視化のためのツール

=== ドキュメント作成ツール ===
*[[Pandoc]]
*[[html]]
*[[mediawiki]]
*[[Eospediaの編集で使用しているツール]]

== エディタ、統合開発環境 ==
=== [[Visual Studio Code]] ===
Microsoft主導でオープンソース開発が進められている、クロスプラットフォーム(Windows/macOS/Linux)のプログラミングエディタです。

=== [[Vim]] ===
言わずと知れた著名なテキストエディタです。非常にとっつきにくいですが、慣れると捗ります。

== その他 ==
=== [[クライオ電顕備忘録]] ===
　クライオ電顕関連の備忘録です。まとまり次第他の項目に順次移したりします。

=== [[MicroED]] ===
MicroED(Micro crystal Electron Diffraction:微結晶電子線回折)に関する情報を書き残していきます。

=== [[リモートワーク推進]] ===
リモートワーク推進のためのツール関連について書き残していきます。

=== [[Python]] ===
Python関係について書き残していきます。

=== [[Linux関連]] ===
Linux関連について書き残していきます。

=== [[EMAN2関連]] ===
EMAN2関連について書き残していきます。

=== [[Moodle関連]] ===
Moodle関連について整理しています。

=== [[計算機利用ことはじめ]] ===
研究室で初めて計算機を使う方へ向けたお役立ち情報を書いていきます。

=== [[単粒子解析ことはじめ]] ===
研究室で初めて単粒子解析をする方へ向けたお役立ち情報。

=== [[クライオ電顕ことはじめ]] ===
研究室でクライオ電顕観察に挑戦する方へ向けて。

=== [[Docker関連]] ===
Dockerを利用して研究、開発の環境を構築する方法を書いていきます。

=== [[EMPIAR]] ===
電顕画像データベースである[[EMPIAR]]について

=== [[XML Schema]] ===
XMLのデータ構造を定義するための言語であるXML Schema(スキーマ)について

=== [[Git]]] ===

=== [[研究お役立ちツール]] ===
研究活動をするうえで役に立つと思ったツールを書いておきましょう。

== 外部リンク ==
=== Eos関連サイト===

* [http://www.yasunaga-lab.bio.kyutech.ac.jp/EosJ/ Eospedia.jp]
* [http://www.yasunaga-lab.bio.kyutech.ac.jp/Eos/ Eospedia.en]
* [http://sourceforge.jp/projects/eos/ Eos SourceForge]

=== 電子顕微鏡画像処理関連サイト ===
*[https://www.imagescience.de/em2em.html em2em]:汎用画像フォーマット変換ツール
* [http://en.wikibooks.org/wiki/Software_Tools_For_Molecular_Microscopy Software Tools For Molecular Microscopy]
* [http://emdatabank.org/emsoftware.html EM Software on EMDataBank]

=== 所属関連サイト ===
* [http://www.yasunaga-lab.bio.kyutech.ac.jp/ 安永研究室]
* [http://www.bio.kyutech.ac.jp/ 生命情報工学科]
* [http://www.iizuka.kyutech.ac.jp/ 情報工学部／情報工学府]
* [http://www.kyutech.ac.jp/ 九州工業大学]

== メディアウィキの始め方 ==
* [[testpage]] : メディアウィキのテスト頁
* [http://www.mediawiki.org/wiki/Manual:Configuration_settings/ja 設定一覧]
* [http://www.mediawiki.org/wiki/Manual:FAQ/ja MediaWiki FAQ]
* [https://lists.wikimedia.org/mailman/listinfo/mediawiki-announce MediaWiki リリース情報メーリングリスト]

Python tips

2020-11-19T09:46:05Z

Kttn:

== argparse ==
https://docs.python.org/release/3.8.2/library/argparse.html
=== インスタンス化 ===
モジュールdocstring書いといてそれをdescriptionにすると良さげ
<pre>
parser = argparse.ArgumentParser(description=__doc__)
</pre>

=== オプション名の書き方と格納先変数名 ===
https://docs.python.org/release/3.8.2/library/argparse.html#dest

=== 引数個数の指定 ===
https://docs.python.org/release/3.8.2/library/argparse.html#nargs

=== ヘルプメッセージにデフォルト値を表示する ===
https://docs.python.org/release/3.8.2/library/argparse.html#argparse.ArgumentDefaultsHelpFormatter
<pre>
parser = argparse.ArgumentParser(formatter_class=argparse.ArgumentDefaultsHelpFormatter)
</pre>

=== 具体例1 ===
<pre>
def parse_args():
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter,
description=__doc__
)
parser.add_argument('--Z_file', type=str, required=True, help='Pickled file of latent variables.')
parser.add_argument('--k_init', type=int, default=2, help='Initial number of clusters in X-Means')
parser.add_argument('--k_max', type=int, default=20, help='Max number of clusters in X-Means')
parser.add_argument('--criterion', type=str, default='bic', choices=['bic', 'mndl'], help='Splitting criterion. bic: bayesian information criterion, mndl: minimum noiseless description length.')
parser.add_argument('--random_state', type=int, default=None, help='Random seed for X-Means initialization (K-Means++)')
parser.add_argument('--no_ccore', action='store_true', help='Use python implementation of PyClustering library, instead of C++.')
parser.add_argument('--outdir', required=True, help='Output directory.')
parser.add_argument('--input_star', type=str, required=True, help='Input star file.')
parser.add_argument('--output_star_rootname', type=str, default='cluster', help='Output file rootname for each cluster\'s star file.')
parser.add_argument('--output_model', type=str, default='xmeans_model.pkl', help='Output X-Means model file name (pickled).')

args = parser.parse_args()

logger.info('##### Command #####\n\t' + ' '.join(sys.argv))
args_print_str = '##### Input parameters #####\n'
for opt, val in vars(args).items():
args_print_str += '\t{} : {}\n'.format(opt, val)
return args
</pre>

== logging ==
https://docs.python.org/release/3.8.2/library/logging.html
=== ロガー生成スニペット ===
<pre>
logging_fmt = logging.Formatter(
'\n[%(asctime)s - %(name)s - %(levelname)s] %(message)s')
logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
stream_handler = logging.StreamHandler()
stream_handler.setFormatter(logging_fmt)
logger.addHandler(stream_handler)

def set_logger(log_file, is_debug):
if log_file is not None:
log_file_dir = os.path.dirname(log_file)
if log_file_dir:
if not os.path.exists(log_file_dir):
logger.debug('Creating log file directory...')
os.makedirs(log_file_dir)
elif not os.path.isdir(log_file_dir):
logger.error('{} is not a directory.'.format(log_file_dir))
sys.exit(1)
file_handler = logging.FileHandler(log_file, mode='w')
file_handler.setFormatter(logging_fmt)
logger.addHandler(file_handler)

if not is_debug:
logger.setLevel(logging.INFO)
</pre>

== serialize ==
=== pickle ===
==== 保存 ====
<pre>
pickle.dump(\
object_to_be_serialized,
open(outfile, 'wb'),
protocol=4)
</pre>

==== 読み込み ====
<pre>
with open(pickled_file, 'rb') as f:
pickled_content = pickle.load(f)
</pre>

== subprocess ==
=== run - 同期型 ===
<pre>
ret = subprocess.run("シェルコマンド", text=True, shell=True, capture_output=True)
</pre>

投げたシェルコマンドが終わるまで呼び出し側コードはブロックされる。

retが持つ属性は ret.args, ret.returncode, ret.stdout, ret.stderr。

=== Popen - 非同期型 ===
* 参考
** https://qiita.com/HidKamiya/items/e192a55371a2961ca8a4
** https://qiita.com/megmogmog1965/items/5f95b35539ed6b3cfa17
<pre>
p = subprocess.Popen("シェルコマンド", shell=True, text=True, stderr=subprocess.STDOUT, stdout=subprocess.PIPE)
</pre>

Popenはコマンド投げっぱなしで、呼び出し側コードは遠慮なく先へ進む。

処理の終了 (p.poll() is not None)を待ちつつ、出力をリアルタイム表示するには、例えば以下の様にする。
<pre>
while True:
if p.poll() is not None:
break
line = p.stdout.readline()
if line is not None:
print(line, end='')
</pre>

== datetime ==
* datetimeはモジュール名、datetime.datetimeはdatetimeモジュールのdatetimeクラス
=== タイムスタンプ文字列生成 ===
20201119-093428 などのフォーマットで年月日-時刻の文字列を生成するには、
<pre>
import datetime
datetime.datetime.now().strftime('%Y%m%d-%H%M%S')
</pre>
nowはクラスメソッドで、現在時刻を持ったインスタンスを生成する。

== build-in ==
=== print ===
==== 改行無しで表示 ====
<pre>
print('hogefuga', end='')
</pre>

Dockerトラブルシューティング

2020-11-17T13:32:02Z

Kttn:

= '''ホストマシンデバイス関連''' =
== コンテナ内でノーマルユーザーだとGPUが使えない ==
===症状===
rootユーザー
<pre>
(host)$ docker exec -it relion-docker bash

(container)[root@relion-docker softwares]# nvidia-smi
Sat May 18 09:35:06 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.74 Driver Version: 418.74 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce GTX 1080 Off | 00000000:05:00.0 On | N/A |
| 29% 44C P8 7W / 180W | 72MiB / 8119MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 1 GeForce GTX 1080 Off | 00000000:06:00.0 Off | N/A |
| 27% 41C P8 6W / 180W | 2MiB / 8119MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 2 GeForce GTX 1080 Off | 00000000:09:00.0 Off | N/A |
| 27% 37C P8 6W / 180W | 2MiB / 8119MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 3 GeForce GTX 1080 Off | 00000000:0A:00.0 Off | N/A |
| 27% 37C P8 6W / 180W | 2MiB / 8119MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
</pre>

ノーマルユーザー(Dockerイメージビルド時に作成済みのユーザー)
<pre>
(host)$ docker exec -u kttn -it relion-docker bash

(container)[kttn@relion-docker ~]$ nvidia-smi
Failed to initialize NVML: Insufficient Permissions
</pre>

===原因===
ホストマシンにVirtualGLをインストールしてあり、インストール時の設定でGPUデバイスの所有者グループがvglusersに書き換えられていたため。

===対処===
コンテナ内で vglusers というグループを作り、ノーマルユーザーをvglusersに追加すれば、GPUデバイスを使えるようになった。
<pre>
(contianer) $ sudo groupadd -g <ホストマシンにおけるvglusersのGID> vglusers
(contianer) $ sudo usermod -aG vglusers <non-rootユーザーのユーザー名>
</pre>

あるいは、ホストマシンでVirtualGLをアンインストールするか。(所有グループがrootに戻るか要確認)

= '''Dockerfile関連''' =
== CMD ["/usr/sbin/sshd", "-D"] を入れても外からsshアクセスできない ==
===症状===
Dockerfileの最後に
<pre>
CMD ["/usr/sbin/sshd", "-D"]
</pre>
を書いて、コンテナを -d オプション付きで立ち上げれば外からsshアクセスできると思ったが、できない。

===原因===
ビルドしてrunしたコンテナのログを確認すると
<pre>
$ docker logs upbeat_liskov # upbeat_liskovはコンテナの名前

Missing privilege separation directory: /var/run/sshd
</pre>

/var/run/sshdというディレクトリをあらかじめ作っておかないといけないらしい。

===対処===
Dockerfileに、sshdのコマンドを走らせる前に
<pre>
RUN mkdir -p /var/run/sshd
</pre>
を書き加えて再ビルドしたら大丈夫になった。

= '''ネットワーク関係''' =
== マシンを再起動したらswarm(overlayネットワーク)が機能しなくなった ==
=== 症状 ===
あるoverlayネットワークに参加しているコンテナがswarmワーカーノード上にあって、計算機の再起動後にdocker startでコンテナ再起動しようとしたところ、以下のようなエラーが出て再起動してくれなかった。
<pre>
Error response from daemon: Could not attach to network asuaxn22bff1sq8pqqay2sg64: context deadline exceeded
Error: failed to start containers: <コンテナ名>
</pre>

swarmのマスターノードで docker node ls すると、ワーカーノードのSTATUSが軒並み Down となっていた。

=== 原因 ===
推測。

swarm通信用のポートはfirewall-cmdで開けるが、--permanentオプションを付けて実行しないと、計算機再起動した際に設定が消えるらしい。上記問題が出た環境は--permanetを付けずにポートを開いていたので、それゆえ再起動した後にポートが閉じてしまってswarm通信ができず、各ノードのSTATUSがDownとなっていたと考えられる。(実際に検証する前にネットワーク設定を消してしまったので検証はできていない)

=== 対処 ===
推測。

--permanentオプションをつけてfirewall-cmdでポートを改めて開ける。
<pre>
> sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp --permanent
> sudo systemctl restart firewalld.service
</pre>

= '''Dockerデーモンのエラー''' =
== /var/lib/docker が read-only file system のため操作不能 ==
=== 症状 ===
swarmに参加しようとすると、以下エラー
* Error response from daemon: unlinkat /var/lib/docker/swarm/certificates: read-only file system

コンテナを削除しようとすると、以下エラー
* Error response from daemon: container 36060bd231466311ebcbbcbe1a44e25d76e37b43f77b76d2b6f284d8bd8ae157: driver "aufs" failed to remove root filesystem: error removing layers dir for aefdacf5ed56d31750ee2b73381bf0aa24afe93f91d15a7a89a2dbda90b5489f: remove /var/lib/docker/aufs/layers/aefdacf5ed56d31750ee2b73381bf0aa24afe93f91d15a7a89a2dbda90b5489f: read-only file system

デーモンを再起動しようとすると、
* Error response from daemon: container 36060bd231466311ebcbbcbe1a44e25d76e37b43f77b76d2b6f284d8bd8ae157: driver "aufs" failed to remove root filesystem: error removing layers dir for aefdacf5ed56d31750ee2b73381bf0aa24afe93f91d15a7a89a2dbda90b5489f: remove /var/lib/docker/aufs/layers/aefdacf5ed56d31750ee2b73381bf0aa24afe93f91d15a7a89a2dbda90b5489f: read-only file system

しまいにはdocker psすると
* Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

=== 原因 ===
* https://github.com/moby/moby/issues/18010

/var/run/docker.sockを載せているファイルシステムに障害が発生して、OSが保護のためにread-onlyでマウントしなおしたのでは、という議論があり、その線で調べてみた。

実際、rootユーザーでも本来書き込めるはずの場所にファイル作成などができなくなっている。

また、dmesgを確認すると以下のような記述がある。
<pre>
[ 375.096148] ata5.00: exception Emask 0x0 SAct 0x4 SErr 0x0 action 0x0
[ 375.096195] ata5.00: irq_stat 0x40000008
[ 375.096235] ata5.00: failed command: READ FPDMA QUEUED
[ 375.096279] ata5.00: cmd 60/08:10:28:47:c6/00:00:03:00:00/40 tag 2 ncq 4096 in
res 41/40:08:28:47:c6/00:00:03:00:00/40 Emask 0x409 (media error) <F>
[ 375.096334] ata5.00: status: { DRDY ERR }
[ 375.096374] ata5.00: error: { UNC }
[ 375.096977] ata5.00: configured for UDMA/133
[ 375.096990] sd 4:0:0:0: [sda] tag#2 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
[ 375.096994] sd 4:0:0:0: [sda] tag#2 Sense Key : Medium Error [current] [descriptor]
[ 375.096998] sd 4:0:0:0: [sda] tag#2 Add. Sense: Unrecovered read error - auto reallocate failed
[ 375.097003] sd 4:0:0:0: [sda] tag#2 CDB: Read(10) 28 00 03 c6 47 28 00 00 08 00
[ 375.097006] blk_update_request: I/O error, dev sda, sector 63325992
[ 375.097058] ata5: EH complete
[ 375.097063] EXT4-fs error (device sda1): ext4_find_entry:1456: inode #2081132: comm updatedb.mlocat: reading directory lblock 0
[ 375.267568] Aborting journal on device sda1-8.
[ 375.995157] EXT4-fs error (device sda1): ext4_journal_check_start:56:
[ 375.995165] EXT4-fs (sda1): Remounting filesystem read-only
[ 375.995248] Detected aborted journal
</pre>

=== 対処 ===
対処中

Docker関連

2020-11-17T12:27:25Z

Kttn:

Docker関連

2020-11-17T12:15:24Z

Kttn: /* swarmに参加できない */

Dockerを利用して研究、開発の環境を構築する方法を書いていきます。

== 用語の整理 ==
なかなかに複雑なので用語を整理しておきます。間違っている部分もあるかもしれないので、適宜修正してください。
{| class="wikitable" style="width:100%"
|+Docker用語の整理
! style="width:10%" | 用語
! 説明
|-
! Docker
|
|-
! Docker machine
|
|-
! Docker engine
|
|-
! Docker desktop
|
|-
! Docker CLI
|
|-
! Docker compose
|
|-
! Docker swarm
| 複数のホストマシン上のDockerをネットワークを介して相互接続する機能。
|-
! Kubernetes (K8s)
|
|-
! NVIDIA Docker
|
|-
! NVIDIA Container Toolkit
|
|}

== Dockerのネットワークについて ==
1つのホストマシン上のDocker上でのコンテナ間の通信や、複数のホストマシン上のDocker上でのコンテナ間の通信、自分の好みのDockerネットワークを組む方法などについて、公式ドキュメント( https://docs.docker.com/network/ )がある。

== Docker swarm ==
複数のホストマシン上のDockerをネットワークを介して相互接続する機能。SwarmでDockerのクラスタを作った暁には、overlayと呼ばれるタイプのDockerネットワークを作成し、そのネットワークへ(複数のホストで動作している)コンテナを参加させることで、ホストをまたいでのコンテナ間の通信が可能となる。他にも色々できる。

https://docs.docker.com/network/ で、Networking overview ⇒ Bridge network tutorial ⇒ Overlay networking tutorial と読み進めると、機能やありがたみが分かりやすいのではないかと思う。

== Portainer ==
DockerのGUI管理ツールです。https://www.portainer.io/

ウェブブラウザでアクセスして管理、確認できます。

== トラブルシューティング ==
=== ネットワーク関係 ===
==== コンテナのネットワークが回復していないせいでコンテナが再起動できない ====
計算機を再起動したあと、ユーザー定義で作成したoverlayネットワークが何やらダウンして、復旧できなかった。

で、計算機の停止前にそのoverlayネットワークに参加していたコンテナに対し、計算機の再起動後にdocker startでコンテナ再起動しようとしたところ、以下のようなエラーが出て再起動してくれなかった。
<pre>
Error response from daemon: Could not attach to network asuaxn22bff1sq8pqqay2sg64: context deadline exceeded
Error: failed to start containers: <コンテナ名>
</pre>

ネットワークを復活させられればstart可能となるのか、そもそも同じネットワークを復活させられるのか、よくわからなかったが、とりあえず以下のようにしてネットワークからコンテナを切り離し、そのうえでコンテナをstartとすれば、立ち上がってくれるようにはなった。(もちろんネットワークからは抜けたまま)
<pre>
> docker network disconnect <死んでるoverlayネットワークの名前> <コンテナ名>
> docker start <コンテナ名>
</pre>

当該コンテナがどんなネットワークに属しているかは、
<pre>
> docker inspect <コンテナ名>
</pre>
で、"Networks"を見ればよい。(デフォルトで参加するネットワークは"bridge"で、それ以外を見ればよい)

(追記) 上記はoverlayネットワークがダウンしていたわけではなく、計算機再起動によりswarm通信用のポートが閉じていたためだった。[[DockerでcryoSPARCクラスタ#ホストマシンを再起動した後のクラスタの復旧]]

==== swarmに参加できない ====
* 症状
とあるノードにて
<pre>
> docker swarm join --token *** 192.168.5.88:2377
</pre>
すると

<pre>
Error response from daemon: unlinkat /var/lib/docker/swarm/certificates: read-only file system
</pre>
と出てきてswarmに参加できない

というか色々おかしくて、コンテナの削除もできない
<pre>
> docker rm csparc-worker-DL-Box
</pre>
* エラーメッセージ
** Error response from daemon: container 36060bd231466311ebcbbcbe1a44e25d76e37b43f77b76d2b6f284d8bd8ae157: driver "aufs" failed to remove root filesystem: error removing layers dir for aefdacf5ed56d31750ee2b73381bf0aa24afe93f91d15a7a89a2dbda90b5489f: remove /var/lib/docker/aufs/layers/aefdacf5ed56d31750ee2b73381bf0aa24afe93f91d15a7a89a2dbda90b5489f: read-only file system

デーモンの再起動もできない
<pre>
> sudo systemctl restart docker
</pre>
* エラーメッセージ
** Error response from daemon: container 36060bd231466311ebcbbcbe1a44e25d76e37b43f77b76d2b6f284d8bd8ae157: driver "aufs" failed to remove root filesystem: error removing layers dir for aefdacf5ed56d31750ee2b73381bf0aa24afe93f91d15a7a89a2dbda90b5489f: remove /var/lib/docker/aufs/layers/aefdacf5ed56d31750ee2b73381bf0aa24afe93f91d15a7a89a2dbda90b5489f: read-only file system

そして動かなくなった
<pre>
> docker ps
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
</pre>

Docker関連

2020-11-17T12:07:04Z

Kttn: /* swarmに参加できない */

Docker関連

2020-11-17T11:44:02Z

Kttn: /* ネットワーク関係 */

DockerでcryoSPARCクラスタ

2020-11-17T11:07:27Z

Kttn: /* CentOS 7 */

== この記事について ==
cryoSPARCはインストールで問題が起きる場合がある。Dockerで動かせるようにすれば、Dockerが使えるマシンがあればおおむねどこでもcryoSPARCを動かせるようになる。

単一ノードでcryoSPARCを使うだけれあればすでに作成済みのDockerイメージ( https://github.com/yasunaga-lab/docker/tree/master/cryosparc )が使える。複数ノードでcryoSPARCを動かしてクラスタを作るためにはDocker間の通信設定などが必要になる。ここにそのあたりの方法を書き残しておく。

== Docker swarmによる(仮想)ネットワーク構築 ==
異なるホストマシンの上に載っているDockerを相互接続するためにswarmを構成したうえで、cryoSPARCコンテナ間通信用のoverlayネットワークを作成する。(参考： [[Docker関連]] )

=== ファイアウォール設定 ===
Docker間の通信に必要なポートを開ける必要がある。こちらを参照⇒ https://docs.docker.com/network/overlay/#create-an-overlay-network

==== CentOS 7 ====
CentOSの場合はfirewall-cmdでポートを開けることができる。クラスタに参加するホストマシンのすべてで実行する必要がある。(firewall-cmdについて参考： [[Linux関連#ネットワーク関連]])
<pre>
> sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp
</pre>

上記だけだと設定は永続的ではなく、ホストマシンを再起動するとポートが再び閉じてしまうので、永続化させたい場合は --permanent オプションをつけること。
<pre>
> sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp --permanent
</pre>

ポートを開けた後は、--reloadで設定を反映するか、
<pre>
> sudo firewall-cmd --reload
</pre>

firewalldを再起動する。
<pre>
> sudo systemctl restart firewalld.service
</pre>

==== Ubuntu 18.04 LTS ====
ufw (Ubuntu firewall)を使うが、未調査。

=== Swarmの構成 ===
クラスタに参加させたいホストマシン達のDockerでswarmを構成する。Swarmにはマネージャーノードとワーカーノードの概念がある。

まずはマネージャーノードにしたいホストマシンにて以下を実行する。
<pre>
> docker swarm init
</pre>

すると以下のような文字列が出力されるから、これをワーカーノードとしてクラスタに参加させたいホストマシンのそれぞれで実行すればよい。
<pre>
docker swarm join --token <トークン文字列> <マネージャーノードのIPアドレス>:2377
</pre>
成功すれば"This node joined a swarm as a worker."と表示される。

あとあと上記のコマンドを確認したい場合は、マネージャーノードにて
<pre>
> docker swarm join-token worker
</pre>
とすれば、ワーカーノード追加用のコマンド(トークン文字列も含めて)を確認できる。

現在swarmに加わっているホストマシンの一覧を確認するには、
<pre>
> docker node ls
</pre>

マネージャー、ワーカーとややこしいことを書いたが、たぶん、swarm上でサービス (Dockerの用語)を動かす時に必要になる役割で、今回のようにそれぞれのホストでcryoSPARCコンテナを動かし、それを相互接続する、というだけであれば、どれをマネージャーにするかなどはあまり関係ないのではないかとは思う。

=== Overlayネットワークの作成 ===
Swarmのマネージャーノードにて、コンテナ間をつなぐためのoverlayネットワークを作成する。ここでは、cryosparc-netという名前で作ってみる。

<pre>
> docker network create --driver=overlay --attachable cryosparc-net
</pre>

これをワーカーノードでやる必要はない。マネージャーノードで作ればワーカーノードからも利用可能になる。

ネットワークの一覧を確認する。cryosparc-netがswarmをスコープとして作られていることが確認できる。
<pre>
> docker network ls
</pre>

== cryoSPARCクラスタ構築 ==
クラスタに加えたいノードのそれぞれでcryoSPARCを動かす能力のあるdockerコンテナを動かし、それらをcryosparc-netに参加させ、cryoSPARCのマスターとして使いたいコンテナでのみcryoSPARCのマスターインストールをして、必要ならワーカーもインストールし、他のコンテナではワーカーのみインストールする + α をすればクラスタ構築できた。cryoSPARCのインストール場所やデータベース、プロジェクトディレクトリなどなどは、どのホスト・コンテナからもマウント可能なネットワークドライブに置く必要があります。

手順が煩雑なのでいずれ整理して書きます。(各ホストマシンでコンテナを動かして、同一の仮想ネットワーク上に載せることさえできれば、あとは通常のcryoSPARC master workerインストールと同じです。)

=== コンテナをcryosparc-netに参加させる方法 ===
<pre>
> docker network connect cryosparc-net <コンテナ名>
</pre>

=== cryoSPARCワーカーを追加する方法 ===
<pre>
> cryosparcw connect --worker <ワーカーコンテナ名> --master <マスターコンテナ名> --port 39000 --ssdpath <SSDのパス> --lane <レーン名>
</pre>

デフォルトのレーン名は default である。

新しいレーンを作る場合は、--newlaneフラグを立てたうえで--lane で新しいレーン名を指定する。

--ssdquota によりSSDの使用可能量(MB)を適宜指定したほうがよいだろう。

=== ワーカーの設定変更 ===
ワーカーの設定を一部変更するには、--updateフラグを立てたうえで、変更したいオプション値を指定すればよい。例えばssdquotaを100GBに制限したければ、
<pre>
> cryosparcw connect --worker <ワーカーコンテナ名> --master <マスターコンテナ名> --update --ssdquota 100000
</pre>
とする。workerとmasterは指定が必要。

=== cryosparcw connectのエラー ===
以下のようなエラーが出た場合は、
<pre>
---------------------------------------------------------------
CRYOSPARC CONNECT --------------------------------------------
---------------------------------------------------------------
Attempting to register worker csparc-worker-DL-Box to command csparc-master-worker-cs08:39002
Traceback (most recent call last):
File "bin/connect.py", line 84, in <module>
print " Connecting as unix user %s" % (os.environ['USER'])
File "/net/fs10/work02/csparc/cryosparc2_worker/deps/anaconda/lib/python2.7/UserDict.py", line 40, in __getitem__
raise KeyError(key)
KeyError: 'USER'

</pre>

USER環境変数が設定されていない。cryoSPARCのユーザー名(cryoSPARCが管理しているユーザー名ではなくて、計算機システム側のユーザー名)がcryosparc_userだとすると、
<pre>
> export USER=cryosparc_user
</pre>
としてから再度connectをすれば大丈夫(なはず)。

== ホストマシンを再起動した後のクラスタの復旧 ==
停止したコンテナをdocker startで再稼働するとき、swarmのマスターではうまく行くがワーカーでは失敗するエラーが起きた。
エラーがの内容(例)は
<pre>
Error response from daemon: Could not attach to network asuaxn22bff1sq8pqqay2sg64: context deadline exceeded
Error: failed to start containers: csparc-worker-cs06
</pre>

マスターノードで docker node ls すると、ワーカーノードのSTATUSが軒並み Down になっていて、dockerのネットワークが駄目な感じがあった。が、修復の方法がよくわからず、頓挫中。

=== 原因 ===
[[#ファイアウォール設定|ファイアウォール設定]]でswarm通信用のポートをfirewall-cmdで開けるが、--permanentオプションを付けて実行しないと、計算機再起動した際に設定が消えるらしい。上記問題が出た環境は--permanetを付けずにポートを開いていたので、それゆえ再起動した後にswarm通信ができず、各ノードのSTATUSがDownとなっていたと考えられる。(実際に検証する前にネットワーク設定を消してしまったので検証はできていない)

Linux関連

2020-11-17T11:05:46Z

Kttn: /* ポート開放 */

= ネットワーク関連 =
== ネットワーク系ツールのインストール ==
=== Ubuntu 16.04 ===
<pre>
> sudo apt install iputils-ping net-tools
</pre>

== ポートスキャン ==
nmap (Network Mapper)を使えば、あるIPアドレスをもつ計算機が、どのポートを外部に開放しているかを調べることができる。

<pre>
> nmap -Pn 192.168.4.xx
</pre>

<pre>
Starting Nmap 7.60 ( https://nmap.org ) at 2020-07-16 16:47 JST
Nmap scan report for <ホスト名> (192.168.4.xx)
Host is up (0.47s latency).
Not shown: 999 filtered ports
PORT STATE SERVICE
22/tcp open ssh

Nmap done: 1 IP address (1 host up) scanned in 69.83 seconds
</pre>

といった感じで、tcp22番ポートがsshプロトコル用に開放されていることがわかる。

== firewallが動作しているかの確認 ==
=== Ubuntu 16.04 ===
firewallの制御はufw (ubuntu firewall)を使う。
<pre>
> sudo ufw status
</pre>

=== CentOS 7 ===
firewallの制御はfirewall-cmdを使う。
<pre>
> sudo firewall-cmd --state
</pre>

== firewallのゾーンについて ==
Windowsでパブリックネットワークやプライベートネットワークなど、セキュリティポリシーの異なるネットワーク設定が用意されているのと同じように、Linuxのfirewallでもゾーンと呼ばれるそのような区分けが存在する。ゾーンごとで通信を許可するプロトコルやポートを変えることができる。

存在するゾーンは以下コマンドでリストアップする。
<pre>
> sudo firewall-cmd --list-all-zones
</pre>

アクティブになっている(使用されている)ゾーン名の横には active とカッコ書きで表示され、interfaces: の項目に、そのゾーン設定のもとで運用されているネットワークインターフェースが列挙される。
<pre>
...

public (active)
target: default
icmp-block-inversion: no
interfaces: eno1
...
</pre>

== ポート、サービスの開放状態の確認 ==
firewall-cmdの--list-allオプションで、デフォルトゾーン(たぶんpublic)の設定を確認できる。特定のゾーンの設定を見たければ --zone=<ゾーン名> をさらに付け加えればよい。

<pre>
> firewall-cmd --list-all
</pre>

<pre>
public (active)
target: default
icmp-block-inversion: no
interfaces: enp129s0
sources:
services: dhcpv6-client snmp ssh
ports:
protocols:
masquerade: no
forward-ports:
source-ports:
icmp-blocks:
rich rules:
</pre>

上の出力例では、publicゾーンがDHCP, SNMP, SSHに応答できるよう設定してあるのがわかる。

== ポート開放 ==
参考：
* [https://eng-entrance.com/linux-centos-port 【すぐわかる】CentOSのポート開放のやり方]

firewall-cmdを使う。例えばpublicゾーンの2377番ポートをTCP用に開けるならば以下の様にする。
<pre>
> firewall-cmd --zone=public --add-port=2377/tcp
> firewall-cmd --reload
</pre>

上記だけでは設定は永続化されない(再起動すると元に戻る)ので、永続化させるには以下の様に --add-port するコマンドに --permanent オプションを付ける。
<pre>
> firewall-cmd --zone=public --add-port=2377/tcp --permanent
</pre>

--add-portオプションを複数回指定して、一度に複数個のポート設定を追加することもできる。

== 特定のポートが使用中か否かのチェック ==
lsofコマンドを使う。

<pre>
> lsof -i:<ポート番号>
</pre>
使われていなければ何も表示されない。管理者権限でないと表示されない場合があるので、管理者権限で実行したほうが良い。

= ファイルサーバー関連 =
== autofsを有効化する ==
/netが存在しない、または/net内でファイルサーバーのディレクトリに入ろうとしてもエラーが出る場合、autofsが動いていない。

以下の作業は管理者権限で実施する。

step1: /etc/auto.masterを編集する
* root権限でエディタで/etc/auto.masterを開き、以下の行がコメントアウトされていればコメントアウトを外す。
<pre>
/net -hosts
</pre>

step2: autofsサービスを有効化して起動する
<pre>
systemctl enable --now autofs
</pre>

step3: 確認
<pre>
ls /net/fs09/
</pre>
work01, work02などが見えればok。fs09以外にも、研究室内でNFSエクスポートをかけてあるリモートファイルシステムはすべてアクセス可能になる。

step4: ホームディレクトリのリンクを張る

研究室計算機のアカウントはホームディレクトリを /home/people/<アカウント名> としていて、その実体は /net/fs09/homes/people/<アカウント名> にある(2020/4/28現在)ので、以下の様にシンボリックリンクを張る。
<pre>
cd /home
ln -s /net/fs09/homes/people .
</pre>

= ユーザー管理関連 =
== LDAPユーザーの追加方法 ==
まずLDAPサーバーにrootログインする。
<pre>
> ssh root@ldap
</pre>

<pre>
> ls
</pre>
rootのホームディレクトリでlsすると *.ldif ファイルがごろごろ転がっているはずで、これがLDAPのユーザー登録に用いるファイル群である。

LDAPユーザーにはUIDを通しでつけているから、現状のUIDの使用状況を確認する。ユーザーは12000番台を割り当てているので、以下で一覧を表示する。
<pre>
> ldapsearch -x -L -b "dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp" | grep 'uidNumber: 12' | sort | tail
</pre>

例えば以下の様に表示されたならば、
<pre>
uidNumber: 12117
uidNumber: 12118
uidNumber: 12119
uidNumber: 12120
uidNumber: 12121
uidNumber: 12122
uidNumber: 12123
uidNumber: 12124
uidNumber: 12125
uidNumber: 12126
</pre>

新規ユーザーはUID 12127 として登録すればよい。

次にユーザーのパスワードを用意し、ハッシュ値を作成する。
<pre>
> slappasswd
New password:
Re-enter new password:
</pre>

研究室の既存のドキュメントでは「ユーザーパスワードは大文字、小文字、数字、記号を含む１２桁で設定」と書いてあるが、これが研究室での規約ということなのか、そうでないとシステムが受け付けないということなのか、よくわからない。気になったらだれか調べてください。いまのところ調べるのが面倒なため何も考えずに従っています。

以下のようなハッシュ値が表示されるから、それを控えておく。
<pre>
{SSHA}PZfbmb0GBrR+YNoWNqtQl5JXWrPSKsZJ
</pre>

で、ldifファイルのテンプレートをコピーして新規追加ユーザー用のldifファイルを用意する。

コピーの時に間違って他のldifを上書きしたりしないように注意。

新しいユーザーはフルネームが Shiroh EMIYA, ユーザー名が shiroh であるものとして説明する。
<pre>
> cp template.ldif 2020_shiroh.ldif
</pre>
2020と書いたのは2020年度に追加したユーザーであることを明らかとするため。

で、2020_shiroh.ldif を開くと以下の様になっているんで、
<pre>
dn: cn=<Firstname> <LASTNAME>,ou=People,dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp
cn: <Firstname> <LASTNAME>
gidnumber: 1001
homedirectory: /home/people/<username>
loginshell: /bin/bash
objectclass: account
objectclass: posixAccount
uid: <username>
uidnumber: <uidnumber>
userpassword: <a password encripted with slappasswd>
</pre>

<...>の部分を適宜置き換えればよい。

例えば、
<pre>
dn: cn=Shiroh EMIYA,ou=People,dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp
cn: Shiroh EMIYA
gidnumber: 1001
homedirectory: /home/people/shiroh
loginshell: /bin/bash
objectclass: account
objectclass: posixAccount
uid: shiroh
uidnumber: 12127
userpassword: {SSHA}PZfbmb0GBrR+YNoWNqtQl5JXWrPSKsZJ
</pre>

で、ldapaddコマンドでLDAPへ登録する。
<pre>
> ldapadd –x –D "cn=Manager, dc=yasunaga-lab, dc=bio, dc=kyutech, dc=ac, dc=jp" –W –f 2020_shiroh.ldif
</pre>

LDAP管理パスワードを聞かれるけど、知らなければネットワーク係に問い合わせてください。

成功すれば以下のようなメッセージだけが表示される。
<pre>
adding new entry "cn=Shiroh EMIYA,ou=People,dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp"
</pre>

で、ホームディレクトリ作成する。ホームディレクトリは/net/fs09/homes/people/に置いてあるので、そこに新規ユーザー名と同じディレクトリを作成する。パーミッションもちゃんとアレしてください
<pre>
> cd /net/fs09/homes/people
> mkdir shiroh
> chown 12127:1001 shiroh
</pre>

で、LDAPクライアントを有効化しているどっかの計算機にログインして、ユーザーとホームディレクトリが有効になっているかどうかチェックしてください。
<pre>
> ssh shiroh@cs05
</pre>
完全なる虚無のホームディレクトリを作ったためシェルがすっぴん状態ですから、ほかの人のbashrcとかを見て適当によろしくやってください。もしくはだれかやる気のある人が、ホームディレクトリのテンプレート的なものを作成してください。

== LDAPでユーザー管理していない計算機にアカウントを追加する ==
<前提>
* LDAPサーバーに研究室アカウントを登録済みであること
* アカウントを追加したい計算機で管理者権限を使えること
* アカウントを追加したい計算機でautofsが有効になっており、LDAPアカウントのホームディレクトリにアクセス可能なこと

<想定状況>
* LDAPでユーザー管理していない計算機(rc, DL-Boxなど)において、LDAPに登録してあるユーザー所有のファイルやディレクトリに同じ権限でアクセスできるようなアカウントを作りたい。ホームディレクトリも共有したい。
** LDAPを有効化しようにも既存ユーザーとLDAPユーザー名やグループ名などがバッティングしていてLDAP有効化できない場合とか、宗教上の理由によりその計算機でLDAPを使いたくない場合など。

step1: LDAPユーザーのUIDとGIDを確認する

LDAPでユーザー管理している計算機上で、idコマンドにより確認する。

例えばユーザー名がkttnである場合、
<pre>
[13:36:52 kttn@cs05 ~]
> id kttn
uid=12118(kttn) gid=1001(yasunaga-lab) groups=1001(yasunaga-lab),10(wheel)
</pre>

※ cs06ではgid=1001はLDAP有効化以前の既存グループwcsに持っていかれているので、yasunaga-labではなくwcsと表示される。

上記より、UIDは12118, GIDは1001であると確認できる。Linuxではユーザー識別にユーザー名とグループ名は関係なくて、UIDとGIDが同じであるか否かでユーザー識別がされる。したがって、UIDとGIDが上記で確認したLDAPユーザーのそれらと同じアカウントを作りさえすれば目的は達成できる。

step2: 既存アカウントおよびグループの確認

ユーザー名 kttn, uid 12118, グループ名 yasunaga-lab, gid 1001 でアカウントを追加したいものとして説明する。

アカウントを追加したい計算機にログインし、まず同じユーザー名をもつユーザーが存在しないか調べる。
<pre>
[kttn@rc ~]$ id -u kttn
1007
</pre>
遺憾ながらすでにkttnという名前のアカウントを作ってしまっていて、同じアカウント名を使えないため、ユーザー名はkttn2として作ることにする。

同様にグループ名を調べる。
<pre>
[kttn@rc ~]$ id -g yasunaga-lab
id: yasunaga-lab: no such user
</pre>
yasunaga-labという名前の既存グループは存在しないため、yasunaga-labという名前のグループを新たに作成しても良い。

次に同じUIDを持つユーザーが存在しないか調べる。
<pre>
[kttn@rc ~]$ id -un 12118
id: 12118: no such user
</pre>
存在しない。

同様にGID
<pre>
[kttn@rc ~]$ id -gn 1001
wcs
</pre>
残念ながらwcsというグループがすでにGID 1001を割り当てられている。yasunaga-labというグループは作らずに、wcsというグループでアカウントを作ることにする。

まとめると、ユーザー名 kttn2 (uid=12118), 所属グループ wcs (gid=1001) でアカウントを作成することにする。

step3: アカウント作成

管理者権限で実施。
<pre>
[root@rc ~]# useradd --home-dir /home/people/kttn --gid 1001 --groups wheel --no-create-home --shell /usr/bin/bash --uid 12118 kttn2
</pre>
--shellはLDAPユーザーのそれと同じにする。--shellのパスはOSによって違うかもしれないが、centos7の場合bashは/usr/bin/bashである。Ubuntu16.04の場合は/bin/bash。

--groupsは追加のグループを指定していて、centos7ではwheelを追加するとsudoコマンド使用が可能になる。

--home-dirは、LDAPユーザーで使っているホームディレクトリを指定すること！

次にパスワードの設定。
<pre>
[root@rc ~]# passwd kttn2
Changing password for user kttn2.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.
</pre>
LDAPユーザーのそれと同じにしとくが吉。

step4: 確認

suコマンドで追加したユーザーになってみる。
<pre>
[root@rc ~]# su kttn2
[14:32:31 kttn2@rc /root]
> cd

[14:32:31 kttn2@rc ~]
> ls
ビデオデスクトップ docker pyenv-init.sh scripts tmp 画像
ダウンロードドキュメント Downloads R softwares web 音楽
テンプレート Desktop perl5 repos thinclient_drives 公開
</pre>
問題なくホームディレクトリが見れている。あとは念のためファイル作れるかとか消せるかとかをチェックすればよい。

もちろん外側からsshするときは新たに作成したユーザー名で、
<pre>
ssh kttn2@rc
</pre>
とかやる。

=ウェブサーバー関連=
== 特定のIPアドレスをアクセス禁止にする ==
Scientific Linux 6の場合。

ターミナルでログインし、/etc/sysconfig/iptables をroot権限で開き、以下の書式でIPを追記する。
<pre>
-A INPUT -s <IP address>/<subnet bit数> -p tcp -j REJECT
</pre>
例えば192.0.2.xxx からのアクセスを禁止するには、192.0.2.0/24 と書く。udpアクセスを禁止する場合はtcpの代わりにudpと書く。

上記を編集した後、以下によりiptablesをリロードして設定を反映させる。
<pre>
service iptables restart
</pre>
iptablesを再起動すると、ごくわずかな時間だがiptablesによるアクセス管理が無効になるようで、その間アクセスが多くなったりする。

= ロケール =
== CentOS7 ==
以下コマンドでロケールを指定し、設定を反映させる。
<pre>
sudo localectl set-locale LANG=ja_JP.UTF-8
source /etc/locale.conf
</pre>
簡単にウェブを探しても、システム全体でこれを永続させるような方法が見当たらず。システムの環境変数としてLANG=ja_JP.UTF-8を指定すればいいような気もするが...

ユーザーの.bash_profileに、以下を追記する。
<pre>
LANG=ja_JP.UTF-8
export LANG
</pre>
ログイン直後はロケール設定失敗みたいなエラーが出てくるかもしれないが、それを除けば日本語コンソール環境みたいになる。

== CentOS7 Docker ==
Dockerの場合はlocalectfを使用できないので、以下コマンドを使う。nvidia/cudaのcentos7イメージの場合はこれだけでいける、はず。
<pre>
sudo localedef -f UTF-8 -i ja_JP ja_JP.UTF-8
</pre>

== Ubuntu 18.04 Docker ==
以下でokだった。
<pre>
sudo apt install language-pack-ja-base
</pre>

= BASH =
== ディレクトリスタック ==
複数のディレクトリパスをディレクトリスタックに記憶しておき、ディレクトリ移動を楽にする仕組み。

* ディレクトリを移動するとともに、ディレクトリスタックに追加するコマンド
<pre>
pushd <行先ディレクトリ>
</pre>

* 現在のディレクトリスタックの表示
<pre>
dirs -v
</pre>
1カラム目がディレクトリスタックにおけるそのディレクトリの識別番号。

* ディレクトリスタックの中の特定のディレクトリへ移動
<pre>
# 識別番号を確認
dirs -v
# 移動(+記号を忘れずに)
pushd +<識別番号>
</pre>

= SSH =
== リモートマシンでコマンドだけ実行する ==
リモートで実行したいコマンドをいつものsshコマンドの後ろに書くだけ。クォートは不要。
<pre>
ssh user@host command
</pre>

Docker関連

2020-11-17T09:17:41Z

Kttn: /* ネットワーク関係 */

mediawiki

2020-11-17T09:15:35Z

Kttn: /* 内部リンク */

== データの埋め込み表示 ==
=== 画像ファイルを埋め込んで表示する ===
* 「ファイルをアップロード」から画像ファイルをアップロードする。このとき、ファイル名をコピっておく。
* 例えばアップロードしたファイル名がhoge.pngならば、以下の書式で本文に記述すればよい。
<pre>
[[File:hoge.png]]
</pre>

* 画像が大きすぎる場合などは大きさを制限すればよい。
<pre>
# 縦を400ピクセルに制限
[[File:hoge.png|x400px]]

# 幅を200ピクセルに制限
[[File:hoge.png|200px]]

# 幅200ピクセル、縦400ピクセルに制限
[[File:hoge.png|200x400px]]
</pre>

* 公式ドキュメント
** https://www.mediawiki.org/wiki/Help:Images/ja

== 内部リンク ==
* 同じMediawiki内のコンテンツへのリンクを内部リンクと呼ぶ。
* 角かっこ2個で囲むのが基本。
=== 異なるページへの内部リンク ===
例えばメインページにリンクを貼るには以下の様にする。
<pre>
[[メインページ]]
</pre>
実際やってみた結果⇒ [[メインページ]]

=== 異なるページ内の節への内部リンク ===
例えばメインページの「Eospediaにようこそ」節へのリンクを貼るには、
<pre>
[[メインページ#Eospediaにようこそ]]
</pre>
実際やってみた結果⇒ [[メインページ#Eospediaにようこそ]]

別の文字列に置き換えるには、以下の様に置き換え文字列をパイプ記号 | に続けて書けばよい。
<pre>
[[メインページ#Eospediaにようこそ|おいでませEospedia]]
</pre>
実際やってみた結果⇒ [[メインページ#Eospediaにようこそ|おいでませEospedia]]

=== 同一ページ内の節への内部リンク ===
例えば本ページの「データの埋め込み表示」節へのリンクを貼るには以下の様にする。
<pre>
[[#データの埋め込み表示]]
</pre>
実際やってみた結果⇒ [[#データの埋め込み表示]]

ハッシュ記号を消したいとか、別の文字列に置き換えるには、以下の様に置き換え文字列をパイプ記号 | に続けて書けばよい。
<pre>
[[#データの埋め込み表示|別の文字列]]
</pre>
実際やってみた結果⇒ [[#データの埋め込み表示|別の文字列]]

Linux関連

2020-11-17T09:02:15Z

Kttn: /* SSH */

= ネットワーク関連 =
== ネットワーク系ツールのインストール ==
=== Ubuntu 16.04 ===
<pre>
> sudo apt install iputils-ping net-tools
</pre>

== ポートスキャン ==
nmap (Network Mapper)を使えば、あるIPアドレスをもつ計算機が、どのポートを外部に開放しているかを調べることができる。

<pre>
> nmap -Pn 192.168.4.xx
</pre>

<pre>
Starting Nmap 7.60 ( https://nmap.org ) at 2020-07-16 16:47 JST
Nmap scan report for <ホスト名> (192.168.4.xx)
Host is up (0.47s latency).
Not shown: 999 filtered ports
PORT STATE SERVICE
22/tcp open ssh

Nmap done: 1 IP address (1 host up) scanned in 69.83 seconds
</pre>

といった感じで、tcp22番ポートがsshプロトコル用に開放されていることがわかる。

== firewallが動作しているかの確認 ==
=== Ubuntu 16.04 ===
firewallの制御はufw (ubuntu firewall)を使う。
<pre>
> sudo ufw status
</pre>

=== CentOS 7 ===
firewallの制御はfirewall-cmdを使う。
<pre>
> sudo firewall-cmd --state
</pre>

== firewallのゾーンについて ==
Windowsでパブリックネットワークやプライベートネットワークなど、セキュリティポリシーの異なるネットワーク設定が用意されているのと同じように、Linuxのfirewallでもゾーンと呼ばれるそのような区分けが存在する。ゾーンごとで通信を許可するプロトコルやポートを変えることができる。

存在するゾーンは以下コマンドでリストアップする。
<pre>
> sudo firewall-cmd --list-all-zones
</pre>

アクティブになっている(使用されている)ゾーン名の横には active とカッコ書きで表示され、interfaces: の項目に、そのゾーン設定のもとで運用されているネットワークインターフェースが列挙される。
<pre>
...

public (active)
target: default
icmp-block-inversion: no
interfaces: eno1
...
</pre>

== ポート、サービスの開放状態の確認 ==
firewall-cmdの--list-allオプションで、デフォルトゾーン(たぶんpublic)の設定を確認できる。特定のゾーンの設定を見たければ --zone=<ゾーン名> をさらに付け加えればよい。

<pre>
> firewall-cmd --list-all
</pre>

<pre>
public (active)
target: default
icmp-block-inversion: no
interfaces: enp129s0
sources:
services: dhcpv6-client snmp ssh
ports:
protocols:
masquerade: no
forward-ports:
source-ports:
icmp-blocks:
rich rules:
</pre>

上の出力例では、publicゾーンがDHCP, SNMP, SSHに応答できるよう設定してあるのがわかる。

== ポート開放 ==
参考：
* [https://eng-entrance.com/linux-centos-port 【すぐわかる】CentOSのポート開放のやり方]

firewall-cmdを使う。例えばpublicゾーンの2377番ポートをTCP用に開けるならば以下の様にする。
<pre>
> firewall-cmd --zone=public --add-port=2377/tcp
> firewall-cmd --reload
</pre>

--add-portオプションを複数回指定して、一度に複数個のポート設定を追加することもできる。

== 特定のポートが使用中か否かのチェック ==
lsofコマンドを使う。

<pre>
> lsof -i:<ポート番号>
</pre>
使われていなければ何も表示されない。管理者権限でないと表示されない場合があるので、管理者権限で実行したほうが良い。

= ファイルサーバー関連 =
== autofsを有効化する ==
/netが存在しない、または/net内でファイルサーバーのディレクトリに入ろうとしてもエラーが出る場合、autofsが動いていない。

以下の作業は管理者権限で実施する。

step1: /etc/auto.masterを編集する
* root権限でエディタで/etc/auto.masterを開き、以下の行がコメントアウトされていればコメントアウトを外す。
<pre>
/net -hosts
</pre>

step2: autofsサービスを有効化して起動する
<pre>
systemctl enable --now autofs
</pre>

step3: 確認
<pre>
ls /net/fs09/
</pre>
work01, work02などが見えればok。fs09以外にも、研究室内でNFSエクスポートをかけてあるリモートファイルシステムはすべてアクセス可能になる。

step4: ホームディレクトリのリンクを張る

研究室計算機のアカウントはホームディレクトリを /home/people/<アカウント名> としていて、その実体は /net/fs09/homes/people/<アカウント名> にある(2020/4/28現在)ので、以下の様にシンボリックリンクを張る。
<pre>
cd /home
ln -s /net/fs09/homes/people .
</pre>

= ユーザー管理関連 =
== LDAPユーザーの追加方法 ==
まずLDAPサーバーにrootログインする。
<pre>
> ssh root@ldap
</pre>

<pre>
> ls
</pre>
rootのホームディレクトリでlsすると *.ldif ファイルがごろごろ転がっているはずで、これがLDAPのユーザー登録に用いるファイル群である。

LDAPユーザーにはUIDを通しでつけているから、現状のUIDの使用状況を確認する。ユーザーは12000番台を割り当てているので、以下で一覧を表示する。
<pre>
> ldapsearch -x -L -b "dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp" | grep 'uidNumber: 12' | sort | tail
</pre>

例えば以下の様に表示されたならば、
<pre>
uidNumber: 12117
uidNumber: 12118
uidNumber: 12119
uidNumber: 12120
uidNumber: 12121
uidNumber: 12122
uidNumber: 12123
uidNumber: 12124
uidNumber: 12125
uidNumber: 12126
</pre>

新規ユーザーはUID 12127 として登録すればよい。

次にユーザーのパスワードを用意し、ハッシュ値を作成する。
<pre>
> slappasswd
New password:
Re-enter new password:
</pre>

研究室の既存のドキュメントでは「ユーザーパスワードは大文字、小文字、数字、記号を含む１２桁で設定」と書いてあるが、これが研究室での規約ということなのか、そうでないとシステムが受け付けないということなのか、よくわからない。気になったらだれか調べてください。いまのところ調べるのが面倒なため何も考えずに従っています。

以下のようなハッシュ値が表示されるから、それを控えておく。
<pre>
{SSHA}PZfbmb0GBrR+YNoWNqtQl5JXWrPSKsZJ
</pre>

で、ldifファイルのテンプレートをコピーして新規追加ユーザー用のldifファイルを用意する。

コピーの時に間違って他のldifを上書きしたりしないように注意。

新しいユーザーはフルネームが Shiroh EMIYA, ユーザー名が shiroh であるものとして説明する。
<pre>
> cp template.ldif 2020_shiroh.ldif
</pre>
2020と書いたのは2020年度に追加したユーザーであることを明らかとするため。

で、2020_shiroh.ldif を開くと以下の様になっているんで、
<pre>
dn: cn=<Firstname> <LASTNAME>,ou=People,dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp
cn: <Firstname> <LASTNAME>
gidnumber: 1001
homedirectory: /home/people/<username>
loginshell: /bin/bash
objectclass: account
objectclass: posixAccount
uid: <username>
uidnumber: <uidnumber>
userpassword: <a password encripted with slappasswd>
</pre>

<...>の部分を適宜置き換えればよい。

例えば、
<pre>
dn: cn=Shiroh EMIYA,ou=People,dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp
cn: Shiroh EMIYA
gidnumber: 1001
homedirectory: /home/people/shiroh
loginshell: /bin/bash
objectclass: account
objectclass: posixAccount
uid: shiroh
uidnumber: 12127
userpassword: {SSHA}PZfbmb0GBrR+YNoWNqtQl5JXWrPSKsZJ
</pre>

で、ldapaddコマンドでLDAPへ登録する。
<pre>
> ldapadd –x –D "cn=Manager, dc=yasunaga-lab, dc=bio, dc=kyutech, dc=ac, dc=jp" –W –f 2020_shiroh.ldif
</pre>

LDAP管理パスワードを聞かれるけど、知らなければネットワーク係に問い合わせてください。

成功すれば以下のようなメッセージだけが表示される。
<pre>
adding new entry "cn=Shiroh EMIYA,ou=People,dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp"
</pre>

で、ホームディレクトリ作成する。ホームディレクトリは/net/fs09/homes/people/に置いてあるので、そこに新規ユーザー名と同じディレクトリを作成する。パーミッションもちゃんとアレしてください
<pre>
> cd /net/fs09/homes/people
> mkdir shiroh
> chown 12127:1001 shiroh
</pre>

で、LDAPクライアントを有効化しているどっかの計算機にログインして、ユーザーとホームディレクトリが有効になっているかどうかチェックしてください。
<pre>
> ssh shiroh@cs05
</pre>
完全なる虚無のホームディレクトリを作ったためシェルがすっぴん状態ですから、ほかの人のbashrcとかを見て適当によろしくやってください。もしくはだれかやる気のある人が、ホームディレクトリのテンプレート的なものを作成してください。

== LDAPでユーザー管理していない計算機にアカウントを追加する ==
<前提>
* LDAPサーバーに研究室アカウントを登録済みであること
* アカウントを追加したい計算機で管理者権限を使えること
* アカウントを追加したい計算機でautofsが有効になっており、LDAPアカウントのホームディレクトリにアクセス可能なこと

<想定状況>
* LDAPでユーザー管理していない計算機(rc, DL-Boxなど)において、LDAPに登録してあるユーザー所有のファイルやディレクトリに同じ権限でアクセスできるようなアカウントを作りたい。ホームディレクトリも共有したい。
** LDAPを有効化しようにも既存ユーザーとLDAPユーザー名やグループ名などがバッティングしていてLDAP有効化できない場合とか、宗教上の理由によりその計算機でLDAPを使いたくない場合など。

step1: LDAPユーザーのUIDとGIDを確認する

LDAPでユーザー管理している計算機上で、idコマンドにより確認する。

例えばユーザー名がkttnである場合、
<pre>
[13:36:52 kttn@cs05 ~]
> id kttn
uid=12118(kttn) gid=1001(yasunaga-lab) groups=1001(yasunaga-lab),10(wheel)
</pre>

※ cs06ではgid=1001はLDAP有効化以前の既存グループwcsに持っていかれているので、yasunaga-labではなくwcsと表示される。

上記より、UIDは12118, GIDは1001であると確認できる。Linuxではユーザー識別にユーザー名とグループ名は関係なくて、UIDとGIDが同じであるか否かでユーザー識別がされる。したがって、UIDとGIDが上記で確認したLDAPユーザーのそれらと同じアカウントを作りさえすれば目的は達成できる。

step2: 既存アカウントおよびグループの確認

ユーザー名 kttn, uid 12118, グループ名 yasunaga-lab, gid 1001 でアカウントを追加したいものとして説明する。

アカウントを追加したい計算機にログインし、まず同じユーザー名をもつユーザーが存在しないか調べる。
<pre>
[kttn@rc ~]$ id -u kttn
1007
</pre>
遺憾ながらすでにkttnという名前のアカウントを作ってしまっていて、同じアカウント名を使えないため、ユーザー名はkttn2として作ることにする。

同様にグループ名を調べる。
<pre>
[kttn@rc ~]$ id -g yasunaga-lab
id: yasunaga-lab: no such user
</pre>
yasunaga-labという名前の既存グループは存在しないため、yasunaga-labという名前のグループを新たに作成しても良い。

次に同じUIDを持つユーザーが存在しないか調べる。
<pre>
[kttn@rc ~]$ id -un 12118
id: 12118: no such user
</pre>
存在しない。

同様にGID
<pre>
[kttn@rc ~]$ id -gn 1001
wcs
</pre>
残念ながらwcsというグループがすでにGID 1001を割り当てられている。yasunaga-labというグループは作らずに、wcsというグループでアカウントを作ることにする。

まとめると、ユーザー名 kttn2 (uid=12118), 所属グループ wcs (gid=1001) でアカウントを作成することにする。

step3: アカウント作成

管理者権限で実施。
<pre>
[root@rc ~]# useradd --home-dir /home/people/kttn --gid 1001 --groups wheel --no-create-home --shell /usr/bin/bash --uid 12118 kttn2
</pre>
--shellはLDAPユーザーのそれと同じにする。--shellのパスはOSによって違うかもしれないが、centos7の場合bashは/usr/bin/bashである。Ubuntu16.04の場合は/bin/bash。

--groupsは追加のグループを指定していて、centos7ではwheelを追加するとsudoコマンド使用が可能になる。

--home-dirは、LDAPユーザーで使っているホームディレクトリを指定すること！

次にパスワードの設定。
<pre>
[root@rc ~]# passwd kttn2
Changing password for user kttn2.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.
</pre>
LDAPユーザーのそれと同じにしとくが吉。

step4: 確認

suコマンドで追加したユーザーになってみる。
<pre>
[root@rc ~]# su kttn2
[14:32:31 kttn2@rc /root]
> cd

[14:32:31 kttn2@rc ~]
> ls
ビデオデスクトップ docker pyenv-init.sh scripts tmp 画像
ダウンロードドキュメント Downloads R softwares web 音楽
テンプレート Desktop perl5 repos thinclient_drives 公開
</pre>
問題なくホームディレクトリが見れている。あとは念のためファイル作れるかとか消せるかとかをチェックすればよい。

もちろん外側からsshするときは新たに作成したユーザー名で、
<pre>
ssh kttn2@rc
</pre>
とかやる。

=ウェブサーバー関連=
== 特定のIPアドレスをアクセス禁止にする ==
Scientific Linux 6の場合。

ターミナルでログインし、/etc/sysconfig/iptables をroot権限で開き、以下の書式でIPを追記する。
<pre>
-A INPUT -s <IP address>/<subnet bit数> -p tcp -j REJECT
</pre>
例えば192.0.2.xxx からのアクセスを禁止するには、192.0.2.0/24 と書く。udpアクセスを禁止する場合はtcpの代わりにudpと書く。

上記を編集した後、以下によりiptablesをリロードして設定を反映させる。
<pre>
service iptables restart
</pre>
iptablesを再起動すると、ごくわずかな時間だがiptablesによるアクセス管理が無効になるようで、その間アクセスが多くなったりする。

= ロケール =
== CentOS7 ==
以下コマンドでロケールを指定し、設定を反映させる。
<pre>
sudo localectl set-locale LANG=ja_JP.UTF-8
source /etc/locale.conf
</pre>
簡単にウェブを探しても、システム全体でこれを永続させるような方法が見当たらず。システムの環境変数としてLANG=ja_JP.UTF-8を指定すればいいような気もするが...

ユーザーの.bash_profileに、以下を追記する。
<pre>
LANG=ja_JP.UTF-8
export LANG
</pre>
ログイン直後はロケール設定失敗みたいなエラーが出てくるかもしれないが、それを除けば日本語コンソール環境みたいになる。

== CentOS7 Docker ==
Dockerの場合はlocalectfを使用できないので、以下コマンドを使う。nvidia/cudaのcentos7イメージの場合はこれだけでいける、はず。
<pre>
sudo localedef -f UTF-8 -i ja_JP ja_JP.UTF-8
</pre>

== Ubuntu 18.04 Docker ==
以下でokだった。
<pre>
sudo apt install language-pack-ja-base
</pre>

= BASH =
== ディレクトリスタック ==
複数のディレクトリパスをディレクトリスタックに記憶しておき、ディレクトリ移動を楽にする仕組み。

* ディレクトリを移動するとともに、ディレクトリスタックに追加するコマンド
<pre>
pushd <行先ディレクトリ>
</pre>

* 現在のディレクトリスタックの表示
<pre>
dirs -v
</pre>
1カラム目がディレクトリスタックにおけるそのディレクトリの識別番号。

* ディレクトリスタックの中の特定のディレクトリへ移動
<pre>
# 識別番号を確認
dirs -v
# 移動(+記号を忘れずに)
pushd +<識別番号>
</pre>

= SSH =
== リモートマシンでコマンドだけ実行する ==
リモートで実行したいコマンドをいつものsshコマンドの後ろに書くだけ。クォートは不要。
<pre>
ssh user@host command
</pre>

Linux関連

2020-11-17T09:01:59Z

Kttn:

= ネットワーク関連 =
== ネットワーク系ツールのインストール ==
=== Ubuntu 16.04 ===
<pre>
> sudo apt install iputils-ping net-tools
</pre>

== ポートスキャン ==
nmap (Network Mapper)を使えば、あるIPアドレスをもつ計算機が、どのポートを外部に開放しているかを調べることができる。

<pre>
> nmap -Pn 192.168.4.xx
</pre>

<pre>
Starting Nmap 7.60 ( https://nmap.org ) at 2020-07-16 16:47 JST
Nmap scan report for <ホスト名> (192.168.4.xx)
Host is up (0.47s latency).
Not shown: 999 filtered ports
PORT STATE SERVICE
22/tcp open ssh

Nmap done: 1 IP address (1 host up) scanned in 69.83 seconds
</pre>

といった感じで、tcp22番ポートがsshプロトコル用に開放されていることがわかる。

== firewallが動作しているかの確認 ==
=== Ubuntu 16.04 ===
firewallの制御はufw (ubuntu firewall)を使う。
<pre>
> sudo ufw status
</pre>

=== CentOS 7 ===
firewallの制御はfirewall-cmdを使う。
<pre>
> sudo firewall-cmd --state
</pre>

== firewallのゾーンについて ==
Windowsでパブリックネットワークやプライベートネットワークなど、セキュリティポリシーの異なるネットワーク設定が用意されているのと同じように、Linuxのfirewallでもゾーンと呼ばれるそのような区分けが存在する。ゾーンごとで通信を許可するプロトコルやポートを変えることができる。

存在するゾーンは以下コマンドでリストアップする。
<pre>
> sudo firewall-cmd --list-all-zones
</pre>

アクティブになっている(使用されている)ゾーン名の横には active とカッコ書きで表示され、interfaces: の項目に、そのゾーン設定のもとで運用されているネットワークインターフェースが列挙される。
<pre>
...

public (active)
target: default
icmp-block-inversion: no
interfaces: eno1
...
</pre>

== ポート、サービスの開放状態の確認 ==
firewall-cmdの--list-allオプションで、デフォルトゾーン(たぶんpublic)の設定を確認できる。特定のゾーンの設定を見たければ --zone=<ゾーン名> をさらに付け加えればよい。

<pre>
> firewall-cmd --list-all
</pre>

<pre>
public (active)
target: default
icmp-block-inversion: no
interfaces: enp129s0
sources:
services: dhcpv6-client snmp ssh
ports:
protocols:
masquerade: no
forward-ports:
source-ports:
icmp-blocks:
rich rules:
</pre>

上の出力例では、publicゾーンがDHCP, SNMP, SSHに応答できるよう設定してあるのがわかる。

== ポート開放 ==
参考：
* [https://eng-entrance.com/linux-centos-port 【すぐわかる】CentOSのポート開放のやり方]

firewall-cmdを使う。例えばpublicゾーンの2377番ポートをTCP用に開けるならば以下の様にする。
<pre>
> firewall-cmd --zone=public --add-port=2377/tcp
> firewall-cmd --reload
</pre>

--add-portオプションを複数回指定して、一度に複数個のポート設定を追加することもできる。

== 特定のポートが使用中か否かのチェック ==
lsofコマンドを使う。

<pre>
> lsof -i:<ポート番号>
</pre>
使われていなければ何も表示されない。管理者権限でないと表示されない場合があるので、管理者権限で実行したほうが良い。

= ファイルサーバー関連 =
== autofsを有効化する ==
/netが存在しない、または/net内でファイルサーバーのディレクトリに入ろうとしてもエラーが出る場合、autofsが動いていない。

以下の作業は管理者権限で実施する。

step1: /etc/auto.masterを編集する
* root権限でエディタで/etc/auto.masterを開き、以下の行がコメントアウトされていればコメントアウトを外す。
<pre>
/net -hosts
</pre>

step2: autofsサービスを有効化して起動する
<pre>
systemctl enable --now autofs
</pre>

step3: 確認
<pre>
ls /net/fs09/
</pre>
work01, work02などが見えればok。fs09以外にも、研究室内でNFSエクスポートをかけてあるリモートファイルシステムはすべてアクセス可能になる。

step4: ホームディレクトリのリンクを張る

研究室計算機のアカウントはホームディレクトリを /home/people/<アカウント名> としていて、その実体は /net/fs09/homes/people/<アカウント名> にある(2020/4/28現在)ので、以下の様にシンボリックリンクを張る。
<pre>
cd /home
ln -s /net/fs09/homes/people .
</pre>

= ユーザー管理関連 =
== LDAPユーザーの追加方法 ==
まずLDAPサーバーにrootログインする。
<pre>
> ssh root@ldap
</pre>

<pre>
> ls
</pre>
rootのホームディレクトリでlsすると *.ldif ファイルがごろごろ転がっているはずで、これがLDAPのユーザー登録に用いるファイル群である。

LDAPユーザーにはUIDを通しでつけているから、現状のUIDの使用状況を確認する。ユーザーは12000番台を割り当てているので、以下で一覧を表示する。
<pre>
> ldapsearch -x -L -b "dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp" | grep 'uidNumber: 12' | sort | tail
</pre>

例えば以下の様に表示されたならば、
<pre>
uidNumber: 12117
uidNumber: 12118
uidNumber: 12119
uidNumber: 12120
uidNumber: 12121
uidNumber: 12122
uidNumber: 12123
uidNumber: 12124
uidNumber: 12125
uidNumber: 12126
</pre>

新規ユーザーはUID 12127 として登録すればよい。

次にユーザーのパスワードを用意し、ハッシュ値を作成する。
<pre>
> slappasswd
New password:
Re-enter new password:
</pre>

研究室の既存のドキュメントでは「ユーザーパスワードは大文字、小文字、数字、記号を含む１２桁で設定」と書いてあるが、これが研究室での規約ということなのか、そうでないとシステムが受け付けないということなのか、よくわからない。気になったらだれか調べてください。いまのところ調べるのが面倒なため何も考えずに従っています。

以下のようなハッシュ値が表示されるから、それを控えておく。
<pre>
{SSHA}PZfbmb0GBrR+YNoWNqtQl5JXWrPSKsZJ
</pre>

で、ldifファイルのテンプレートをコピーして新規追加ユーザー用のldifファイルを用意する。

コピーの時に間違って他のldifを上書きしたりしないように注意。

新しいユーザーはフルネームが Shiroh EMIYA, ユーザー名が shiroh であるものとして説明する。
<pre>
> cp template.ldif 2020_shiroh.ldif
</pre>
2020と書いたのは2020年度に追加したユーザーであることを明らかとするため。

で、2020_shiroh.ldif を開くと以下の様になっているんで、
<pre>
dn: cn=<Firstname> <LASTNAME>,ou=People,dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp
cn: <Firstname> <LASTNAME>
gidnumber: 1001
homedirectory: /home/people/<username>
loginshell: /bin/bash
objectclass: account
objectclass: posixAccount
uid: <username>
uidnumber: <uidnumber>
userpassword: <a password encripted with slappasswd>
</pre>

<...>の部分を適宜置き換えればよい。

例えば、
<pre>
dn: cn=Shiroh EMIYA,ou=People,dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp
cn: Shiroh EMIYA
gidnumber: 1001
homedirectory: /home/people/shiroh
loginshell: /bin/bash
objectclass: account
objectclass: posixAccount
uid: shiroh
uidnumber: 12127
userpassword: {SSHA}PZfbmb0GBrR+YNoWNqtQl5JXWrPSKsZJ
</pre>

で、ldapaddコマンドでLDAPへ登録する。
<pre>
> ldapadd –x –D "cn=Manager, dc=yasunaga-lab, dc=bio, dc=kyutech, dc=ac, dc=jp" –W –f 2020_shiroh.ldif
</pre>

LDAP管理パスワードを聞かれるけど、知らなければネットワーク係に問い合わせてください。

成功すれば以下のようなメッセージだけが表示される。
<pre>
adding new entry "cn=Shiroh EMIYA,ou=People,dc=yasunaga-lab,dc=bio,dc=kyutech,dc=ac,dc=jp"
</pre>

で、ホームディレクトリ作成する。ホームディレクトリは/net/fs09/homes/people/に置いてあるので、そこに新規ユーザー名と同じディレクトリを作成する。パーミッションもちゃんとアレしてください
<pre>
> cd /net/fs09/homes/people
> mkdir shiroh
> chown 12127:1001 shiroh
</pre>

で、LDAPクライアントを有効化しているどっかの計算機にログインして、ユーザーとホームディレクトリが有効になっているかどうかチェックしてください。
<pre>
> ssh shiroh@cs05
</pre>
完全なる虚無のホームディレクトリを作ったためシェルがすっぴん状態ですから、ほかの人のbashrcとかを見て適当によろしくやってください。もしくはだれかやる気のある人が、ホームディレクトリのテンプレート的なものを作成してください。

== LDAPでユーザー管理していない計算機にアカウントを追加する ==
<前提>
* LDAPサーバーに研究室アカウントを登録済みであること
* アカウントを追加したい計算機で管理者権限を使えること
* アカウントを追加したい計算機でautofsが有効になっており、LDAPアカウントのホームディレクトリにアクセス可能なこと

<想定状況>
* LDAPでユーザー管理していない計算機(rc, DL-Boxなど)において、LDAPに登録してあるユーザー所有のファイルやディレクトリに同じ権限でアクセスできるようなアカウントを作りたい。ホームディレクトリも共有したい。
** LDAPを有効化しようにも既存ユーザーとLDAPユーザー名やグループ名などがバッティングしていてLDAP有効化できない場合とか、宗教上の理由によりその計算機でLDAPを使いたくない場合など。

step1: LDAPユーザーのUIDとGIDを確認する

LDAPでユーザー管理している計算機上で、idコマンドにより確認する。

例えばユーザー名がkttnである場合、
<pre>
[13:36:52 kttn@cs05 ~]
> id kttn
uid=12118(kttn) gid=1001(yasunaga-lab) groups=1001(yasunaga-lab),10(wheel)
</pre>

※ cs06ではgid=1001はLDAP有効化以前の既存グループwcsに持っていかれているので、yasunaga-labではなくwcsと表示される。

上記より、UIDは12118, GIDは1001であると確認できる。Linuxではユーザー識別にユーザー名とグループ名は関係なくて、UIDとGIDが同じであるか否かでユーザー識別がされる。したがって、UIDとGIDが上記で確認したLDAPユーザーのそれらと同じアカウントを作りさえすれば目的は達成できる。

step2: 既存アカウントおよびグループの確認

ユーザー名 kttn, uid 12118, グループ名 yasunaga-lab, gid 1001 でアカウントを追加したいものとして説明する。

アカウントを追加したい計算機にログインし、まず同じユーザー名をもつユーザーが存在しないか調べる。
<pre>
[kttn@rc ~]$ id -u kttn
1007
</pre>
遺憾ながらすでにkttnという名前のアカウントを作ってしまっていて、同じアカウント名を使えないため、ユーザー名はkttn2として作ることにする。

同様にグループ名を調べる。
<pre>
[kttn@rc ~]$ id -g yasunaga-lab
id: yasunaga-lab: no such user
</pre>
yasunaga-labという名前の既存グループは存在しないため、yasunaga-labという名前のグループを新たに作成しても良い。

次に同じUIDを持つユーザーが存在しないか調べる。
<pre>
[kttn@rc ~]$ id -un 12118
id: 12118: no such user
</pre>
存在しない。

同様にGID
<pre>
[kttn@rc ~]$ id -gn 1001
wcs
</pre>
残念ながらwcsというグループがすでにGID 1001を割り当てられている。yasunaga-labというグループは作らずに、wcsというグループでアカウントを作ることにする。

まとめると、ユーザー名 kttn2 (uid=12118), 所属グループ wcs (gid=1001) でアカウントを作成することにする。

step3: アカウント作成

管理者権限で実施。
<pre>
[root@rc ~]# useradd --home-dir /home/people/kttn --gid 1001 --groups wheel --no-create-home --shell /usr/bin/bash --uid 12118 kttn2
</pre>
--shellはLDAPユーザーのそれと同じにする。--shellのパスはOSによって違うかもしれないが、centos7の場合bashは/usr/bin/bashである。Ubuntu16.04の場合は/bin/bash。

--groupsは追加のグループを指定していて、centos7ではwheelを追加するとsudoコマンド使用が可能になる。

--home-dirは、LDAPユーザーで使っているホームディレクトリを指定すること！

次にパスワードの設定。
<pre>
[root@rc ~]# passwd kttn2
Changing password for user kttn2.
New password:
Retype new password:
passwd: all authentication tokens updated successfully.
</pre>
LDAPユーザーのそれと同じにしとくが吉。

step4: 確認

suコマンドで追加したユーザーになってみる。
<pre>
[root@rc ~]# su kttn2
[14:32:31 kttn2@rc /root]
> cd

[14:32:31 kttn2@rc ~]
> ls
ビデオデスクトップ docker pyenv-init.sh scripts tmp 画像
ダウンロードドキュメント Downloads R softwares web 音楽
テンプレート Desktop perl5 repos thinclient_drives 公開
</pre>
問題なくホームディレクトリが見れている。あとは念のためファイル作れるかとか消せるかとかをチェックすればよい。

もちろん外側からsshするときは新たに作成したユーザー名で、
<pre>
ssh kttn2@rc
</pre>
とかやる。

=ウェブサーバー関連=
== 特定のIPアドレスをアクセス禁止にする ==
Scientific Linux 6の場合。

ターミナルでログインし、/etc/sysconfig/iptables をroot権限で開き、以下の書式でIPを追記する。
<pre>
-A INPUT -s <IP address>/<subnet bit数> -p tcp -j REJECT
</pre>
例えば192.0.2.xxx からのアクセスを禁止するには、192.0.2.0/24 と書く。udpアクセスを禁止する場合はtcpの代わりにudpと書く。

上記を編集した後、以下によりiptablesをリロードして設定を反映させる。
<pre>
service iptables restart
</pre>
iptablesを再起動すると、ごくわずかな時間だがiptablesによるアクセス管理が無効になるようで、その間アクセスが多くなったりする。

= ロケール =
== CentOS7 ==
以下コマンドでロケールを指定し、設定を反映させる。
<pre>
sudo localectl set-locale LANG=ja_JP.UTF-8
source /etc/locale.conf
</pre>
簡単にウェブを探しても、システム全体でこれを永続させるような方法が見当たらず。システムの環境変数としてLANG=ja_JP.UTF-8を指定すればいいような気もするが...

ユーザーの.bash_profileに、以下を追記する。
<pre>
LANG=ja_JP.UTF-8
export LANG
</pre>
ログイン直後はロケール設定失敗みたいなエラーが出てくるかもしれないが、それを除けば日本語コンソール環境みたいになる。

== CentOS7 Docker ==
Dockerの場合はlocalectfを使用できないので、以下コマンドを使う。nvidia/cudaのcentos7イメージの場合はこれだけでいける、はず。
<pre>
sudo localedef -f UTF-8 -i ja_JP ja_JP.UTF-8
</pre>

== Ubuntu 18.04 Docker ==
以下でokだった。
<pre>
sudo apt install language-pack-ja-base
</pre>

= BASH =
== ディレクトリスタック ==
複数のディレクトリパスをディレクトリスタックに記憶しておき、ディレクトリ移動を楽にする仕組み。

* ディレクトリを移動するとともに、ディレクトリスタックに追加するコマンド
<pre>
pushd <行先ディレクトリ>
</pre>

* 現在のディレクトリスタックの表示
<pre>
dirs -v
</pre>
1カラム目がディレクトリスタックにおけるそのディレクトリの識別番号。

* ディレクトリスタックの中の特定のディレクトリへ移動
<pre>
# 識別番号を確認
dirs -v
# 移動(+記号を忘れずに)
pushd +<識別番号>
</pre>

= SSH =
== リモートマシンでコマンドだけ実行する ==
リモートで実行したいコマンドをいつものsshコマンドの後ろに書くだけ。クォートは不要。
<pre>
ssh user@host command
</pre>

</pre>

mediawiki

2020-11-17T08:24:02Z

Kttn:

DockerでcryoSPARCクラスタ

2020-11-17T08:17:42Z

Kttn: /* ファイアウォール設定 */

== この記事について ==
cryoSPARCはインストールで問題が起きる場合がある。Dockerで動かせるようにすれば、Dockerが使えるマシンがあればおおむねどこでもcryoSPARCを動かせるようになる。

単一ノードでcryoSPARCを使うだけれあればすでに作成済みのDockerイメージ( https://github.com/yasunaga-lab/docker/tree/master/cryosparc )が使える。複数ノードでcryoSPARCを動かしてクラスタを作るためにはDocker間の通信設定などが必要になる。ここにそのあたりの方法を書き残しておく。

== Docker swarmによる(仮想)ネットワーク構築 ==
異なるホストマシンの上に載っているDockerを相互接続するためにswarmを構成したうえで、cryoSPARCコンテナ間通信用のoverlayネットワークを作成する。(参考： [[Docker関連]] )

=== ファイアウォール設定 ===
Docker間の通信に必要なポートを開ける必要がある。こちらを参照⇒ https://docs.docker.com/network/overlay/#create-an-overlay-network

==== CentOS 7 ====
CentOSの場合はfirewall-cmdでポートを開けることができる。クラスタに参加するホストマシンのすべてで実行する必要がある。(firewall-cmdについて参考： [[Linux関連#ネットワーク関連]])
<pre>
> sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp
</pre>

上記だけだと設定は永続的ではなく、ホストマシンを再起動するとポートが再び閉じてしまうので、永続化させたい場合は --permanent オプションをつけること。
<pre>
> sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp --permanent
</pre>

==== Ubuntu 18.04 LTS ====
ufw (Ubuntu firewall)を使うが、未調査。

=== Swarmの構成 ===
クラスタに参加させたいホストマシン達のDockerでswarmを構成する。Swarmにはマネージャーノードとワーカーノードの概念がある。

まずはマネージャーノードにしたいホストマシンにて以下を実行する。
<pre>
> docker swarm init
</pre>

すると以下のような文字列が出力されるから、これをワーカーノードとしてクラスタに参加させたいホストマシンのそれぞれで実行すればよい。
<pre>
docker swarm join --token <トークン文字列> <マネージャーノードのIPアドレス>:2377
</pre>
成功すれば"This node joined a swarm as a worker."と表示される。

あとあと上記のコマンドを確認したい場合は、マネージャーノードにて
<pre>
> docker swarm join-token worker
</pre>
とすれば、ワーカーノード追加用のコマンド(トークン文字列も含めて)を確認できる。

現在swarmに加わっているホストマシンの一覧を確認するには、
<pre>
> docker node ls
</pre>

マネージャー、ワーカーとややこしいことを書いたが、たぶん、swarm上でサービス (Dockerの用語)を動かす時に必要になる役割で、今回のようにそれぞれのホストでcryoSPARCコンテナを動かし、それを相互接続する、というだけであれば、どれをマネージャーにするかなどはあまり関係ないのではないかとは思う。

=== Overlayネットワークの作成 ===
Swarmのマネージャーノードにて、コンテナ間をつなぐためのoverlayネットワークを作成する。ここでは、cryosparc-netという名前で作ってみる。

<pre>
> docker network create --driver=overlay --attachable cryosparc-net
</pre>

これをワーカーノードでやる必要はない。マネージャーノードで作ればワーカーノードからも利用可能になる。

ネットワークの一覧を確認する。cryosparc-netがswarmをスコープとして作られていることが確認できる。
<pre>
> docker network ls
</pre>

== cryoSPARCクラスタ構築 ==
クラスタに加えたいノードのそれぞれでcryoSPARCを動かす能力のあるdockerコンテナを動かし、それらをcryosparc-netに参加させ、cryoSPARCのマスターとして使いたいコンテナでのみcryoSPARCのマスターインストールをして、必要ならワーカーもインストールし、他のコンテナではワーカーのみインストールする + α をすればクラスタ構築できた。cryoSPARCのインストール場所やデータベース、プロジェクトディレクトリなどなどは、どのホスト・コンテナからもマウント可能なネットワークドライブに置く必要があります。

手順が煩雑なのでいずれ整理して書きます。(各ホストマシンでコンテナを動かして、同一の仮想ネットワーク上に載せることさえできれば、あとは通常のcryoSPARC master workerインストールと同じです。)

=== コンテナをcryosparc-netに参加させる方法 ===
<pre>
> docker network connect cryosparc-net <コンテナ名>
</pre>

=== cryoSPARCワーカーを追加する方法 ===
<pre>
> cryosparcw connect --worker <ワーカーコンテナ名> --master <マスターコンテナ名> --port 39000 --ssdpath <SSDのパス> --lane <レーン名>
</pre>

デフォルトのレーン名は default である。

新しいレーンを作る場合は、--newlaneフラグを立てたうえで--lane で新しいレーン名を指定する。

--ssdquota によりSSDの使用可能量(MB)を適宜指定したほうがよいだろう。

=== ワーカーの設定変更 ===
ワーカーの設定を一部変更するには、--updateフラグを立てたうえで、変更したいオプション値を指定すればよい。例えばssdquotaを100GBに制限したければ、
<pre>
> cryosparcw connect --worker <ワーカーコンテナ名> --master <マスターコンテナ名> --update --ssdquota 100000
</pre>
とする。workerとmasterは指定が必要。

=== cryosparcw connectのエラー ===
以下のようなエラーが出た場合は、
<pre>
---------------------------------------------------------------
CRYOSPARC CONNECT --------------------------------------------
---------------------------------------------------------------
Attempting to register worker csparc-worker-DL-Box to command csparc-master-worker-cs08:39002
Traceback (most recent call last):
File "bin/connect.py", line 84, in <module>
print " Connecting as unix user %s" % (os.environ['USER'])
File "/net/fs10/work02/csparc/cryosparc2_worker/deps/anaconda/lib/python2.7/UserDict.py", line 40, in __getitem__
raise KeyError(key)
KeyError: 'USER'

</pre>

USER環境変数が設定されていない。cryoSPARCのユーザー名(cryoSPARCが管理しているユーザー名ではなくて、計算機システム側のユーザー名)がcryosparc_userだとすると、
<pre>
> export USER=cryosparc_user
</pre>
としてから再度connectをすれば大丈夫(なはず)。

== ホストマシンを再起動した後のクラスタの復旧 ==
停止したコンテナをdocker startで再稼働するとき、swarmのマスターではうまく行くがワーカーでは失敗するエラーが起きた。
エラーがの内容(例)は
<pre>
Error response from daemon: Could not attach to network asuaxn22bff1sq8pqqay2sg64: context deadline exceeded
Error: failed to start containers: csparc-worker-cs06
</pre>

マスターノードで docker node ls すると、ワーカーノードのSTATUSが軒並み Down になっていて、dockerのネットワークが駄目な感じがあった。が、修復の方法がよくわからず、頓挫中。

=== 原因 ===
[[#ファイアウォール設定|ファイアウォール設定]]でswarm通信用のポートをfirewall-cmdで開けるが、--permanentオプションを付けて実行しないと、計算機再起動した際に設定が消えるらしい。上記問題が出た環境は--permanetを付けずにポートを開いていたので、それゆえ再起動した後にswarm通信ができず、各ノードのSTATUSがDownとなっていたと考えられる。(実際に検証する前にネットワーク設定を消してしまったので検証はできていない)

DockerでcryoSPARCクラスタ

2020-11-17T08:14:59Z

Kttn: /* ファイアウォール設定 */

== この記事について ==
cryoSPARCはインストールで問題が起きる場合がある。Dockerで動かせるようにすれば、Dockerが使えるマシンがあればおおむねどこでもcryoSPARCを動かせるようになる。

単一ノードでcryoSPARCを使うだけれあればすでに作成済みのDockerイメージ( https://github.com/yasunaga-lab/docker/tree/master/cryosparc )が使える。複数ノードでcryoSPARCを動かしてクラスタを作るためにはDocker間の通信設定などが必要になる。ここにそのあたりの方法を書き残しておく。

== Docker swarmによる(仮想)ネットワーク構築 ==
異なるホストマシンの上に載っているDockerを相互接続するためにswarmを構成したうえで、cryoSPARCコンテナ間通信用のoverlayネットワークを作成する。(参考： [[Docker関連]] )

=== ファイアウォール設定 ===
Docker間の通信に必要なポートを開ける必要がある。こちらを参照⇒ https://docs.docker.com/network/overlay/#create-an-overlay-network

CentOSの場合はfirewall-cmdでポートを開けることができる。クラスタに参加するホストマシンのすべてで実行する必要がある。(firewall-cmdについて参考： [[Linux関連#ネットワーク関連]])
<pre>
> sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp
</pre>

上記だけだと設定は永続的ではなく、ホストマシンを再起動するとポートが再び閉じてしまうので、永続化させたい場合は --permanent オプションをつけること。
<pre>
> sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp --permanent
</pre>

=== Swarmの構成 ===
クラスタに参加させたいホストマシン達のDockerでswarmを構成する。Swarmにはマネージャーノードとワーカーノードの概念がある。

まずはマネージャーノードにしたいホストマシンにて以下を実行する。
<pre>
> docker swarm init
</pre>

すると以下のような文字列が出力されるから、これをワーカーノードとしてクラスタに参加させたいホストマシンのそれぞれで実行すればよい。
<pre>
docker swarm join --token <トークン文字列> <マネージャーノードのIPアドレス>:2377
</pre>
成功すれば"This node joined a swarm as a worker."と表示される。

あとあと上記のコマンドを確認したい場合は、マネージャーノードにて
<pre>
> docker swarm join-token worker
</pre>
とすれば、ワーカーノード追加用のコマンド(トークン文字列も含めて)を確認できる。

現在swarmに加わっているホストマシンの一覧を確認するには、
<pre>
> docker node ls
</pre>

マネージャー、ワーカーとややこしいことを書いたが、たぶん、swarm上でサービス (Dockerの用語)を動かす時に必要になる役割で、今回のようにそれぞれのホストでcryoSPARCコンテナを動かし、それを相互接続する、というだけであれば、どれをマネージャーにするかなどはあまり関係ないのではないかとは思う。

=== Overlayネットワークの作成 ===
Swarmのマネージャーノードにて、コンテナ間をつなぐためのoverlayネットワークを作成する。ここでは、cryosparc-netという名前で作ってみる。

<pre>
> docker network create --driver=overlay --attachable cryosparc-net
</pre>

これをワーカーノードでやる必要はない。マネージャーノードで作ればワーカーノードからも利用可能になる。

ネットワークの一覧を確認する。cryosparc-netがswarmをスコープとして作られていることが確認できる。
<pre>
> docker network ls
</pre>

== cryoSPARCクラスタ構築 ==
クラスタに加えたいノードのそれぞれでcryoSPARCを動かす能力のあるdockerコンテナを動かし、それらをcryosparc-netに参加させ、cryoSPARCのマスターとして使いたいコンテナでのみcryoSPARCのマスターインストールをして、必要ならワーカーもインストールし、他のコンテナではワーカーのみインストールする + α をすればクラスタ構築できた。cryoSPARCのインストール場所やデータベース、プロジェクトディレクトリなどなどは、どのホスト・コンテナからもマウント可能なネットワークドライブに置く必要があります。

手順が煩雑なのでいずれ整理して書きます。(各ホストマシンでコンテナを動かして、同一の仮想ネットワーク上に載せることさえできれば、あとは通常のcryoSPARC master workerインストールと同じです。)

=== コンテナをcryosparc-netに参加させる方法 ===
<pre>
> docker network connect cryosparc-net <コンテナ名>
</pre>

=== cryoSPARCワーカーを追加する方法 ===
<pre>
> cryosparcw connect --worker <ワーカーコンテナ名> --master <マスターコンテナ名> --port 39000 --ssdpath <SSDのパス> --lane <レーン名>
</pre>

デフォルトのレーン名は default である。

新しいレーンを作る場合は、--newlaneフラグを立てたうえで--lane で新しいレーン名を指定する。

--ssdquota によりSSDの使用可能量(MB)を適宜指定したほうがよいだろう。

=== ワーカーの設定変更 ===
ワーカーの設定を一部変更するには、--updateフラグを立てたうえで、変更したいオプション値を指定すればよい。例えばssdquotaを100GBに制限したければ、
<pre>
> cryosparcw connect --worker <ワーカーコンテナ名> --master <マスターコンテナ名> --update --ssdquota 100000
</pre>
とする。workerとmasterは指定が必要。

=== cryosparcw connectのエラー ===
以下のようなエラーが出た場合は、
<pre>
---------------------------------------------------------------
CRYOSPARC CONNECT --------------------------------------------
---------------------------------------------------------------
Attempting to register worker csparc-worker-DL-Box to command csparc-master-worker-cs08:39002
Traceback (most recent call last):
File "bin/connect.py", line 84, in <module>
print " Connecting as unix user %s" % (os.environ['USER'])
File "/net/fs10/work02/csparc/cryosparc2_worker/deps/anaconda/lib/python2.7/UserDict.py", line 40, in __getitem__
raise KeyError(key)
KeyError: 'USER'

</pre>

USER環境変数が設定されていない。cryoSPARCのユーザー名(cryoSPARCが管理しているユーザー名ではなくて、計算機システム側のユーザー名)がcryosparc_userだとすると、
<pre>
> export USER=cryosparc_user
</pre>
としてから再度connectをすれば大丈夫(なはず)。

== ホストマシンを再起動した後のクラスタの復旧 ==
停止したコンテナをdocker startで再稼働するとき、swarmのマスターではうまく行くがワーカーでは失敗するエラーが起きた。
エラーがの内容(例)は
<pre>
Error response from daemon: Could not attach to network asuaxn22bff1sq8pqqay2sg64: context deadline exceeded
Error: failed to start containers: csparc-worker-cs06
</pre>

マスターノードで docker node ls すると、ワーカーノードのSTATUSが軒並み Down になっていて、dockerのネットワークが駄目な感じがあった。が、修復の方法がよくわからず、頓挫中。

=== 原因 ===
[[#ファイアウォール設定|ファイアウォール設定]]でswarm通信用のポートをfirewall-cmdで開けるが、--permanentオプションを付けて実行しないと、計算機再起動した際に設定が消えるらしい。上記問題が出た環境は--permanetを付けずにポートを開いていたので、それゆえ再起動した後にswarm通信ができず、各ノードのSTATUSがDownとなっていたと考えられる。(実際に検証する前にネットワーク設定を消してしまったので検証はできていない)

DockerでcryoSPARCクラスタ

2020-11-17T08:08:41Z

Kttn: /* ホストマシンを再起動した後のクラスタの復旧 */

== この記事について ==
cryoSPARCはインストールで問題が起きる場合がある。Dockerで動かせるようにすれば、Dockerが使えるマシンがあればおおむねどこでもcryoSPARCを動かせるようになる。

単一ノードでcryoSPARCを使うだけれあればすでに作成済みのDockerイメージ( https://github.com/yasunaga-lab/docker/tree/master/cryosparc )が使える。複数ノードでcryoSPARCを動かしてクラスタを作るためにはDocker間の通信設定などが必要になる。ここにそのあたりの方法を書き残しておく。

== Docker swarmによる(仮想)ネットワーク構築 ==
異なるホストマシンの上に載っているDockerを相互接続するためにswarmを構成したうえで、cryoSPARCコンテナ間通信用のoverlayネットワークを作成する。(参考： [[Docker関連]] )

=== ファイアウォール設定 ===
Docker間の通信に必要なポートを開ける必要がある。こちらを参照⇒ https://docs.docker.com/network/overlay/#create-an-overlay-network

CentOSの場合はfirewall-cmdでポートを開けることができる。クラスタに参加するホストマシンのすべてで実行する必要がある。(firewall-cmdについて参考： [[Linux関連#ネットワーク関連]])
<pre>
> sudo firewall-cmd --zone=public --add-port=2377/tcp --add-port=7946/tcp --add-port=7946/udp --add-port=4789/udp
</pre>

=== Swarmの構成 ===
クラスタに参加させたいホストマシン達のDockerでswarmを構成する。Swarmにはマネージャーノードとワーカーノードの概念がある。

まずはマネージャーノードにしたいホストマシンにて以下を実行する。
<pre>
> docker swarm init
</pre>

すると以下のような文字列が出力されるから、これをワーカーノードとしてクラスタに参加させたいホストマシンのそれぞれで実行すればよい。
<pre>
docker swarm join --token <トークン文字列> <マネージャーノードのIPアドレス>:2377
</pre>
成功すれば"This node joined a swarm as a worker."と表示される。

あとあと上記のコマンドを確認したい場合は、マネージャーノードにて
<pre>
> docker swarm join-token worker
</pre>
とすれば、ワーカーノード追加用のコマンド(トークン文字列も含めて)を確認できる。

現在swarmに加わっているホストマシンの一覧を確認するには、
<pre>
> docker node ls
</pre>

マネージャー、ワーカーとややこしいことを書いたが、たぶん、swarm上でサービス (Dockerの用語)を動かす時に必要になる役割で、今回のようにそれぞれのホストでcryoSPARCコンテナを動かし、それを相互接続する、というだけであれば、どれをマネージャーにするかなどはあまり関係ないのではないかとは思う。

=== Overlayネットワークの作成 ===
Swarmのマネージャーノードにて、コンテナ間をつなぐためのoverlayネットワークを作成する。ここでは、cryosparc-netという名前で作ってみる。

<pre>
> docker network create --driver=overlay --attachable cryosparc-net
</pre>

これをワーカーノードでやる必要はない。マネージャーノードで作ればワーカーノードからも利用可能になる。

ネットワークの一覧を確認する。cryosparc-netがswarmをスコープとして作られていることが確認できる。
<pre>
> docker network ls
</pre>

== cryoSPARCクラスタ構築 ==
クラスタに加えたいノードのそれぞれでcryoSPARCを動かす能力のあるdockerコンテナを動かし、それらをcryosparc-netに参加させ、cryoSPARCのマスターとして使いたいコンテナでのみcryoSPARCのマスターインストールをして、必要ならワーカーもインストールし、他のコンテナではワーカーのみインストールする + α をすればクラスタ構築できた。cryoSPARCのインストール場所やデータベース、プロジェクトディレクトリなどなどは、どのホスト・コンテナからもマウント可能なネットワークドライブに置く必要があります。

手順が煩雑なのでいずれ整理して書きます。(各ホストマシンでコンテナを動かして、同一の仮想ネットワーク上に載せることさえできれば、あとは通常のcryoSPARC master workerインストールと同じです。)

=== コンテナをcryosparc-netに参加させる方法 ===
<pre>
> docker network connect cryosparc-net <コンテナ名>
</pre>

=== cryoSPARCワーカーを追加する方法 ===
<pre>
> cryosparcw connect --worker <ワーカーコンテナ名> --master <マスターコンテナ名> --port 39000 --ssdpath <SSDのパス> --lane <レーン名>
</pre>

デフォルトのレーン名は default である。

新しいレーンを作る場合は、--newlaneフラグを立てたうえで--lane で新しいレーン名を指定する。

--ssdquota によりSSDの使用可能量(MB)を適宜指定したほうがよいだろう。

=== ワーカーの設定変更 ===
ワーカーの設定を一部変更するには、--updateフラグを立てたうえで、変更したいオプション値を指定すればよい。例えばssdquotaを100GBに制限したければ、
<pre>
> cryosparcw connect --worker <ワーカーコンテナ名> --master <マスターコンテナ名> --update --ssdquota 100000
</pre>
とする。workerとmasterは指定が必要。

=== cryosparcw connectのエラー ===
以下のようなエラーが出た場合は、
<pre>
---------------------------------------------------------------
CRYOSPARC CONNECT --------------------------------------------
---------------------------------------------------------------
Attempting to register worker csparc-worker-DL-Box to command csparc-master-worker-cs08:39002
Traceback (most recent call last):
File "bin/connect.py", line 84, in <module>
print " Connecting as unix user %s" % (os.environ['USER'])
File "/net/fs10/work02/csparc/cryosparc2_worker/deps/anaconda/lib/python2.7/UserDict.py", line 40, in __getitem__
raise KeyError(key)
KeyError: 'USER'

</pre>

USER環境変数が設定されていない。cryoSPARCのユーザー名(cryoSPARCが管理しているユーザー名ではなくて、計算機システム側のユーザー名)がcryosparc_userだとすると、
<pre>
> export USER=cryosparc_user
</pre>
としてから再度connectをすれば大丈夫(なはず)。

== ホストマシンを再起動した後のクラスタの復旧 ==
停止したコンテナをdocker startで再稼働するとき、swarmのマスターではうまく行くがワーカーでは失敗するエラーが起きた。
エラーがの内容(例)は
<pre>
Error response from daemon: Could not attach to network asuaxn22bff1sq8pqqay2sg64: context deadline exceeded
Error: failed to start containers: csparc-worker-cs06
</pre>

マスターノードで docker node ls すると、ワーカーノードのSTATUSが軒並み Down になっていて、dockerのネットワークが駄目な感じがあった。が、修復の方法がよくわからず、頓挫中。

=== 原因 ===
[[#ファイアウォール設定|ファイアウォール設定]]でswarm通信用のポートをfirewall-cmdで開けるが、--permanentオプションを付けて実行しないと、計算機再起動した際に設定が消えるらしい。上記問題が出た環境は--permanetを付けずにポートを開いていたので、それゆえ再起動した後にswarm通信ができず、各ノードのSTATUSがDownとなっていたと考えられる。(実際に検証する前にネットワーク設定を消してしまったので検証はできていない)

XML Schema

2020-11-16T13:41:08Z

Kttn: ページの作成:「== 参考文献 == === 初心者向け === * SEのためのXML Schema入門 ** https://www.atmarkit.co.jp/ait/articles/0312/02/news002.html == 開発ツール == === Vis...」

== 参考文献 ==
=== 初心者向け ===
* SEのためのXML Schema入門
** https://www.atmarkit.co.jp/ait/articles/0312/02/news002.html

== 開発ツール ==
=== Visual Studio ===
* スキーマ記述時のコーディング支援(補完とかミスの指摘とか)がある
* 記述内容をツリー構造や絵で可視化できる
[[File:スクリーンショット_2020-11-16_223058.png|400px]]

mediawiki

2020-11-16T13:40:18Z

Kttn: ページの作成:「== 画像ファイルを埋め込んで表示する == * 「ファイルをアップロード」から画像ファイルをアップロードする。このとき、フ...」

== 画像ファイルを埋め込んで表示する ==
* 「ファイルをアップロード」から画像ファイルをアップロードする。このとき、ファイル名をコピっておく。
* 例えばアップロードしたファイル名がhoge.pngならば、以下の書式で本文に記述すればよい。
<pre>
[[File:hoge.png]]
</pre>

* 画像が大きすぎる場合などは大きさを制限すればよい。
<pre>
# 縦を400ピクセルに制限
[[File:hoge.png|x400px]]

# 幅を200ピクセルに制限
[[File:hoge.png|200px]]

# 幅200ピクセル、縦400ピクセルに制限
[[File:hoge.png|200x400px]]
</pre>

* 公式ドキュメント
** https://www.mediawiki.org/wiki/Help:Images/ja

ファイル:スクリーンショット 2020-11-16 223058.png

2020-11-16T13:31:43Z

Kttn:

メインページ

2020-11-16T13:23:12Z

Kttn: /* その他 */

== '''Eospediaにようこそ''' ==

2010年11月05日に、研究室内にEospediaクローズドβ版の運営を開始しました。 
2012年８月に、こちらが電子顕微鏡画像処理システムEosのホームページの本家となるように、オープンにしました。 
 
[[Eos]]のコマンド説明やその中のアルゴリズムについてなど、幅広い知識を集約できればと思います。また、2012年より開発を開始した[[PIONE]]、2013年度より開発を開始した[[VEM/WITs]]についても同様にこちらでまとめていきます。 
それに加えて、電子顕微鏡画像処理を含む、各種画像処理の基本を学ぶことができるサイトとして運営したいと考えています。 
 
[[Eos]]は、[https://sourceforge.jp/projects/eos/ Eos@sourceforge]上で、[[PIONE]]は、[https://github.com/pione PIONE@github]で開発を進めています。それらをまとめた情報はこちらで展開したいと思います。将来は、大学から離れた方が良いかと考えています。それぞれ開発や利用に興味があるかたはそれぞれのサイトも覗いてみて下さい。 
 
wikiは「間違いをいかに防ぐか」ではなく、「いかに修正するか」が哲学ですので、
間違いを恐れず(もちろんデタラメは論外)皆さんの知識とノウハウを自由に書いて頂ければ幸いです。 
 
只今ホームページに公開していたEosマニュアル(日本語版も含む)の転載作業を進めています。 
 
ちなみに、[http://www.yasunaga-lab.bio.kyutech.ac.jp/Eos/ 英語版]もあります。現在は、日本語版のほうが充実しています。 
 
また、Eosに関しては、[http://sourceforge.jp/projects/eos/lists/ メーリングリスト]及び[http://sourceforge.jp/projects/eos/forums/ フォーラム]があります。 
Eosの使い方を知りたい方は：eos-users@ 
Eosでの開発にご興味のある方は：eos-developers@ 
Eosのドキュメント作成のお手伝いを頂ける方は：eos-document@ 
にて、是非ともご協力下さい。 
 
また、facebook上で、Eos User Group[https://www.facebook.com/EosUserGroup]を開設しました。こちらからも発信していくことにします。 
 
詳細は,安永[mailto:yasunaga@bio.kyutech.ac.jp]までご連絡下さい。 
 

== 開発しているシステムの全体像（Eos/PIONE/Zephyr & WITs/VEM) ==
　現在、電子顕微鏡画像取得・処理・分析のための一連のワークフロー全体を総括するソリューションとして、Eos/PIONE/Zephyr & WITs/VEMとよぶシステムを作っています。システム全体の名前もつけたほうがよい位、Systems of System といった様相になってきています。個々に、当該システムの概要とその目指す姿をまとめておきたいと思います。

　下記のページにまとめておきます。
[[Eos/PIONE/Zephyr/WITs/VEM システム]]

== '''Eosビギナーズガイド''' ==

=== [[Eos|Eosとは？]] ===
　Eosとはなにかについて述べます。
=== [[コマンド|Eosのコマンドとは？]] ===
　Eosにおけるコマンドについて述べます。
=== [[Makefile|Eosはどうやって使うの？]] ===
　Eosにおける[[make]]を用いたコマンドの統合方法について述べます。
=== [[コマンド一覧|Eosのコマンド一覧表]] ===
　Eosが提供するコマンドの一覧を示します。
=== [[機能別コマンド一覧|Eosの機能別コマンド一覧表]] ===
　Eosが提供するコマンドの機能別一覧を示します。

== Eos/PIONEのインストール方法 ==
===[[必要な環境|Eosの必要な環境]]===

=== [[ダウンロード|Eosのダウンロード(インストール方法)]] ===
　Eosのダウンロード方法について述べます。利用するだけであれば、ダウンロードだけで利用することができます。共同開発を進めたい方、機能の要望がある方は、現在、EosはOSDN(旧：SourceForge)にて開発を進めています。是非、ご一緒して下さい。

=== [[インストール方法|Eosのインストール方法（開発・再構築）]] ===
　Eosのインストール方法について述べます。ここでは、ダウンロードしたファイルから再構築する方法や自分自身が開発したソースコードを運用する方法を述べています。

=== [[PIONEのインストール方法]]===
　makeに替わる分散プロセス処理プラットフォーム(PIONE)のインストール方法を示します。現在、PIONEはgithubにて開発を進めています。

== '''Eosリファレンス''' ==

=== [[統合コマンド|Eosの提供する統合コマンド]] ===
　Eosが提供する統合コマンドについて述べます。

=== 統合コマンド：[[PIONE]]===
　Eosが分散環境、クラウド環境に対応した統合環境として提供するPIONEについて述べます。インストールに関しては[[PIONEのインストール]]を、ブラウザ操作に関しては[[PIONEの起動方法]]や[[PIONE Webclientチュートリアル]]を、[[PIONE定義書]]の作り方や実行方法については[[PIONEチュートリアル]]や[[PIONEチュートリアル-PNML]]を、ログの確認方法は[[PIONEチュートリアル-XES]]を、パッケージの作り方は[[PIONEチュートリアル-package]]を、コマンドの一覧は[[PIONEコマンド一覧]]または[[機能別PIONEコマンド一覧]]を、メソッドの一覧などは[[PIONEの式]]を、その他TIPSなどは[[PIONEのTIPS]]をご覧下さい。 
 

=== 電子顕微鏡制御統合環境(WITs/VEM) ===

==== 相関顕微鏡のためのシステム ====
　同一視野の撮影のためのシステムの提供を進めています．[[SerialEM]]に対応する環境として，電子顕微鏡を仮想化するための[[VEM]]，および，[[VEM]]と通信して，電子顕微鏡を制御するための[[WITs]]というシステムに大きく分けて開発を進めています．

下記に[[WITs]]としてのアプリケーションのリストを示します．

[[WITs-CLEM]]: 相関顕微鏡向けのシステムになります．

== '''Eos チュートリアル'''　==
=== 環境の設定　===
最初にEosのインストール方法を簡単に説明します。詳細は、[[インストール方法|Eosのインストール方法の詳細]]をご覧下さい。

* [[Eosのインストール|Eosのインストール方法]]

=== Eosでのコマンドの取り扱い　===
Eosのコマンドの簡単な使い方を説明します。詳細は、[[コマンド|コマンドの詳細]]をご覧下さい。Eosでは、基本はCUIを使ったコマンドの実行により画像処理を進めます。その結果は、ファイルとして保存され、その内容を確認することが出来ます。

* [[Eosのコマンド|Eosのコマンド]]

=== Eosでの画像の取り扱い　===
Eosで取り扱うことのできる[[画像フォーマット]]と一般的な画像フォーマットからの変換方法を示します。
* [[画像フォーマット|画像フォーマット]]
* [[画像フォーマット変換|画像フォーマットの変換]]

=== Eosを使った簡単な画像処理　===
Eosを使った簡単な画像処理を実行してもらいます。
* [[簡単な画像処理|簡単な２次元画像処理]]

=== [[チュートリアル一覧]] ===
ここには、[[Small Tools]]や様々な[[画像処理]]で使用する[[Makefile]]や[[PIONE]]の一覧があります。

=== CTF画像補正　===
電子顕微鏡画像では、その撮影方法に由来して、コントラストが大きく変調を受けています。ここでは、その画像のコントラストの変調を補正する方法を示します。
* [[CTF補正|CTFの補正]]

=== 単粒子解析の基礎　===
　ここでは、単粒子解析の基礎を行います。実際の単粒子解析は、粒子の形やその対称性などを使って探索方法や3次元再構成法を切り替えることができます。

==== [[単粒子解析]]の概要 ====
　単粒子解析の概要を示します。

==== [[粒子抽出|粒子の抽出]] ====
　まず、単粒子を抽出します。ここでは、手動で切り出す方法を示します。自動で切り出す方法も各種提案されています。

==== [[２次元画像の分類|２次元画像の分類]] ====
　２次元画像を分類して、ＳＮ比を上げます。

==== [[参照付投影角度決定|参照像があるときの投影角の決定方法]] ====
　参照像があるときの投影角の決定方法を説明します。参照像としては、単なる球や楕円体などとすることもあり得ます。参照像がない場合の構造解析法も別途存在しています。

==== [[参照無投影角度決定|参照像がないときの投影角の決定方法]] ====
　参照画像がないときの投影角の決定方法を示しています。[[コモンライン]]をもちいた[[コモンライン探索]]という方法が一般的です。ただノイズに弱く問題が生じる場合があります。

==== [[３次元再構成・逆投影|３次元再構成・逆投影法]] ====
　3次元再構成自身を解説します。

==== [[らせん対称をもつ粒子の３次元再構成法]]====
　アクチンフィラメントなどのらせん対称性をもつ場合のEosでの解析法を紹介します。

==== [[可視化ツール|可視化ツール]] ====
　できあがった三次元像を可視化するためのツールを紹介します。

====参考資料 ====

===== [[RELION]] =====
　単粒子解析法のデファクトスタンダードになりつつある[[RELION]]について、解説を準備することにしました。
少しずつ整理していきます。

===== [[Gautomatch]] =====
　粒子抽出のためのプログラムのひとつです。

===== [[cryoDRGN]] =====
　深層ニューラルネットワークを用いた単粒子3D再構成プログラム[[cryoDRGN]]に関するページです。

===== [[Topaz]] =====
　深層ニューラルネットワークを用いた単粒子ピッキングプログラム[[Topaz]]に関するページです。

===== [[cryoSPARC]] =====
　優れたUIを持った単粒子解析パッケージ[[cryoSPARC]]に関するページです。

==== 備考 ====
　上記のチュートリアル・ページは、2012/09/10-11 単粒子解析Workshopでの資料を元に作成したものです。
今後もこのサイトを充実させ、ワークショップ等で利用していきたいと考えています。

=== [[電子線トモグラフィー]] ===
　電子線トモグラフィーとは、同一視野の連続傾斜像から、その視野の３次元画像を再構成する方法です。細胞内の構造や構造多型性をもつタンパク質の構造解析に有効な方法です。

==== [[電子線トモグラフィー]]の概要 ====
　電子線トモグラフィー法は、同一視野の傾斜シリーズ画像のセットから３次元像を再構成する方法です。ここではその概要を述べます。

==== [[画像の補正]] ====
　傾斜画像では、視野全体がアンダーフォーカスとなるように、通常の電子顕微鏡撮影よりも大きなデフォカース値をとる場合が多いです。その場合、LaB6などの電子銃では第一トーンリングより外側の情報がほとんど無いために、CTF補正等は必要ありませんが、電界放出銃を利用した場合には、場合によっては間違った情報を与える場合があるので注意が必要です。

==== [[ラフ・アラインメント]] ====
　傾斜画像の中心付近の画像の相関から、それぞれの傾斜画像の大まかな位置を合わせます。

==== [[ファイン・アラインメント]] ====
　傾斜画像の軸の位置、角度を出来る限り一致させます。

==== [[３次元再構成]] ====
　２次元画像のセットから３次元画像を再構成します。

==== [[電子線トモグラフィー画像のもつ問題点]] ====
　全方位からの投影像を得られないために、ミッシングエリアとよばれる情報がない領域があります。そのため、方向依存でのボケを生じます。

==== [[トモグラム画像の解釈]] ====
　多様な構造を含むため、３次元画像から興味あるセグメントを切り出すなどの作業が必要です。そのための支援ソフトウェアが必要です。

==== [[サブトモグラム画像の平均化]] ====
　クライオ電子顕微鏡画像からトモグラム画像はノイズが多いため、同等の構造をしたものを平均化する必要があります。

==== 参考資料 ====
===== [[IMOD/ETomo]]の使い方=====
　[[IMOD/ETomo]]は、電子線トモグラフィー法やシリアルセクションなどで使われる、デファクトスタンダードともいえる3次元再構成プログラムです。

====== [[eTomoチュートリアル]] ======
　eTomoのチュートリアルを示しています。

=== 連続２次元画像からの３次元再構成 ===
　連続切片(Serial Section）や、連続ブロック表面(Serial Block Face)からの３次元再構成のための手順を示したものです。

==== [[SBF-SEMからの３次元再構成]] ====

== Eosにおける開発（開発者向け） ==

　Eosのもうひとつのウリは迅速なプログラムの開発です。その手法について下記に述べます。

=== [[Eosの構造|Eosの構造]] ===
　Eosの構造(Architecture）について述べます。

=== [[Eosの開発|Eosの開発]]===
　SourceForgeからクローンを作成し、localで新規ツールなどを開発した後、SourceForgeに登録するまでの流れを示します。

=== [[Eosの開発におけるTIPS]] ===
　Eos上で開発する際のTIPSをまとめています。

=== [[ツールの開発]] ===
==== [[ツールの作り方]] ====
　Eosの上での[[Small Tools]]([[コマンド群]])の作り方について述べます。

==== [[簡単なプログラム例]] ====
　Eosの上での[[Small Tools]]([[コマンド群]])の簡単なプログラム例について述べます。

=== [[ライブラリ（API）の作り方]]===
　Eosの上での[[オブジェクト指向型ライブラリ]]（[[API]]）の作り方について述べます。

=== [[ライブラリ(API)一覧]]===
　Eosの上での[[オブジェクト指向型ライブラリ]]（[[API]]）の一覧です。

=== [[機能別ライブラリ(API)一覧]]===
　Eosの上での機能別に分類された[[オブジェクト指向型ライブラリ]]（[[API]]）の一覧です。

並列処理のためのライブラリ
*[[eosCuda]]: CUDA を使うためのライブラリ
*[[eosPThread]]: pthread を使うためのライブラリ

=== [[統合コマンドの作り方]]===
　統合コマンドの作り方を示します。

==== [[Makefileによる統合]] ====
　[[Makefile]]を用いた統合方法について示します。[[Visualmake]]は自動的に簡易型のGUIを提供します。

==== [[PIONEによる統合]] ====
　分散環境（クラウド環境）に対応したプロセス定義書[[PIONE]]を用いた統合方法について示します。

==== [[PIONEチュートリアル]] ====
　[[PIONE]]の使い方を示したチュートリアルです。

==== [[PIONEチュートリアル-PNML]]====
　[[PNML]]を用いたPIONE定義書の設計方法を示しています．

==== [[PIONEチュートリアル-XES]]====
　ログファイルを[[XES]]形式に変換し、[[ProM]]を利用して処理結果を確認する方法を示しています。

==== [[PIONEチュートリアル-package]]====
　[[PIONE定義書]]などをひとつにまとめたパッケージを作成する方法を示しています。

==== [[bashによる統合]] ====
　bashなどのスクリプト言語による統合方法について示します。

==== [[統合コマンドによる統合]] ====
　[[Display2]], [[smolet]], [[Eos]]などのTcl/Tk型の統合コマンドによる統合, [[ctfDisplay]]等のRuby型の統合コマンドによる統合，[[molvie]]などのＣ言語型の統合コマンドによる統合、などの各種方法について示します。

=== [[並列処理による高速化]] ===
　Eosでは、makeを使った単一ホストでのプロセスレベルでの並列処理、PIONEを使った分散環境におけるプロセスレベルの並列処理に加えて、pthread/GPGPUを用いたthreadレベルでの高速化も試行しています。すべてのコードが対応している訳ではありませんが、随時、対応を進めています。

===== [[eosPThread]] =====

===== [[eosCuda]] =====

=== [[よく使うシェルコマンド]] ===
　ここでは[[コマンド]]、[[Makefile]]、[[PIONE]]などの作成や実行においてよく使うシェルコマンドを簡易的にリストアップしています。

== [[画像処理]] ==
=== [[画像処理一般]] ===
　ここでは画像処理一般に関する話をまとめています。

==== [[簡単な画像処理]]====
　Eosを使った簡単な画像処理に関するチュートリアルが掲載されています。

==== [[画像の入力]]と[[レンズ]] ====
　コンピュータを使って画像処理を行う前に、画像がデジタル化される入力装置のことを気にしておく必要があります。

==== [[CTF]],[[PSF]]と[[MTF]]====
　真に得たい画像をf(x,y)で表現した場合に、[[画像の入力]]方法や[[レンズ]]の性能などによりどうしても画像が劣化します。

==== [[標本化]] ====
　アナログ画像をデジタル画像にするためには、空間を刻み、離散化することが重要です。このステップを標本化といいます。

==== [[量子化]] ====
　デジタル画像処理では、アナログである濃度値（光学密度）をあるビット数内で表現する量子化（ＡＤ変換）という操作が最初に必要です。

==== [[ノイズ除去]] ====
　ノイズが非常に多い画像を取り扱うためには、ノイズの性質をよく知ることが重要です。

===== [[平滑化]] =====
　画像のもつノイズを取り除くことを主たる目的として実施する画像処理方法です。ノイズの性質をよく理解することで、適切なノイズ除去が可能になります。

==== [[エッジ検出]] ====
　対象物の形を理解するために重要なステップですが、とても難しいステップでもあります。

==== [[２値画像処理]] ====
　シグナルと背景の切り分けや、代表点や骨格の抽出など、画像処理や解析のスタートとなる処理方法です。

==== [[フーリエ空間]]を利用した画像処理 ====

==== 実空間の[[カーネル]]を用いた画像処理 ====

==== [[マスマティカル・モルフォロジー]]を使った画像処理 ====

=== [[電子顕微鏡画像処理]] ===
　電子顕微鏡画像処理に関する話をまとめています。

==== [[モンタージュ]]、[[パノラマ]]画像 ====
　異なる領域を撮影した複数の画像（ただし、その一部は重なっている画像のセット）を組み合わせて、広領域の画像をつくる方法です。

==== [[CTF補正]] ====
　電子顕微鏡の画像は、原理的に、画像変調を受けています。その画像変調を補正する為の画像処理です。

==== [[３次元画像の位置合わせ]] ====
　３次元画像同士を平均し、雑音をとるための手法です。

==== [[シリアル画像の位置合わせ]] ====
　連続切片の画像同士の位置を合わせることで、三次元像を再構成する手法です。

=== [[３次元再構成法]] ===
　３次元再構成法とは、２次元の画像から３次元の画像を再構成する技術です

==== [[中央断面定理]]====
　投影像からなぜ、内部の構造がわかるのか、それを支えているのがこの中央断面定理です．

==== [[フーリエ法]]====
==== [[逆投影法]]====
==== [[SIRT]]====

== [[3Dモデル関連]] ==
=== [[chimera]] ===
　ボリュームデータやＰＤＢデータなどを可視化表示するためのソフトウェアです。
=== [[chimerax]] ===
=== [[vmd]] ===
=== [[NAMD]] ===

== [[電子顕微鏡制御]] ==
　電子顕微鏡制御のためのソフトウェアを開発しています。[[VEM]]は、仮想電子顕微鏡として各種の電子顕微鏡のコマンドを統一するためのシステムです。[[WITs]]は、VEMを通して電子顕微鏡を操作するためのUI(User Interface)です。

=== [[FEIの制御]]===

== [[電子顕微鏡]] ==
　ここでは電子顕微鏡に関する基礎、FAQ、TIPSをまとめておきます。

=== [[電子銃]]===
　電子顕微鏡の電子線源である電子銃についての解説です。

=== [[電子レンズ]]===
　透過電子顕微鏡の光学系、及び、レンズの仕組みに関する解説です。

=== [[透過型電子顕微鏡のコントラスト]]===
　透過型電子顕微鏡(TEM)がつくるコントラストに関する解説です。

=== [[走査型透過電子顕微鏡のコントラスト]]===
　走査型透過電子顕微鏡(STEM)がつくるコントラストに関する解説です。

=== [[走査型電子顕微鏡のコントラスト]] ===
　走査型電子顕微鏡(SEM)がつくるコントラストに関する解説です。

=== [[クライオ電子顕微鏡法]] ===
　クライオ電子顕微鏡法に関する解説です。

=== [[電子顕微鏡のFAQ]] ===
　電子顕微鏡に関するよくある質問に対する回答です。

=== [[電子顕微鏡のTIPS]] ===
　電子顕微鏡を利用する際などのTIPSをまとめることにしました。

== [[ロードマップ|Eosの今後の発展（ロードマップ）について]] ==
　Eosの今後の開発方針([[ロードマップ]])について述べます。

=== [[ロードマップ]] ===
　現在、開発はOSDNのチケットシステムを利用しており、チケット駆動型開発になっています。チケットの粒度はさまざまで、現在、いろいろと試しながら、開発環境を構築しています。

=== [[CUDA]]への対応 ===
　[[EosのCUDAへの対応状況]]を述べます。
　

== FAQ and TIPS ==
=== [[FAQ]] ===
　よくある質問をまとめました。まだまだ不十分ですが、少しずつ増やしていきたいと思います。

=== [[EosのTIPS]] ===
　よくある画像処理法をまとめてました。まだまだ不十分ですが、少しずつ増やしていきたいと思います。

=== [[Eos関連ソフトウェアのTIPS]] ===
　Eosに関連するソフトウェアの使い方をまとめています。

=== [[LINUXに関連したソフトウェアのTIPS]] ===

=== [[OSXに関連したソフトウェアのTIPS]] ===
　ＯＳＸで利用されているソフトウェアについてまとめています。

== 開発にかける思い ==
　開発当時と比べても非常に多くのソフトウェアが開発され、利用されている。その中で、継続的に開発していく意味はどこにあるのだろうか。[[開発にかける思いByYasunaga]]を少しずつ書き綴っていこう。

== Eos User Group ==
　Eosを利用する上での情報共有の場を、仮にFacebookの上に作りました。参加されたい方は、facebook上で登録をお願いします。

== '''イメージイラストについて''' ==

現在、Eospediaのイメージイラストを募集中です。
我こそはという方はEospedia管理者まで御連絡下さい。

Eospedia(WIKI)の使い方・設定に関しては、[http://meta.wikimedia.org/wiki/Main_Page ユーザーズガイド]を参照して下さい。

== Eos関連ツール及びサイト ==
=== 開発言語 ===
*[[C]]
*[[C++]]
*[[Ruby]]
*[[Tcl]]
*[[Tk]]

=== ワークフロー関係(PIONE) ===
==== ペトリネット ====
*[[PNML]]
*[[WoPeD]]
==== アクション記述 ====
*[[Markdown]]

==== ログファイル ====
*[[XES]]:ログファイル形式
*[[ProM]]:可視化のためのツール

=== ドキュメント作成ツール ===
*[[Pandoc]]
*[[html]]
*[[mediawiki]]
*[[Eospediaの編集で使用しているツール]]

== エディタ、統合開発環境 ==
=== [[Visual Studio Code]] ===
Microsoft主導でオープンソース開発が進められている、クロスプラットフォーム(Windows/macOS/Linux)のプログラミングエディタです。

=== [[Vim]] ===
言わずと知れた著名なテキストエディタです。非常にとっつきにくいですが、慣れると捗ります。

== その他 ==
=== [[クライオ電顕備忘録]] ===
　クライオ電顕関連の備忘録です。まとまり次第他の項目に順次移したりします。

=== [[MicroED]] ===
MicroED(Micro crystal Electron Diffraction:微結晶電子線回折)に関する情報を書き残していきます。

=== [[リモートワーク推進]] ===
リモートワーク推進のためのツール関連について書き残していきます。

=== [[Python]] ===
Python関係について書き残していきます。

=== [[Linux関連]] ===
Linux関連について書き残していきます。

=== [[EMAN2関連]] ===
EMAN2関連について書き残していきます。

=== [[Moodle関連]] ===
Moodle関連について整理しています。

=== [[計算機利用ことはじめ]] ===
研究室で初めて計算機を使う方へ向けたお役立ち情報を書いていきます。

=== [[単粒子解析ことはじめ]] ===
研究室で初めて単粒子解析をする方へ向けたお役立ち情報。

=== [[クライオ電顕ことはじめ]] ===
研究室でクライオ電顕観察に挑戦する方へ向けて。

=== [[Docker関連]] ===
Dockerを利用して研究、開発の環境を構築する方法を書いていきます。

=== [[EMPIAR]] ===
電顕画像データベースである[[EMPIAR]]について

=== [[XML Schema]] ===
XMLのデータ構造を定義するための言語であるXML Schema(スキーマ)について

=== [[研究お役立ちツール]] ===
研究活動をするうえで役に立つと思ったツールを書いておきましょう。

== 外部リンク ==
=== Eos関連サイト===

* [http://www.yasunaga-lab.bio.kyutech.ac.jp/EosJ/ Eospedia.jp]
* [http://www.yasunaga-lab.bio.kyutech.ac.jp/Eos/ Eospedia.en]
* [http://sourceforge.jp/projects/eos/ Eos SourceForge]

=== 電子顕微鏡画像処理関連サイト ===
*[https://www.imagescience.de/em2em.html em2em]:汎用画像フォーマット変換ツール
* [http://en.wikibooks.org/wiki/Software_Tools_For_Molecular_Microscopy Software Tools For Molecular Microscopy]
* [http://emdatabank.org/emsoftware.html EM Software on EMDataBank]

=== 所属関連サイト ===
* [http://www.yasunaga-lab.bio.kyutech.ac.jp/ 安永研究室]
* [http://www.bio.kyutech.ac.jp/ 生命情報工学科]
* [http://www.iizuka.kyutech.ac.jp/ 情報工学部／情報工学府]
* [http://www.kyutech.ac.jp/ 九州工業大学]

== メディアウィキの始め方 ==
* [[testpage]] : メディアウィキのテスト頁
* [http://www.mediawiki.org/wiki/Manual:Configuration_settings/ja 設定一覧]
* [http://www.mediawiki.org/wiki/Manual:FAQ/ja MediaWiki FAQ]
* [https://lists.wikimedia.org/mailman/listinfo/mediawiki-announce MediaWiki リリース情報メーリングリスト]

Matplotlib tips

2020-11-04T12:58:10Z

Kttn: /* 画像ファイルを開いて表示 */

== 参考文献(全般) ==
* [https://matplotlib.org/tutorials/index.html 公式チュートリアル]
* [https://qiita.com/skotaro/items/08dc0b8c5704c94eafb9 早く知っておきたかったmatplotlibの基礎知識、あるいは見た目の調整が捗るArtistの話]

== JupyterLabでインタラクティブプロット ==
* 下準備
** ipympl( https://github.com/matplotlib/ipympl )をインストール

* 使い方
** ノートブックの冒頭で以下のマジックコマンドをたたく
<pre>
%matplotlib widget
</pre>

始めにinlineにしておいて途中からwidgetに変えるとかは無理。最初から冒頭でwidgetにしておく必要あり。

== 複数プロット ==
=== 参考文献 ===
* https://matplotlib.org/devdocs/gallery/subplots_axes_and_figures/subplots_demo.html

=== 具体例1 ===
* 縦に3つのグラフを並べて、x軸の目盛りとラベルは一番下のみに表示
<pre>
fig, ax = plt.subplots(nrows=3, ncols=1, figsize=figsize, dpi=dpi, sharex=True)
ax[0].plot(epoch, gen_loss)
ax[0].set_ylabel('Generator loss')
ax[1].plot(epoch, kld)
ax[1].set_ylabel('KLD')
ax[2].plot(epoch, total_loss)
ax[2].set_ylabel('Total loss')
ax[2].set_xlabel('Epoch')
</pre>

== 3Dプロット ==
=== Axes3D ===
* インポート
<pre>
from mpl_toolkits.mplot3d import Axed3D
import matplotlib.pyplot as plt
</pre>

* 使い方
<pre>
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
</pre>

* axはAxes3Dというクラスのインスタンスになっていて、3Dプロット用のメソッドを持っている。
** APIは https://matplotlib.org/3.3.2/api/_as_gen/mpl_toolkits.mplot3d.axes3d.Axes3D.html#mpl-toolkits-mplot3d-axes3d-axes3d を参照
* %matplotlib widget と一緒に使うと、3Dプロットの回転とかがマウスドラッグで可能。

== プロットの保存 ==
=== オブジェクト指向インターフェイス ===
* ドキュメント
** https://matplotlib.org/3.3.2/api/_as_gen/matplotlib.figure.Figure.html?highlight=savefig#matplotlib.figure.Figure.savefig
matplotlib.figure.Figureオブジェクト (fig) に対し、
<pre>
fig.savefig('hoge.png', bbox_inches='tight')
</pre>
* bbox_inches='tight' を付けない場合、例えばfigが 10x7inch@100dpiであれば 1000x700 pixelで画像が保存されるが、図によってはかなりの余白ができてしまう。
* bbox_inches='tight' を付けると、図の中のコンテンツをできるだけタイトに囲むバウンディングボックスでもって図が保存される。画素数はその分減少するけど無駄な余白が無い。

windowsのダークテーマとか使っていて、標準のフォトアプリとかで保存画像を開くと、軸やラベルの部分が背景が透明化されていて見づらいかもしれない。その場合は
<pre>
fig.savefig('hoge.png', bbox_inches='tight', facecolor='w')
</pre>
としてfigを白くすればよい。

ループ回して大量に保存するとかならfigはcloseして消すべし？
<pre>
plt.close(fig)
</pre>

== 画像ファイルを開いて表示 ==
=== Jupyter, IPythonの場合 ===
==== Pillow ====
* ドキュメント
** https://pillow.readthedocs.io/en/stable/reference/Image.html
<pre>
from PIL import Image
from IPython.display import display

display(Image.open('hoge.png'))
</pre>

Matplotlib tips

2020-11-04T12:51:00Z

Kttn:

== 参考文献(全般) ==
* [https://matplotlib.org/tutorials/index.html 公式チュートリアル]
* [https://qiita.com/skotaro/items/08dc0b8c5704c94eafb9 早く知っておきたかったmatplotlibの基礎知識、あるいは見た目の調整が捗るArtistの話]

== JupyterLabでインタラクティブプロット ==
* 下準備
** ipympl( https://github.com/matplotlib/ipympl )をインストール

* 使い方
** ノートブックの冒頭で以下のマジックコマンドをたたく
<pre>
%matplotlib widget
</pre>

始めにinlineにしておいて途中からwidgetに変えるとかは無理。最初から冒頭でwidgetにしておく必要あり。

== 複数プロット ==
=== 参考文献 ===
* https://matplotlib.org/devdocs/gallery/subplots_axes_and_figures/subplots_demo.html

=== 具体例1 ===
* 縦に3つのグラフを並べて、x軸の目盛りとラベルは一番下のみに表示
<pre>
fig, ax = plt.subplots(nrows=3, ncols=1, figsize=figsize, dpi=dpi, sharex=True)
ax[0].plot(epoch, gen_loss)
ax[0].set_ylabel('Generator loss')
ax[1].plot(epoch, kld)
ax[1].set_ylabel('KLD')
ax[2].plot(epoch, total_loss)
ax[2].set_ylabel('Total loss')
ax[2].set_xlabel('Epoch')
</pre>

== 3Dプロット ==
=== Axes3D ===
* インポート
<pre>
from mpl_toolkits.mplot3d import Axed3D
import matplotlib.pyplot as plt
</pre>

* 使い方
<pre>
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
</pre>

* axはAxes3Dというクラスのインスタンスになっていて、3Dプロット用のメソッドを持っている。
** APIは https://matplotlib.org/3.3.2/api/_as_gen/mpl_toolkits.mplot3d.axes3d.Axes3D.html#mpl-toolkits-mplot3d-axes3d-axes3d を参照
* %matplotlib widget と一緒に使うと、3Dプロットの回転とかがマウスドラッグで可能。

== プロットの保存 ==
=== オブジェクト指向インターフェイス ===
* ドキュメント
** https://matplotlib.org/3.3.2/api/_as_gen/matplotlib.figure.Figure.html?highlight=savefig#matplotlib.figure.Figure.savefig
matplotlib.figure.Figureオブジェクト (fig) に対し、
<pre>
fig.savefig('hoge.png', bbox_inches='tight')
</pre>
* bbox_inches='tight' を付けない場合、例えばfigが 10x7inch@100dpiであれば 1000x700 pixelで画像が保存されるが、図によってはかなりの余白ができてしまう。
* bbox_inches='tight' を付けると、図の中のコンテンツをできるだけタイトに囲むバウンディングボックスでもって図が保存される。画素数はその分減少するけど無駄な余白が無い。

windowsのダークテーマとか使っていて、標準のフォトアプリとかで保存画像を開くと、軸やラベルの部分が背景が透明化されていて見づらいかもしれない。その場合は
<pre>
fig.savefig('hoge.png', bbox_inches='tight', facecolor='w')
</pre>
としてfigを白くすればよい。

ループ回して大量に保存するとかならfigはcloseして消すべし？
<pre>
plt.close(fig)
</pre>

== 画像ファイルを開いて表示 ==
=== Pillow ===
* ドキュメント
** https://pillow.readthedocs.io/en/stable/reference/Image.html
<pre>
from PIL import Image

im = Image.open('hoge.png')
im.show()
</pre>

Matplotlib tips

2020-11-04T12:48:19Z

Kttn: /* オブジェクト指向インターフェイス */

Matplotlib tips

2020-11-04T12:38:14Z

Kttn: /* オブジェクト指向インターフェイス */

== 参考文献(全般) ==
* [https://matplotlib.org/tutorials/index.html 公式チュートリアル]
* [https://qiita.com/skotaro/items/08dc0b8c5704c94eafb9 早く知っておきたかったmatplotlibの基礎知識、あるいは見た目の調整が捗るArtistの話]

== JupyterLabでインタラクティブプロット ==
* 下準備
** ipympl( https://github.com/matplotlib/ipympl )をインストール

* 使い方
** ノートブックの冒頭で以下のマジックコマンドをたたく
<pre>
%matplotlib widget
</pre>

始めにinlineにしておいて途中からwidgetに変えるとかは無理。最初から冒頭でwidgetにしておく必要あり。

== 複数プロット ==
=== 参考文献 ===
* https://matplotlib.org/devdocs/gallery/subplots_axes_and_figures/subplots_demo.html

=== 具体例1 ===
* 縦に3つのグラフを並べて、x軸の目盛りとラベルは一番下のみに表示
<pre>
fig, ax = plt.subplots(nrows=3, ncols=1, figsize=figsize, dpi=dpi, sharex=True)
ax[0].plot(epoch, gen_loss)
ax[0].set_ylabel('Generator loss')
ax[1].plot(epoch, kld)
ax[1].set_ylabel('KLD')
ax[2].plot(epoch, total_loss)
ax[2].set_ylabel('Total loss')
ax[2].set_xlabel('Epoch')
</pre>

== 3Dプロット ==
=== Axes3D ===
* インポート
<pre>
from mpl_toolkits.mplot3d import Axed3D
import matplotlib.pyplot as plt
</pre>

* 使い方
<pre>
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')
</pre>

* axはAxes3Dというクラスのインスタンスになっていて、3Dプロット用のメソッドを持っている。
** APIは https://matplotlib.org/3.3.2/api/_as_gen/mpl_toolkits.mplot3d.axes3d.Axes3D.html#mpl-toolkits-mplot3d-axes3d-axes3d を参照
* %matplotlib widget と一緒に使うと、3Dプロットの回転とかがマウスドラッグで可能。

== プロットの保存 ==
=== オブジェクト指向インターフェイス ===
* ドキュメント
** https://matplotlib.org/3.3.2/api/_as_gen/matplotlib.figure.Figure.html?highlight=savefig#matplotlib.figure.Figure.savefig
matplotlib.figure.Figureオブジェクト (fig) に対し、
<pre>
fig.savefig('hoge.png', bbox_inches='tight')
</pre>
* bbox_inches='tight' を付けない場合、例えばfigが 10x7inch@100dpiであれば 1000x700 pixelで画像が保存されるが、図によってはかなりの余白ができてしまう。
* bbox_inches='tight' を付けると、図の中のコンテンツをできるだけタイトに囲むバウンディングボックスでもって図が保存される。画素数はその分減少するけど無駄な余白が無い。

ループ回して大量に保存するとかならfigはcloseして消すべし？
<pre>
plt.close(fig)
</pre>

Matplotlib tips

2020-11-04T12:33:25Z

Kttn:

Pythonトラブルシューティング

2020-11-04T11:49:05Z

Kttn: ページの作成:「== RuntimeWarning: numpy.ufunc size changed == JupyterLabでNumpyとかその依存ライブラリをインポートしたとき、以下のエラーが何個か出てき...」

== RuntimeWarning: numpy.ufunc size changed ==
JupyterLabでNumpyとかその依存ライブラリをインポートしたとき、以下のエラーが何個か出てきた。
<pre>
RuntimeWarning: numpy.ufunc size changed, may indicate binary incompatibility. Expected 192 from C header, got 216 from PyObject return f(*args, **kwds)
</pre>

そのノートブックのカーネルを再起動して再度インポートセルを実行したらエラーがなぜか消えたので、とりあえずカーネルを再起動するのは一つの手。

Python

2020-11-04T11:45:23Z

Kttn:

Docker関連

2020-11-04T10:30:17Z

Kttn: