「DockerでRELION」の版間の差分

2019年5月18日 (土) 05:33時点における版

下準備

• DockerとNVIDIA Dockerをインストールする。→ DockerとNVIDIA_Dockerのインストール

Dockerfile書く

• 取り急ぎ書いたDockerfileのテンプレートを公開しておきます。
  • https://github.com/kttn8769/cryoem-docker.git
  • yum installで入れているパッケージは https://web.chaperone.jp/w/index.php?Relion 様を参考にしています
  • Dockerfileのデバッグしんどい

• 以下の説明は上記Dockerfileのテンプレートを使用した場合について書きます。
  • Dockerの使い方としてまともかどうかわからないので、もしかすると参考にしないほうがいいかもしれません。

$ git clone https://github.com/kttn8769/cryoem-docker.git
$ cd cryoem-docker

cryoem-docker内のDockerfileの以下の部分について、適切に設定してください。

### Base image: DockerHub nvidia/cuda, CUDA v9.2, cuDNN v7, development package, CentOS7 
FROM nvidia/cuda:9.2-cudnn7-devel-centos7

### User account in Docker image
# username
ARG USER_NAME=""
# UID
ARG USER_ID=""
# GID
ARG GROUP_ID=""
# SSH public key
ARG USER_SSH_PUBKEY=""

### Software configs
ARG RELION_VERSION="3.0.5"
ARG RELION_BUILD_NUM_THREADS="12"
ARG GCTF_BIN_URL="https://www.mrc-lmb.cam.ac.uk/kzhang/Gctf/Gctf_v1.18_b2/bin/Gctf_v1.18_b2_sm61_cu9.2"
ARG GCTF_LIB_URL="https://www.mrc-lmb.cam.ac.uk/kzhang/Gctf/Gctf_v1.18_b2/lib/libEMcore_sm61_cu9.2.so"

特にユーザーを作らずにDockerコンテナを立ち上げると、rootユーザーしか存在しません。Dockerコンテナ内でのrootユーザーはホストマシンにおいてもrootユーザーと認識されるため、ホストマシン内のユーザー所有ディレクトリをコンテナにマウントした時にファイル所有権の関係で鬱陶しいことになります。コンテナにsshする時にも問題になります。

ということで、上記の様にDockerfileの冒頭でホストマシンのユーザーと同じユーザー名、UID、GIDを設定し、Dockefileの後の方で当該ユーザーを作成しています。こうするとファイル共有もsshも楽になります。

UIDとGIDはホストマシンで以下コマンドで調べてください。

$ id
uid=1003(kttn) gid=1006(kttn) groups=1006(kttn),27(sudo),999(docker),2002(vglusers)

また、GCTFのsmも、ホストマシンのGPUのcompute capabilityを調べて適切なものに変更してください。(Gctfを参照)

USER_SSH_PUBKEYには、ユーザーのssh公開鍵の中身をそのままコピペします。そうすることで、ホストマシンから鍵交換でコンテナ内にsshログインできます。

Dockerイメージのビルド

Dockerfileがあるディレクトリで、Dockerイメージをビルドします。最後のピリオドを忘れない様に。

$ docker build -t <Dockerイメージにつけたい名前> .

私の場合は kttn8769/cryoem/relion:3.0.5-cuda9.2-gctf としました。

(コロンの前はリポジトリ名、コロンの後ろはタグ名と言います。リポジトリ名はスラッシュで階層化できます。タグ名を変えることで、同一のリポジトリ名に対し複数の異なるイメージを作れます。バージョン管理やバリエーションの管理に使います。）

Dockerコンテナの起動

• 超重要：コンテナは終了するとデータが全部消えます。 データを残す場合は、コンテナ起動時にホストマシンの適当なディレクトリをマウントする必要があります。マウントしたディレクトリに保存されたファイルは、コンテナが終了しても残ります。
• というように、気をつけて使わないといけない面もあるので、公式のドキュメントをきちんと読んで使ってください。

オブジェクト指向で例えるとDockerイメージはクラスに相当し、Dockerコンテナはインスタンスに相当します。実際に起動して色々作業を行う場所はDockerコンテナになります。

今回のDockerコンテナの起動コマンド例を以下に示します。一番最後のはコンテナの雛形となるイメージの名前で、それ以外は全部起動オプションです。

docker run --runtime=nvidia -i -t -d --expose 22 -p 127.0.0.1:29290:22 --hostname relion-docker --name relion-docker -v /home/kttn/workdlbox01:/mnt/workdlbox01 kttn8769/cryoem/relion:3.0.5-cuda9.2-gctf

一度にいろんなことをやっているので表にして説明します。値はお好きなものに適当に変更してください。

今回書いたDockerfileは、一番最後に

CMD [ "/usr/sbin/sshd", "-D" ]

と書いておきました。これによって起動したコンテナの中ではすでにsshdが動いていますんで、sshログイン可能(なはず)です。

Dockerコンテナの仮想端末にアクセス

すでに稼働中(run)のコンテナの仮想端末にアクセスしてbashシェルを起動します。

$ docker exec -it relion-docker bash

以下の様にコンテナのシェルプロンプトが表示されます。

[root@relion-docker softwares]# 

初期ディレクトリがsoftwaresになってますが、イメージをビルドした時の最後のディレクトリだからですかね。。

ユーザー指定でログインするには以下の様にします。

$ docker exec -u kttn -w /home/kttn -it relion-docker bash

-w はログイン後の初期ディレクトリを指定しています。

[kttn@relion-docker ~]$ ls

Dockerコンテナにsshログインする

ホストマシンからコンテナにログインする手順です。

まず確認

$ docker ps
CONTAINER ID        IMAGE                                       COMMAND               CREATED             STATUS              PORTS                     NAMES
f5c4ead0964f        kttn8769/cryoem/relion:3.0.5-cuda9.2-gctf   "/usr/sbin/sshd -D"   42 minutes ago      Up 42 minutes       127.0.0.1:29290->22/tcp   relion-docker

relion-dockerコンテナが立ち上がっていて、コマンド"/usr/sbin/sshd -D"が実行済みであること等が確認できます。

コンテナのipアドレスを確認します。

$ docker inspect relion-docker | grep IP
            "LinkLocalIPv6Address": "",
            "LinkLocalIPv6PrefixLen": 0,
            "SecondaryIPAddresses": null,
            "SecondaryIPv6Addresses": null,
            "GlobalIPv6Address": "",
            "GlobalIPv6PrefixLen": 0,
            "IPAddress": "172.17.0.2",
            "IPPrefixLen": 16,
            "IPv6Gateway": "",
                    "IPAMConfig": null,
                    "IPAddress": "172.17.0.2",
                    "IPPrefixLen": 16,
                    "IPv6Gateway": "",
                    "GlobalIPv6Address": "",
                    "GlobalIPv6PrefixLen": 0,

ipアドレスは172.17.0.2であると分かります。

で、

$ ssh kttn@172.17.0.2
The authenticity of host '172.17.0.2 (172.17.0.2)' can't be established.
...
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '172.17.0.2' (ECDSA) to the list of known hosts.
[kttn@relion-docker ~]$

入れます。

もしくは、ホストの29290番ポートがコンテナの22番ポートにマッピングされてるので、以下でもいいです。

$ ssh kttn@localhost -p 29290
The authenticity of host '[localhost]:29290 ([127.0.0.1]:29290)' can't be established.
...
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '[localhost]:29290' (ECDSA) to the list of known hosts.
Last login: Sat May 18 05:22:55 2019 from gateway
[kttn@relion-docker ~]$

リモートのDockerコンテナにローカルからsshログインする