详解docker compose 用法

docker compose的使用场景

我们开发的时候，一个应用往往依赖多个服务。采用传统的docker run方式，要挨个启动多个服务，甚至需要配置对应的网络,过程比较繁琐，很不方便。 docker compose旨在通过将多服务的构建和依赖关系都编写在docker-compose.yml中，通过docker-compose命令，即可完成对整个服务集群的启动，关闭等操作。

一个基本的demo演示

demo的功能是一个简单的python程序，暴露一个web服务。该服务用于统计当前服务被访问的次数。次数的累加和存储，都是基于redis进行的。也即该程序本身除了自己的服务，还要依赖一个redis服务。以下是详细步骤

找一个目录，在其中创建一个python文件app.py

import time

import redis
from flask import Flask

app = Flask(__name__)
cache = redis.Redis(host='redis', port=6379)

def get_hit_count():
 retries = 5
 while True:
  try:
   return cache.incr('hits')
  except redis.exceptions.ConnectionError as exc:
   if retries == 0:
    raise exc
   retries -= 1
   time.sleep(0.5)

@app.route('/')
def hello():
 count = get_hit_count()
 return 'Hello World! I have been seen {} times.\n'.format(count)

在相同的文件夹下，创建requirements.txt文件

requirements.txt文件用来声明python程序需要使用到的依赖lib，有点像java中的maven pom文件。上述代码使用的组件有flask和redis。所以requirements.txt文件内容为

flask
redis

在相同的文件夹下，创建Dockerfile

Dockerfile用来将我们的程序构建成一个docker 镜像，即docker image。一般Dockerfile中会定义我们的代码运行的基本环境，程序启动命令，执行端口等。本例的Dockerfile如下

FROM python:3.7-alpine
WORKDIR /code
ENV FLASK_APP=app.py
ENV FLASK_RUN_HOST=0.0.0.0
COPY requirements.txt requirements.txt
RUN pip install -r requirements.txt
EXPOSE 5000
COPY . .
CMD ["flask", "run"]

在相同的文件下，创建docker-compose.yml文件

上述几步完成后，我们得到了我们服务本身的docker化执行的能力。但该服务依赖redis service。所以我们通过docker-compose.yml来组织服务的依赖关系，内容如下：

version: "3.8"
services:
 web:
 build: .
 ports:
  - "5000:5000"
 redis:
 image: "redis:alpine"

文件中定义了两个服务web和redis , web中的build:. 会在当前目录下基于前面定义的Dockerfile将我们的代码构建成一个image，然后启动成一个container时，会对外暴露5000端口，映射到当前宿主机的端口也是5000

redis服务直接使用现成的image redis:alpine，没有指定端口，将暴露redis的默认端口

基础运维

所有docker-compose相关的命令，都要在docker-compose.yml所在的路径下执行才行

启动基于docker-compose.yml编织好的服务

在docker-compose.yml所在的目录，使用命令docker-compose up即可。但该命令在console关闭时，对应的docker service也会被关闭。可以是使用docker-compose up -d 以后台detach模式去执行。

docker-compose up 也可以单独启动compolse file中的某个服务及其依赖

查看compose服务对应的容器服务列表

docker-compose ps

输出结果样例

# docker-compose ps
            Name                          Command               State           Ports
----------------------------------------------------------------------------------------------
docker_compose_learn_redis_1   docker-entrypoint.sh redis ...   Up      6379/tcp
docker_compose_learn_web_1     flask run                        Up      0.0.0.0:5000->5000/tcp

服务前缀docker_compose_learn是当前项目的名称。项目名称可以通过环境变量COMPOSE_PROJECT_NAME来指定，如果未指定，默认的项目名称为compose 文件所在文件夹的名字。本例中的文件夹名为docker_compose_learn

当然compose的一系列服务，最终也是启动了一系列的container. 所以也可使用docker container命令族进行管理，但是太麻烦

停止service的container

需要在docker-compose.yml所在的路径，使用命令docker-compose stop

停止service的container，并且删除对应的container

需要在docker-compose.yml所在的路径，使用命令

docker-compose down

停止service的container，并且删除对应的container和对应的volumes数据

需要在docker-compose.yml所在的路径，使用命令

docker-compose down --volumes

该命令并不会删除挂载的宿主操作系统的文件。

如何登进对应的service

想要登录到compose中，具体某个service的命令行，使用如下命令

docker-compose exec ***servicename*** bash

如何显示指定compose file

docker-compose -f docker-compose.yml -f docker-compose.admin.yml run backup_db

docker-compose up和docker-compose run的区别

docker-compose up会基于compose file 启动所有的的服务，并对外暴露端口
docker-compose run需要指定特定的服务进行启动，比如docker-compose run web bash只会启动compolse文件中的web服务和其依赖的service，并且不会对外暴露端口，以免跟docker-compose up启动的服务端口冲突。
docker-compose run仅用在临时启动某个服务定位问题的场景

一些扩展知识点

环境变量

docker-compose.yml的内容本身可以使用变量占位符，其具体的变量值定义在具体的环境变量中，这样方便同一份docker-compose.yml文件在不同的环境有不同的执行行为。典型的，我们希望依赖服务的image的tag版本，随环境不同而不同。

那么我们在docker-compose.yml对应的服务配置中以占位符配置其tag，以下用${TAG}配置web服务的image tag

web:
 image: "webapp:${TAG}"

除了指定以的变量意外，还有多个docker内置的变量可以设置，他们用来配置docker的或者docker compose的执行行为。这些内置变量是

• COMPOSE_API_VERSION
• COMPOSE_CONVERT_WINDOWS_PATHS
• COMPOSE_FILE
• COMPOSE_HTTP_TIMEOUT
• COMPOSE_TLS_VERSION
• COMPOSE_PROJECT_NAME
• DOCKER_CERT_PATH
• DOCKER_HOST
• DOCKER_TLS_VERIFY

具体含义参见；https://docs.docker.com/compose/reference/envvars/

以占位符TAG为例，讲解变量的设置可以有以下几种方式

在docker-compose.yml中执行

在compolse文件中，通过environment配置项指定

web:
 image: "webapp:${TAG}"
 environment:
 - TAG=dev

在执行docker-compose 命令之前设置shell环境变量

$ export TAG=v2.0
$ docker-compose up

通过env_file文件设置

docker-compose up默认会找命令执行路径下的.env文件，去其中找变量替换的值，.env文件以key=value的形式配置。例如

TAG=dev

如果环境变量的名字不为.env或不在当前命令执行的路径下，可以在使用--env-file参数显示加载

docker-compose --env-file ./config/.env.dev up 

直接在compose 文件中，指定其加载的env_file

version: '3'
services:
 api:
 image: 'node:6-alpine'
 env_file:
  - ./Docker/api/api.env
 environment:
  - NODE_ENV=production

以上变量值设置优先级从高到底

查看最终生效的环境变量

如果不确定最终生效环境变量是什么样，可以使用以下命令来查看

docker-compose run web env

项目名设定

一个compose对应的一组服务有一个公用的项目名(project name), 它会体现在compose服务的容器名前缀中，网络前缀中。
项目名称可以通过环境变量COMPOSE_PROJECT_NAME来指定，如果未指定，默认的项目名称为compose 文件所在文件夹的名字。

网络

默认网络

默认情况下，compose中的多个服务会加入一个名为default的网络。这些服务在default网络中是互通的。该default网络的全称是以compose文件所在文件夹名字做为前缀。比如文件夹为hello_world的compose。其一组服务对应的网络名为：hello_world_default。 这组service在该网络中，以compose文件中的第二组端口通信。

version: "3"
services:
 web:
 build: .
 ports:
  - "8000:8000"
 db:
 image: postgres
 ports:
  - "8001:5432"

比如上述配置中，在hello_world_default网络中，web服务使用8000端口和db服务的5432端口通信。第一组端口8000和8001是宿主机访问web和db服务的端口。

对默认网络进行独立配置

如果想改变默认网络的配置，可以在compose文件中，单独通过networks项来改变，比如以下改变默认网络驱动

networks:
 default:
 # Use a custom driver
 driver: custom-driver-1

配置和使用非默认网络

定义多个网络，并使用

version: "3"
services:

 proxy:
 build: ./proxy
 networks:
  - frontend
 app:
 build: ./app
 networks:
  - frontend
  - backend
 db:
 image: postgres
 networks:
  - backend

networks:
 frontend:
 # Use a custom driver
 driver: custom-driver-1
 backend:
 # Use a custom driver which takes special options
 driver: custom-driver-2
 driver_opts:
  foo: "1"
  bar: "2"

上述配置定义了两个网络，frontend 和 backend。其中app 能访问这两个网络，proxy服务只能访问frontend网络，db只能访问backend网络

多service的执行顺序

一个compose的多个service可能会有依赖关系，比如web服务依赖db服务，我们希望先启动db服务，再启动web服务。这种启动的先后顺序，也可以在compose文件中使用depends_on指定

version: "2"
services:
 web:
 build: .
 ports:
  - "80:8000"
 depends_on:
  - "db"
 command: ["./wait-for-it.sh", "db:5432", "--", "python", "app.py"]
 db:
 image: postgres

docker compose的安装

docker mac版和windows版，默认都带有docker compose 。 只有linux版需要单独安装

docker compose和docker stack的异同

• docker compose主要目标是在同一台机器上启动并管理多个服务
• docker stack主要用于在多个机器上，启动并管理多个服务
• docker compose 和docker stack都可以使用docker-compose.yml文件。双方会自动忽略对自己不生效的配置
• docker compose的服务可以使用build动态构建，而docker stack的服务只能基于image

参考资料

https://docs.docker.com/compose/gettingstarted/
https://docs.docker.com/compose/
https://stackoverflow.com/questions/43099408/whats-the-difference-between-a-stack-file-and-a-compose-file
https://nickjanetakis.com/blog/docker-tip-23-docker-compose-vs-docker-stack
https://vsupalov.com/difference-docker-compose-and-docker-stack/
https://stackoverflow.com/questions/33066528/should-i-use-docker-compose-up-or-run