弹性架构设计之运维技术栈 （Docker基础技能【下】）

Docker

概述

一个开源的应用容器引擎，可以轻松的为任何应用创建一个轻量级、可移植、自给自足的容器。
Docker平台就一个软件集装箱化的平台，将应用及其依赖一起打包到容器内，然后这个容器很容易运输到其他机器平台上，方便装载、复制、移除操作，非常适合软件的弹性架构。利于在开发、测试、部署生产 环境之间进行高效的应用程序生命周期的管理

背景

• DevOps
• 微服务(Microservice)
• 云原生
• 物联网
• 敏捷开发
• 混合云

容器技术发展史

也是一种资源隔离的虚拟化技术

• 1979年 UNIX chroot 中提出的概念。chroot是UNIX中的系统调用，将一个进程及其子进程的根目录改变到文件系统中的一个新位置，让这些进程只能访问到这个新的位置，从而达到进程间的隔离的目的。
• 2000年 FreeBSD 开发了类似chroot的容器技术Jails，这是最早也是功能最多的容器技术。Jails翻译是监狱 沙箱更合适 ，其包含了文件系统、用户、网络、进程等的隔离。
• 2001年 Linux发布了自己的容器技术Linux VServer
• 2004年 Solaris发布了SolarisContainers
• 2005年推出OpenVZ 通过对linux内核进行补丁来提供虚拟化支持。
• 2007年 谷歌实现了Control Groups（Cgroups），能够限制和隔离一系列进程的资源使用（CPU、内存、磁盘IO、网络）
• 2008年基于Cgroups和LinuxNamespaces推出了第一个最完善的linux容器LXC ，Linux Containers
• 2013年 DotCloud（后更名Docker）推出到现在为止最流行的容器Docker，其理念·一次构建、随处运行·，起步阶段使用LXC，而后利用自己的libcontainer库（与谷歌合作的）将其替换下来，包含一套高效的分层式容器镜像模型，一套全局以及本地容器注册表，一个精简化RESTApi和一套命令行界面等
• 2014年 CoreOS推出一个类似Docker的容器Rocket，其安全性比Docker更严格
• 2016年 微软在window上提供对容器的支持
• 目前 容器技术趋于成熟，并且迎来了容器元时代，由此衍生出多种容器云的平台管理技术 如k8s（容器编排平台）最为出众，这些细粒度的容器集群管理技术为微服务不断的发展奠定了基石

容器与虚拟机的区别

• 容器是一个应用层的抽象，将代码与其依赖打包在一起的，多个容器可以在同一台机器上运行，共享操作系统内核但各种作为独立的进程在用户空间中运行。与虚拟机相比，容器占用的空间更少，瞬间即可完成启动。
• 虚拟机则是物理硬件层的抽象，用于将一台服务器变成多台服务器，允许多个VM在一台机器上运行，每个VM都包含一套操作系统，一个或多个应用，必要的二进制文件和库资源，因此占用大量空间，启动时间也很缓慢。
• 结合使2者的优势，可以为应用的部署和管理提供更好的灵活性

3个核心概念

• 镜像

  • 一个特殊的分层式文件系统，不包含任何动态数据，创建后内容不会被改变

• 容器

  • 镜像运行时的实体：容器的实质是进程，容器的进程运行运行于属于自己的命名空间中，容器存储层的生命周期与容器一样，容器消亡，容器存储层随之消亡，因此任何保存于容器存储层的信息都会随容器删除而丢失。容器不应向其存储层写入任何数据，应该使用数据卷（Volume）或绑定宿主机目标，这这些位置进行读写会跳过容器存储层，性能与稳定性较高。对应容器存储层应该保持无状态化。数据卷的生命周期独立于容器。

• 镜像仓库

  • 集中存放镜像文件的地方：一个Docker Registry中可以包含多个仓库（Repostory），每个仓库可以包含多个标签（Tag），每个标签对应一个镜像。通常 一个仓库会包含一个软件的不同版本的镜像，而标签就常用于对应软件的不同版本
  • 公用Docker Registry （Docker Hub）和 私有Docker Registry

2个版本

• 社区版CE

• 企业版EE

  • 安全性高

核心优势

• 隔离应用
• 整合资源
• 搭建轻量级私有PaaS环境
• 简化代码流水线助力敏捷开发
• 环境一致性

安装运行

Windows10

• Docke for windows

  • 64位专业版
  • 支持CPU SLAT功能
  • 至少4G RAM
  • BIOS中启用虚拟化
  • 启用Hyper-V

• 测试安装

  • docker -v
  • setting中配置共享驱动器设置
  • docker run hello-world

Linux

• 使用Hyper-V快速安装Ubuntu

  • 安装Hyper-v
  • 安装Ubuntu
  • 开启SSH服务
  • SSH远程登录

• 安装Docker

  • 使用存储库安装

  • 使用脚本安装

    • 测试使用，不要用于生产环境

• 个人桌面乌班图，生产环境CentOS

• CentOS

  • Hyper-V搭建

  • VMWare搭建

    • 配置网卡
    • 安装Docker
    • CentOS默认已安装SSH了
    • 学习阶段使用：curl -fsSL https://get.docker.com -o get-docker.sh sh get-docker.sh

基础命令

配置管理命名

• 登录命令

  • docker login 【option】【server】

    • -p 密码
    • -u 用户名
    • -stdin 从stdin获取密码
    • server指定仓库地址

• 磁盘占用分析

  • docker system df 【option】

    • –format 格式化输出
    • -v 显示磁盘空间使用详情

镜像命令

• 拉取镜像

  • docker image pull 【option】 NAME[:TAG|@DIGEST]

    • -a 从仓库获取所有镜像
    • -disable-content-trust 默认值true 跳过镜像校验
    • -platform 设置镜像所属平台，如果有多个镜像服务

• 列出本地镜像

  • docker image ls 【option】[respostory:TAG]

    • -a 显示所有镜像
    • -digests 显示摘要
    • -f 根据提供的条件过滤输出
    • -format 格式化输出
    • -no-trunc 不要截断输出
    • -q 仅显示数字ID

  • docker images

• 筛选镜像

  • docker images -f

• 格式化输出镜像信息

  • docker images --format

• 查看镜像详情

  • docker image inspect 【image】

• 删除镜像

  • docker image rm 【option】

    • -f 强制删除当前镜像
    • –no-prune 不删除未标记的父级

• 批量删除镜像

  • docker rmi $(docker images -f “dangling=true” -q)

• 清理未使用的镜像

  • docker system prune 【option】

    • -a 删除所有未使用的镜像
    • –filter 提供过滤条件，支持多个
    • -f 强制清理 无需提示
    • –volumes 清理数据卷

• 镜像构建

  • Dockerfile

  • docker image build 【option】

    • –rm 成功构建后删除中间容器
    • -f 指定Dockerfile的名称与路径默认当前路径/Dockerfile
    • -t 以“name：tag”格式命名

  • docker build --rm -f “Dockerfile” -t dingtalk.net:latest

• 镜像历史信息（构建层级）

  • docker image history 【option】

    • -format 格式化输出
    • -H 以人类可读的格式打印大小与日期
    • –no-trunc 不要截断输出

• 修改镜像的名称与标签

  • docker tag SOURCE_IMAGE[:TAG] TARGET_IMAGE[:TAG]

• 镜像推送

  • docker image pull 【option】
  • 如果命名空间不一致 则需要docker tag 命名修改名称与标签

容器命令

• docker run 【option】 image

• docker ps 【option】

  • -f 过滤条件
  • -a 显示所有容器
  • –format 格式化输出
  • • l 显示最新创建的
  • -s 显示大小

• docker ps --filter

  • 如果有多个过滤条件 写多个即可

• docker ps --format

  • 通过配置占位符 进行格式化输出

• 删除容器

  • docker rm 【option】 container

    • -f 强制删除正在执行的容器
    • -l 删除指定容器之间的基础连接
    • -v 删除与容器关联的数据卷

• 删除所有已停止的容器

  • docker rm $(docker ps -a q)
  • docker rm $(docker ps -a q) -f

• 查看容器环境变量

  • docker inspect 【option】

    • -f 格式化输出
    • -s 显示总的文件大小
    • –type 为指定类型输出JSON

• 进入运行的容器

  • docker exec 【option】

    • -d 后台运行模式
    • -e 设置环境变量
    • -i 打开默认标准输入
    • -t 分配伪终端
    • -w 设置工作目录
    • -u 设置用户名

  • env 查看环境变量

  • 如何设置环境变量

    • 代码中 通过Dockerfile ENV配置
    • 运行时设置 docker run --env k=v
    • 运行中设置 docker exec --env
    • 进入容器后 ，env设置

• 查看容器日志

  • docker logs 【option】

    • –detail 显示额外细节
    • -f 跟踪日志输出
    • –since 显示时间戳以后的日志
    • –until 显示时间戳之前的日志
    • -t 显示时间戳

• 查看容器资料使用

  • docker stats 【option】

    • -a 显示所有容器
    • –format 格式化显示
    • –no-trunc 不要截断输出

• 容器应用的时区

  • Linux系统默认时区是世界时区UTC
  • 中国属于东八区CST
  • 修改环境变量TZ,通常设置为‘Asia/Shanghai’
  • 推荐Dockerfile ENV里配置

• 容器资源限制

  • docker run java-hello：latest --cpu 4 --memory 100m

• scp 进行容器 与 宿主机 文件传输（-v 也可以）

仓库管理命令

调试命令

辅助工具

• Kitematic （dockerUI界面管理）

  • 安装

    • 子主题 1

持续开发工作流程

Docker Compose

• 基础使用

Dockerfile

• 编写

  • Dockerfile指令

    • FROM

    • RUN

    • COPY

    • ADD

      • 比COPY多一个功能，通过URL复制文件到容器

    • WORKDIR

    • CMD

      • 存在多个，只会执行最后的一个

    • ENTRYPOINT

      • 多个时 只有最后一个有效

    • ENV

    • EXPOSE

  • 转义字符

    • 多行编写需要转行 以提高可读性 转移字符为 , windows中使用 `

  • 编写准则

    • 尽量选择官方镜像

    • 选择合适的基础镜像

      • alpine体积小的镜像

    • 优化指令顺序

      • 原因：Docker会缓存Dockerfile中尚未更改的所以步骤，但是不管更改什么指令，都会重做其后所以的步骤，也就是说，如果指令3有更改，那么4.5.6都会重做

      • 因此，应将最不可能修改的指令放在前面，安装这个顺序编写

      • 例如 WORKDIR ENV放在前面 COPY RUN放在后面

      • 只复制需要的文件，切忌复制所以内容

      • 最小化缓存的执行层 （RUN）

      • 使用多阶构建

        • 多阶构建可以由多个FROM指令组成，一个FROM语句表示一个新的构建阶段 阶段名可使用AS参数指定
        • 为了将构建好的包添加到其后镜像中，可以使用‘COPY --from=STAGE_NAME’ 指令，其中STAGE_NAME是上一次构建阶段的名称

      • 根据情况合并指令

    • 删除多余文件和清理中间结果

    • 使用.dockerignore 文件

      • 用于忽略那些镜像构建时非必须文件

构建Docker应用程序的基本步骤

• 开发

• 编写Dockerfile文件：有一系列命令与参数组成的脚本，用来构建镜像

• 创建自定义镜像，基于’docker build’ 命令构建自定义镜像

  • 每个服务创建一个镜像
  • docker build ./ -t {镜像名称}
  • 镜像构建ok后使用 docker image ls查看

• 定义docker-compose 。docker-compose是一个用于定义和运行多个Docker应用程序的工具

  • 使用YAML文件配置应用程序的服务，然后使用单个命名就可以从配置中创建并启动所以服务

  • docker-compose 通过命名管理应用程序的生命周期

  • 启停 重建 查看服务状态 对某个服务执行命名 通过流输出正在运行的服务日志

  • 查看相关命令

    • docker-compose -h
    • docker-compose up
    • docker-compose down

  • 使用步骤

    • Dockerfile定义应用环境

    • docker-compose.yml 定义组合应用，以便可以在隔离环境中一起运行

      • 不仅可以指定正在使用的容器，还可以指定如何单独配置各个容器

      • 配置项

        • build 定义镜像生成，可以指定Dockerfile文件目录路径
        • depends on 定义依赖关系控制服务启动顺序

    • docker-compose up 启动运行整个应用程序

  • docker-compose.yml

    • 了解yaml文件语法

      • 以数据为中心，使用空白 缩进 分行组织数据

      • 3种格式

        • 常量值
        • 对象
        • 数组

      • 基本原则

        • 大小写敏感
        • 使用缩进表示层级
        • 禁止使用tab 只能使用空格
        • 缩进长度没有限制，只要元素对齐就表示属于同一个层级
        • 使用#表示注释
        • 字符串可以不用引号标注

    • 定义多个服务，以便一次运行

• 启动Docker应用程序， ‘docker run’ 也可以‘docker-compose up’

  • 应用程序只有一个容器 将其部署到Docker主机（服务器）docker run 即可，如果是多个服务容器使用 docker-compose up 将其部署为组合应用程序

• 测试 基于容器进行测试

  • 自动化测试脚本

• 部署或继续开发 ，基于容器实现持续交付与部署

  • docker push 推送镜像到镜像仓库

  • docker pull 拉取下来进行运行部署

    • 也可以使用docker-compose

  • 可以配合CI/CD实现自动化边开放边部署的工作

  • 也可以托管到k8s集群

数据库容器化

SQL Server

MySQL

Redis

• 子主题 1

MongoDB

• C++编写面向文档存储数据库

• 支持对数据建立索引

• 网站实时数据处理

• 数据缓存

• 不适应场景

  • 高度事务性系统
  • 复杂的跨(文档)表级联查询

意义

• 数据库实现弹性调度的基础条件

• 实现弹性调度的2大条件

  • 容器化
  • 存储计算分离

如何持久保存数据

• 数据卷

• 由Docker管理，独立于容器

• 数据卷不会增加容器的大小，数据卷内的数据存在于给定容器生命周期以外

• docker数据持久化2种方式

  • 使用主机目标存储 （挂载mount）

    • docker run -v 宿主机目录：容器内目录
    • -v参数应该在-d之前

  • 数据卷（volume）

    • docker volume create my-data
    • docker volume ls
    • docker run -v 宿主机目录:容器内目录

应用实战

工具支持

• VS Code

  • 安装-> F1 Docker add 添加Dockerfile
  • 安装Docker Compose插件

主流语言

• NET.Core

  • 子主题 1

• Java

  • 子主题 1

• Go

  • 子主题 1

• Python

  • 子主题 1

• Node.js

  • 子主题 1

XMind - Trial Version