云原生入门级开发者认证学习笔记之云原生基础设施之容器技术
傍晚时分，你坐在屋檐下，看着天慢慢地黑下去，心里寂寞而凄凉，感到自己的生命被剥夺了。当时我是个年轻人，但我害怕这样生活下去，衰老下去。在我看来，这是比死亡更可怕的事。——–王小波
写在前面
- 嗯，报了考试，整理课堂笔记记忆
- 学习的原因：
- 虽然考了
CKA,了解了一些K8s相关的知识 - 但是对
云原生整个体系一直都很模糊 - 希望对云原生有一个基本的认识
- 通过学习实现云原生相关入门
- 虽然考了
- 博文主要内容涉及：
- 关于Docker知识体系的简述，适合温习
- 讲的很浅，都是理论，没有实战
傍晚时分，你坐在屋檐下，看着天慢慢地黑下去，心里寂寞而凄凉，感到自己的生命被剥夺了。当时我是个年轻人，但我害怕这样生活下去，衰老下去。在我看来，这是比死亡更可怕的事。——–王小波
云原生基础设施之容器技术
容器发展背景
企业IT业务云化路径
传统业务云化
业务云化创新
容器是什么?
容器是一种轻量级、可移植、自包含的软件打包技术,使应用程序可以在几乎任何地方以相同的方式运行。
开发人员在自己开发环境创建并测试好的容器,无需任何修改就能够在生产系统的虚拟机、物理服务器或公有云主机上运行
容器核心思想
将集装箱的思想应用到了软件的打包和部署上，为各类不同的代码提供了一个基于容器的标准化运输系统。
容器与虚拟机
容器和虚拟机 之间的主要区别在于虚拟化层的位置和操作系统资源的使用方式。
用户运行在容器里的应用进程,跟宿主机上的其他进程一样,都由宿主机操作系统统一管理,只不过这些被隔离的进程拥有额外设置过的Namespace参数。而Docker项目在这里扮演的角色,更,多的是旁路式的辅助和管理工作
Docker项目介绍
2013年, dotCloud公司将Docker项目开源。Docker项目:GitHub上开发的Moby开源项目的一部分，遵循Apache License 2.0许可证协议，Go语言编写Docker是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。
Docker公司目前推出两个版本:
- Docker CE (社区版)，
- Docker EE (企业版)
容器关键技术介绍
容器规范
容器不光是Docker,还有其他容器,比如CoreOS的rkt,红帽的podman，以及之后的K8s之后的containerd。为了保证容器生态的健康发展,保证不同容器之间能够兼容,包含Docker-CoreOS-Google在内的若干公司共同成立了一个叫Open Container Initiative(OCI)的组织,其目是制定开放的容器规范。
容器runtime
runtime与操作系统kernel紧密协作,为容器提供运行环境。常见的容器runtime:
runC是Docker公司2015年发布的容器runtime工具,符合OCI规范。 runC Libcontainer演变而来。rkt,是CoreOS公司开发的Docker/runc的一个流行替代方案,符合OCI规范。Kata, 2017年整合Clear ContainerNrunV项目,基于虚拟化技术的容器实现,符合OCI规范。gVisor,2018 年Google公司发布 gVisor的项目,基于虚拟化技术的容器实现,符合OCI规范
Docker 引擎
Docker主要指容器引擎,即Docker engine。Docker Engine是-个Client/Server应用程序。Docker engine主要组件有3部分:
服务器:是一个长期运行的程序,称为daemon进程:Docker daemon用于创建和管理docker对象,如容器镜像、容器、网络、卷。命令行界面客户端(docker CLI):CLI使用Docker REST API通过脚本或直接的CLI命令与Docker daemon交互。一个REST API:Client可以用它来与daemon进程通信交互。
Docker 架构
Docker Client: Docker是个采用的C/S架构的应用程序。Docker Client一般通过Docker command来发起请求。在用户界面,支持用户与Docker Daemon之间通信Docker daemon:简单地说, Docker daemon实现的功能就是接收客户端发来的请求,并实现请求所要求的功能,同时针对请求返回相应的结果。Docker daemon是驱动整个Docker功能的核心引擎。在功能的实现上,Docker daemon涉及了容器、镜像、存储等多方面的内容,涉及多个模块的实现和交互。Containers:容器以镜像为基础,同时又为镜像提供了一个标准和隔离的运行环境。Docker的容器就是“软件界的集装箱”,可以安装任意的软件和库文件,做任意的运行环境配置。开发及运维人员在转移和部署应用的时候,不需关心容器里装了什么软件,也不需了解它们是如何配置的。Docker Image:与容器相对应,如果说容器提供了一个完整的、隔离的运行环境,那么镜像则是这个运行环境的静态体现Registry:Registry是一个存放镜像的仓库。Registry本身也是一个单独的开源项目企业可使用Registry镜像搭建私有仓库。
Docker容器实现原理
Docker容器通过namespace技术实现进程隔离,通过cgroup技术实现容器进程可用资源的限制。Docker启动一个容器时,实际是创建了包含多个namespace参数的进程。
Namespace
Namespace :命名空间作用:资源隔离。 namespace将内核的全局资源进行封装,使得每个namespace都有一份独立的资源。因此不同进程在各自namespace内对同一种资源的使用不会相互干扰。
Namespace实际上是Linux系统上创建新进程时的一个可选参数。实际上在创建Docker容器时,指定了这个进程所需要启用的一组namespace参数。通过namespace机制的隔离,容器只能见到当前Namespace中所限定的资源、文件、设备、状态或配置。以此实现应用运行环境的隔离。
PID namespace隔离示例
以交互模式启动一个centos容器,并在其中运行/bin/bash程序。执行ps命令查看到”/bin/bash“是PID=1的进程,即Docker将其隔离于宿主机中的其他进程之外。
Cgroups
Cgroups : Linux Control Groups作用:限制一个进程组对系统资源的使用上限,包括CPU、内存、Block I/O等。
1 | ┌──[root@vms81.liruilongs.github.io]-[~] |
Cgroups还可以设置进程优先级,对进程进行挂起和恢复等操作。
原理 :将一组进程放在一个Cgroup中,通过给这个Cgroup分配指定的可用资源,达到控制这一组进程可用资源的目的
实现 :在Linux中,Cgroups以文件和目录的方式组织在操作系统的/sys/fs/cgroup路径下。该路径中所有的资源种类均可被Cgroup限制。
1 | ┌──[root@vms81.liruilongs.github.io]-[/sys/fs/cgroup] |
容器镜像
对软件开发而言，容器镜像打通了“开发 - 测试 - 部署”的流程。
镜像是容器的模板,容器是镜像的运行实例,runtime根据镜像创建容器
容器镜像挂载在容器根目录下,为容器中的应用提供执行环境的文件系:容器镜像打包了整个操作系统的文件和目录(rootfs),也包括应用本身,即应用及其运行所需的所有依赖都被封装在容器镜像中。
容器镜像采用分层结构:所有容器共享宿主机Kernel,并且不能修改宿主机Kernel ·即容器运行过程中使用容器镜像中的文件,使用宿主机OS上的Kermel
- Build any Application：根据image format spec标准，任何应用都可以被制作成容器镜像，
- Ship any Anywhere：根据runtime spec标准，容器镜像可以传送到任何环境中运行。
容器镜像只是提供了一套镜像文件系统中的各种文件,而各种内核相关的模块或者特性支持,完全依赖于宿主机。
UnionFS联合文件系统
Docker镜像分层结构的实现，借助于UnionFS联合文件系统的能力.
Union File System联合文件系统,是实现Docker镜像的技术基础。它是一种轻量级的高性能分层文件系统,支持将文件系统中的修改进行提交和层层叠加。这个特性使得镜像可通过分层实现和继承。同时支持将不同目录挂载到同一个虚拟文件系统下。
以Overlay2为例: Overlay2是一种堆叠文件系统,它依赖并建立在其它的文件系统之上(如ext4fs、xfs等),并不直接参与磁盘空间结构的划分,仅将原来底层文件系统中不同的目录进行“合并”,然后向用户呈现,这也就是联合挂载技术。
嗯，这里不太理解，感觉整理类似是linux中的LVM，局部类似写时复制技术，基础的镜像文件不会被修改，只是对修改进行记录，在写入的时候，对镜像文件写入部分进行复制，然后修改后记录。看到的是基础镜像文件 + 写时复制的记录的叠加。
容器数据卷
卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器,但不属于联合文件系统,因此能够绕过Union File System提供一些用于持续存储或共享数据的特性。
将运用与运行的环境打包形成容器运行,对数据的要求希望是持久化的。
容器之间希望有可能共享数据。
卷的设计目的就是数据的持久化,完全独立于容器的生存周期,因此Docker不会在容器删除时删除其挂载的数据卷。
- 启动容器的时候直接使用
-v命令就可以进行数据卷的挂载。 - 还可以在
Dockerfile中使用VOLUME指令来给镜像添加一个或多个数据卷,
容器copy-on-write特性
对容器的增删改查：
创建文件:新文件只能被添加在容器层中。删除文件:依据容器分层结构由上往下依次查找。找到后,在容器层中记录该删除操作。具体删除文件实现是:UnionFS会在容器层创建一个"whiteout"文件,将被删除的文件“遮挡”起来。修改文件:依据容器分层结构由上往下依次查找。找到后,将镜像层中的数据复制到容器层进行修改,修改后的数据保存在容器层中(copy-on-write)。读取文件:依据容器分层结构由上往下依次查找,
所有storage driver都支持镜像分层结构和写时复制(CoW)策略。
Registry
Registry是存放容器镜像的仓库,用户可进行镜像下载和访问,分为公有和私有两类Registry。
公有镜像仓库:
Docker Hub是Docker公司为公众提供的托管Registry。Quay.io现为Red Hat下的公共托管Registryo
私有镜像仓库:
- 企业可以用
Docker Registry构建私有的Registry。Registry本身是一个开源项目,可以用于搭建私有Registry
Docker Hub中可查看到Registry镜像的Dockerfile。
Docker Hub
Docker Hub是目前世界上最大的容器镜像仓库,由Docker公司维护,并提供官方镜像及大量用户上传的镜像。
如何使用Dockerfile构建镜像
Dockerfile是一个文本文件,其内包含了一条条的指令,每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。所以为了减少存储占用，一般尽可能把run指令写到一行。
Docker提供了两种构建镜像的方法：docker commit命令与dockerfile构建文件。
Dockerfile
Dockerfile :文件指令集,描述如何自动创建Docker镜像。
- Dockerfile是包含若干指令的文本文件,可以通过这些指令创建出docker image。
- Dockerfile文件中的指令执行后,会创建一个个新的镜像层。
- Dockerfile文件中的注释以”#”开始。
- Dockerfile一般由4部分组成:
- 基础镜像信息.
- 维护者信息
- 镜像操作指令
- 容器启动指令
- build context :为镜像构建提供所需的文件或目录。
| 描述 | 指令 |
|---|---|
| 指定base镜像 | FROM |
| 注明镜像的作者 | MAINTAINED |
| 运行指定的命令 | RUN |
| 将文件从build context复制到镜像中 | ADD |
| 将文件从build context复制到镜像中(自动解压) | COPY |
| 设置环境变量 | ENV |
| 指定容器中的应用监听的端口 | EXPOSE |
| 设置后动容器的用户 | USER |
| 设置在容器启动时运行指定的脚本或命令 | CMD |
| 指定的是一个可执行的脚本或者程序的路径 | ENTRYPONT |
| 将文件或目录声明为volume，挂载到容器中 | VOLUME |
| 设置镜像的当前工作目录 | WORKDIR |
Dockerfile的指令根据作用可以分为两种：
构建指令：构建指令用于构建image，其指定的操作不会在运行image的容器上
执行。设置指令：设置指令用于设置image的属性，其指定的操作将在运行image的容器中执行。
Dockerfile指令使用注意事项：
- RUN等指令后运行的必须是基础image支持的命令。如基础image选择了centos，那么软件管理部分只能使用centos的命令。
- ADD指令与COPY指令的不同在于，在
ADD指令中，若src是压缩文件，则会自动解压到dest。 - Dockerfile中若有多条
CMD命令，则只执行最后一条。 - Dockerfile中若有多条
ENTRYPOINT命令，则只执行最后一条。 CMD与ENTRYPOINT的不同在于：当Docker run command的命令匹配到CMD command时，会替换CMD执行的命令。ENTRYPOINT指令提供的命令则不容易在启动容器时被覆盖。实际上,docker run命令行中指定的任何参数都会被当做参数再次传递给ENTRYPOINT指令中指定的命令。
使用ENTYRPOINT
1 | #ENTRYPOINT [ "/usr/sbin/nginx", "-g" , "daemon off;" ] |
同时使用ENTRYPOINT和CMD
1 | ENTRYPOINT [ "/usr/sbin/nginx" ] |
如果确实需要,用户也可以在运行时通过docker run的--entrypoint标志覆盖ENTRYPOINT指令
一个简单的Dockerfile
1 | #基于centos镜像 |
容器生命周期管理
查看Docker服务状态
1 | ┌──[root@vms81.liruilongs.github.io]-[/] |
容器生命周期管理
容器生命周期管理命令：
- docker create：创建一个容器；
- docker start：启动一个容器；
- docker run：创建并运行一个容器；
- docker pause：暂停一个容器；
- docker unpause：恢复一个容器；
- docker restart：重启一个容器；
- docker stop：停止一个运行的容器；
- docker rm：删除一个处于终止状态的容器；
- docker kill：杀死容器进程
进入一个容器
docker attach命令：
- docker attach命令直接进入已启动容器的命令终端，不会启动新的进程。
- Usage：docker attach [OPTIONS] CONTAINER
docker exec命令：
- docker exec命令是在容器中打开新的终端。
- Usage：docker exec [OPTIONS] CONTAINER COMMAND [ARG…]
其他常见命令
- 使用
docker inspect获取容器/镜像元数据。 - 使用
docker tovp命令查看容器中运行的进程信息。 - 使用
docker events从服务器获取实时事件。 - 使用
docker port列出指定的容器的端口映射。
镜像管理命令
- docker container ls 查看容器列表
- docker image ls 查看镜像列表
docker run -it -m 200M progrium/stress –vm 1 –vm-bytes 150M
容器内存和swap分配限额
docker run -it -m 300M –memory-swap=400M progrium/stress –vm 2 –vm-bytes 100M
容器CPU使用限额
docker run -it –cpus=0.6 progrium/stress –vm 1
容器CPU权重限额。
docker run -itd –cpu-shares 2048 progrium/stress –cpu 1
docker run -itd –cpu-shares 1024 progrium/stress –cpu 1
docker run -itd –cpu-shares 512 progrium/stress –cpu 1
容器IO限额
docker run -it –device-write-bps /dev/vda:50MB centos
查询cgroup内存子系统验证其内存限额配置。(cgroup内存子系统所在路径为/sys/fs/cgroup/memory/docker/容器长ID/)内存限额配置在memory.limit_in_bytes和memory.memsw.limit_in_bytes文件内。
docker run -itd -m 300M –memory-swap=400M progrium/stress –vm 2 –vm-bytes 100M
查询cgroup cpu子系统验证其CPU使用限额配置。(cgroup cpu子系统所在路径为/sys/fs/cgroup/cpu/docker/容器长ID/)CPU使用限额配置在cpu.cfs_quota_us和cpu.cfs_period_us文件内。
docker run -itd –cpus=0.7 progrium/stress –vm 1
查询cgroup cpu子系统验证其CPU权重限额配置。(cgroup cpu子系统所在路径为/sys/fs/cgroup/cpu/docker/容器长ID/)CPU权重限额配置在cpu.shares文件内。
docker run -itd –cpu-shares 512 progrium/stress –cpu 1
docker run -itd –cpu-shares 1024 progrium/stress –cpu 1
云原生入门级开发者认证学习笔记之云原生基础设施之容器技术
https://liruilongs.github.io/2022/03/27/华为云/云原生入门级开发者认证学习笔记之云原生基础设施之容器技术/
