CI Weekly #6 | 再谈 Docker / CI / CD 实践经验

最新推荐文章于 2025-04-04 00:34:35 发布
原创 最新推荐文章于 2025-04-04 00:34:35 发布 · 755 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自动化测试 #gitlab #持续集成 #devops #持续部署

CI Weekly 分享了Docker容器化应用的持续交付经验，包括百度的质量部实践和Jenkins、Docker在部署流水线中的应用。此外，还探讨了前端项目的持续集成、腾讯的毫秒服务引擎MSEC开源、基于Appium的Android UI自动化测试以及阿里巴巴的分层自动化实践。

CI Weekly 围绕『 软件工程效率提升』 进行一系列技术内容分享，包括国内外持续集成、持续交付，持续部署、自动化测试、 DevOps 等实践教程、工具与资源，以及一些工程师文化相关的程序员 Tips 。同步于 flow.ci Blog、微信公众号、官方微博，知乎专栏，简书，欢迎关注或投稿:)

嗨，上周我们对 iOS/Android 项目持续集成做了比较多的功能优化，同时恢复了对 GitLab 的支持，修复了一些常见问题，详情见flow_ci changelog，如有问题可通过「在线消息」或去Gitter群 及时反馈 :)

下面递上一份新鲜的 CI Weekly，这期收录了关于Docker/CI/CD实践、自动化测试、DevOps相关的国内外技术文章，希望对你有用~

『 Docker/CI/CD实践 』

Docker容器化应用持续交付实践

本文百度质量部以 网盟合一（零号DSP）项目过程中建立起来的通用容器化交付系统EMC为案例，分享了基于Docker的容器化应用持续交付实践经验。（via:百度质量部 ）

项目DevOps研发云CI实践之路

笔者所在项目在敏捷推进过程中，已经建立了一套以Jenkins为核心的CI持续集成系统，并分享了相关的实践情况经验。（via :中兴开发者社区）

部署流水线搭建小记：Docker、Jenkins、Java和Couchbase

这篇文章讲述了如何用Jenkins和Docker来为一个需要和数据库交互的Java应用创建部署流水线（deployment pipeline）。（via : dockone.io）

flow.ci

前端开源项目持续集成三剑客

Github 项目都会有徽章 (badage) ，这展示了代码的测试覆盖率、构建状态、在各个浏览器中的运行情况，这会让项目显得更加专业和有说服力。本文笔者集齐了一套徽章的亲身经历，总结了过程中的主要流程和一些踩到的坑！(via : 百度EFE)

腾讯毫秒服务引擎 MSEC开源

腾讯开源的MSEC 集 RPC、名字发现服务、负载均衡、业务监控、灰度发布、容量管理、日志管理、key-value存储于一体。（via: 开源中国

A Simple Introduction to Microservices

一个微服务的简洁手册，包含了微服务的定义、特点、优缺点、案例等等。（via : Medium @flow.ci）

Building, Testing and Deploying Django App with Bitbucket Pipelines

使用Bitbucket Pipelines 来Building, Testing and Deploying Django App，感兴趣的可以看看。（ via :Medium@ozren）

flow.ci

『 自动化测试/DevOps 』

基于 Appium 的 Android UI 自动化测试

好的自动化测试机制能够让开发者及早发现编码中的逻辑缺陷，将风险前置。为什么需要UI自动化测试？来看看这篇文章。（via :@美团点评技术团队李磊 ）

揭秘阿里巴巴分层自动化实践之路

为什么外部环境、业务变更、应用环境问题、执行机问题、数据问题、框架问题这些都能引起这么多失败呢？结合多年自动化实践与总结，12月8日16:00 阿里云效开启《阿里巴巴持续集成持续交付之分层自动化》直播分享，感兴趣的可以看看。（via ：阿里云效平台 ）

基于 DevOps 理念的私有 PaaS 平台实践

本文将系统的从4个方面，分享YY互娱运维团队对于 PaaS 运维平台实践经验及未来展望，希望对大家有一些参考意义。（via：刘亚丹 YY 互动）

How your startup can leverage production-grade infrastructure for less than $200/month

这篇文章的目的是帮助你专注于于生产级别的服务集合，尽量减少时间和金钱花费在基础设施上。（via :Medium@jp.delimat）
flow.ci

以上是 CI Weekly #6 的所有技术分享，
如有问题，请联系我们～

Happy building!

flow.ci

Docker的CICD
哈哈
12-15 1529
🎏⭕引言以上操作，是流程化的操作，可以把该过程自动化实现，每次写完项目后，自动打包，运行起来。Docker的CI、CD就是帮我们实现这种自动化功能的。🎏⭕CI是（）缩写，意思是CD是（持续交付，持续部署）。来看持续集成🏷️。
Docker环境下搭建CI/CD流程
m0_67690972的博客
05-27 1068
Docker环境的CICD 创建容器 通过网页访问192.168.7.17:9000端口 可以选择jenkins推荐的插件安装，等待安装完成即可 在jenkins中配置jdk插件 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/c051d
搭建基于 Docker 的 CI/CD
她°
04-15 2291
安装 Docker 安装这里就不在赘述，详情可以看下面这条链接。 docker 基础和安装：https://blog.youkuaiyun.com/qq_39253370/article/details/115430300 CI/CD 概念 持续集成（Continuous Integration，CI）：代码合并、构建、部署、测试都在一起，不断地执行这个过程，并对结果反馈。 持续部署（Continuous Deployment，CD）：部署到测试环境、预生产环境、生产环境。 持续交付（Continuous Deliv
Docker和持续集成/持续部署（CI/CD）
m0_38005052的博客
05-29 1373
在现代软件开发中，持续集成（Continuous Integration）和持续部署（Continuous Deployment）是非常重要的实践。Docker作为容器化技术的先驱之一，为CI/CD流程提供了许多优势。通过结合Docker和CI/CD工具，我们可以实现自动化的构建、测试和部署应用程序，提高开发效率和软件交付质量。
Docker和CI/CD实战
weixin_30872157的博客
12-31 938
一、CICD和DevOps 前面已经了解了CI/CD,其实CI/CD已经存在多年了，只是最近软件工程方面又提出了敏捷开发、DevOps，又把CI/CD炒火了。 那么什么是DevOps？DevOps和CI/CD有又什么关系呢？ 以下内容摘自https://en.wikipedia.org/wiki/DevOps DevOps (a clipped compound of "developme...
CI Weekly #1 | 这份周刊，带你了解 CI/CD 、DevOps、自动化测试
FIRim的专栏
09-12 1024
原文首次发布与 flow.ci Blog >> 链接，转载请联系:) 准备了很久，CI Weekly 第一期终于来了。CI Weekly 围绕『 软件工程效率提升』 进行一系列技术内容分享，包括国内外关于持续集成、持续交付，持续部署、自动化测试、devops、敏捷开发等实践教程、资源与工具，以及一些工程师文化相关的程序员 Tips。同时，CI Weekly 会坚持每周发布一期精选文章，每一期的文章尽
DevOps CI/CD之一： Jenkins和Github
kielin的专栏
08-22 1500
本篇介绍了如何在Docker中建立Jenkins，以及在Jenkins建立一个job，使其在代码提交时可以自动触发任务，这个任务的定义步骤在Jenkinsfile中定义，Jenkinsfile中可做较多的事情：比如几个步骤stage,像我们常做的事情，跑单测， build项目，测试环境自动化，uat环境测试，以及跑完自动化用例后，通过脚本更新结果，部署代码到生产环境等。
GitLab CI Pipeline执行时间优化策略与实践
MenzilBiz的博客
04-04 671
通过系统性地应用这些优化策略，我们成功将一个原本需要45分钟的Pipeline缩短到了8-12分钟。并行化使测试时间从25分钟降至5分钟智能缓存减少了80%的依赖安装时间DAG优化节省了30%的等待时间记住，CI优化是一个持续的过程。每月审查一次Pipeline效率设置性能基准指标建立监控告警机制文档化所有优化决策通过持续监控和优化，可以确保CI Pipeline始终保持高效运行，为开发团队提供快速反馈。- - -
CI_CD集成实战：将嵌入式仿真验证嵌入DevOps流水线的5个关键节点
[CI_CD集成实战：将嵌入式仿真验证嵌入DevOps流水线的5个关键节点](https://www.edureka.co/blog/content/ver.1531719070/uploads/2018/07/CI-CD-Pipeline-Hands-on-CI-CD-Pipeline-edureka-5.png) # 1. CI/CD与...
docker上手记录
qq_26124425的博客
11-27 2272
docker是一个将软件虚拟化的工具，可以在任意设备上，建立虚拟机跑软件，实现快速环境搭建运行。
从0开始使用Docker搭建Gitlab环境以及实现项目（CI/CD）自动部署与持续集成
qq_44956803的博客
06-26 1903
从0开始一步一步的教你使用VMware创建虚拟机安装Docker并部署Gitlab实现CI/CD
CICD流水线 发布应用到docker镜像仓库
w2144217940的博客
04-07 478
复制链接: https://cr.console.aliyun.com/cn-beijing/instances 并指定 dockerfile文件路径，路径要结合你的项目设置 创建一个Dockerfile文件写入如下图内容 记得这两个步骤要位置交换
DevOps利器之一Docker
heijunwei的博客
01-17 932
本篇文章主要阐述Docker在DevOps中的应用与价值，Docker部署与安装；因为搭建DevOps流程中所应用的工具及框架都部署到Docker，所以首先介绍Docker为后续做准备。
DevOps 走进Docker
记录总结工作过往
03-15 319
Docker是DotCloud于2013年开发的一种开源容器，用于将Liunx容器中的应用代码打包并轻松在服务器之间进行迁移。Docker是用Go语言实现的开源项目，非常方便创建和使用容器，Docker可以将程序及其程序所有依赖打包到Docker Container中，程序运行的依赖即使一种集装箱，容器所在操作系统就是货船或港口，程序运行环境只和集装箱有关系（容器），和集装箱放在哪个货船或者港口没直接关系。
一、DevOps之Docker详细使用教程
落日的博客
05-11 1524
Docker 01-主要内容 初识 Docker Docker 命令 Docker 容器数据卷 Dockerfile Docker 应用部署 Docker 服务编排 Docker 私有仓库 Docker相关概念 02-初识docker-docker概述 分析： ​ 把环境一起给打包起来 ​ 操作系统，运行环境（软件，服务），项目 Docker 概念 • Docker 是一个开源的应用容器引擎 • ...
【DevOps】Docker 最佳实践指南（绝对干货）
TradingAgents-CN专栏
05-14 8697
Docker 是一种领先的容器化平台，可以简化应用程序的开发、部署和管理。通过使用 Docker，您可以创建一致、可移植且可扩展的环境，从而实现高效的开发和运营。本指南将介绍 Docker 的最佳实践，帮助您充分利用 Docker 的潜力并确保应用程序的安全性和性能。
DevOps-Docker
SpriCoder的博客
03-02 1026
DevOps-Docker
什么是自动化测试分层？3个层次从高到低又是哪些？
测试界的彭于晏的博客
08-04 1143
自动化测试分层，可以理解为将测试任务分解为多个层次，并在每个层次中定义特定的测试任务和测试范围，通过这种方式，测试人员可以更好地管理和组织测试工作，确保测试的全面性和准确性。自动化测试可以分解为3个层次，分别为单元测试、接口测试和UI测试，为了更好的理解分层的思想，可以借助下图：
mkdir failed for /var/run: Read-only file system Failed to setup cgroup2 directory 输入命令后报错
最新发布
07-30
<think>我们面对的是两个主要错误： 1. mkdir failed for /var/run: Read-only file system 2. Failed to setup cgroup2 directory 根据用户提供的引用，虽然引用内容是关于kubelet配置文件的，但我们可以推断用户可能是在部署Kubernetes节点时遇到这些错误。然而，错误本身与文件系统挂载和cgroup配置有关。 首先，我们分析错误原因： 1. "mkdir failed for /var/run: Read-only file system"： - 这表明系统试图在`/var/run`目录下创建目录或文件，但该目录所在的文件系统被挂载为只读（read-only）。通常，`/var/run`是一个临时文件系统（tmpfs），在Linux系统中应该被挂载为可读写（rw）。 2. "Failed to setup cgroup2 directory"： - cgroup（控制组）是Linux内核的功能，用于资源管理和隔离。cgroup v2是较新的版本。这个错误表明系统在设置cgroup v2目录时失败，可能与文件系统权限或挂载方式有关。 解决思路： 1. 检查文件系统挂载状态： - 确认根文件系统（/）是否以只读方式挂载。有时系统在启动过程中如果检测到文件系统错误，会以只读方式重新挂载。 2. 重新挂载文件系统为可读写： - 如果根文件系统被挂载为只读，我们可以尝试重新挂载为可读写。 3. 检查并挂载cgroup2： - 确认cgroup2是否已挂载。在支持cgroup v2的系统上，需要挂载到`/sys/fs/cgroup`。 具体步骤： 步骤1：检查文件系统挂载状态 - 运行命令：`mount | grep -E &#39; / | /var/run&#39;` - 观察输出中根目录（/）和/var/run的挂载选项。如果看到`ro`（只读），则需要重新挂载。 步骤2：重新挂载根文件系统为可读写（如果只读） - 执行：`mount -o remount,rw /` - 然后检查：`mount | grep &#39; / &#39;`，应该显示`rw` 步骤3：检查/var/run挂载 - 通常，/var/run是一个tmpfs，应该被挂载为可读写。如果没有挂载，可以尝试：`mount -t tmpfs tmpfs /var/run` 步骤4：处理cgroup2错误 - 检查cgroup2挂载：`mount | grep cgroup2` - 如果没有挂载，尝试挂载： ``` mkdir -p /sys/fs/cgroup mount -t cgroup2 none /sys/fs/cgroup ``` - 如果已经挂载，检查权限和挂载选项。 步骤5：确保系统启动时自动挂载 - 如果上述步骤是临时生效，重启后可能还会出现。需要修改`/etc/fstab`文件，确保根文件系统以可读写方式挂载，并添加tmpfs和cgroup2的挂载项（如果不存在）。 示例/etc/fstab条目（根据需要添加）： - 对于tmpfs：`tmpfs /var/run tmpfs defaults 0 0` - 对于cgroup2：`cgroup2 /sys/fs/cgroup cgroup2 defaults 0 0` 步骤6：重启系统并检查 - 重启后，使用`mount`命令检查挂载情况。 注意：如果文件系统有错误（如磁盘错误），重新挂载为可读写可能不会持久，或者系统可能再次挂载为只读。因此，在重新挂载后，建议运行文件系统检查（fsck）。 如果问题仍然存在，可能需要考虑硬件故障或更深入的系统日志分析（使用`dmesg`或`journalctl`）。 下面是一个完整的解决流程： ### 解决"/var/run只读文件系统"和"cgroup2目录设置失败"错误 #### 一、错误原因分析 1. **只读文件系统**：系统检测到磁盘错误或挂载选项错误时，会以只读方式挂载文件系统防止进一步损坏[^1]。 2. **cgroup2挂载失败**：通常由以下原因导致： - cgroup v2未在内核中启用 - 挂载点目录不存在 - 系统资源不足 #### 二、紧急恢复操作 ```bash # 1. 重新挂载根目录为读写模式 mount -o remount,rw / # 2. 创建临时挂载点（如果缺失） mkdir -p /var/run # 3. 挂载tmpfs到/var/run mount -t tmpfs tmpfs /var/run # 4. 挂载cgroup2 mkdir -p /sys/fs/cgroup mount -t cgroup2 none /sys/fs/cgroup ``` #### 三、永久性修复方案 1. **修改/etc/fstab文件**： ```bash # 备份原文件 cp /etc/fstab /etc/fstab.bak # 编辑fstab nano /etc/fstab ``` 添加以下条目： ``` tmpfs /var/run tmpfs defaults 0 0 none /sys/fs/cgroup cgroup2 defaults 0 0 ``` 2. **检查根文件系统挂载选项**： 确保根目录挂载行包含`rw`选项，例如： ``` /dev/mapper/ubuntu--vg-ubuntu--lv / ext4 rw,relatime 0 1 ``` 3. **修复磁盘错误**： ```bash # 卸载文件系统（若根目录无法卸载，可尝试在救援模式下操作） umount /dev/sda1 fsck -y /dev/sda1 ``` #### 四、系统重启验证 ```bash reboot # 重启后检查 mount | grep -E &#39; / | /var/run|/sys/fs/cgroup&#39; ``` #### 五、故障排查流程图 ```mermaid graph TD A[启动失败] --> B{检查日志} B -->|只读文件系统| C[尝试remount rw] B -->|cgroup2错误| D[检查内核支持] C --> E[成功?] E -->|是| F[修复fstab] E -->|否| G[进入救援模式] D --> H[内核>=4.5?] H -->|是| I[手动挂载cgroup2] H -->|否| J[升级内核] ``` #### 六、技术原理 - **tmpfs作用**： $$ \text{Memory}_{\text{RAM}} \xrightarrow{\text{tmpfs}} \text{/var/run} $$ 将临时文件存储在内存中，加速访问并避免磁盘磨损[^2]。 - **cgroup2资源管控**： ```mermaid sequenceDiagram 进程->>cgroup2: 申请资源 cgroup2->>内核: 查询当前资源使用 内核-->>cgroup2: 返回使用量 cgroup2->>进程: 分配资源或限制 ``` --- ### §§ 相关问题 §§ 1. 如何检查Linux系统是否启用了cgroup2？ 2. 系统启动时自动进入只读模式该如何处理？ 3. 在Kubernetes节点部署中如何避免cgroup配置错误？ 4. 如何通过GRUB修复无法挂载为读写模式的问题？ 5. 在Docker容器中遇到"Read-only file system"错误应如何解决？[^3]</think>### 解决 "mkdir failed for /var/run: Read-only file system" 和 "Failed to setup cgroup2 directory" 错误指南 #### 一、错误原因分析 1. **只读文件系统问题**： - 系统检测到磁盘错误或挂载配置错误时，会自动将文件系统挂载为只读模式以防止数据损坏[^1] - 常见触发场景： - 文件系统损坏（如意外断电） - 磁盘空间耗尽 - `/etc/fstab` 配置错误 - 硬件故障（SSD/HDD坏道） 2. **cgroup2目录设置失败**： - 系统未启用cgroup2或挂载点配置错误 - 容器运行时（如Docker/containerd）与cgroup版本不兼容 - 内核版本过低（cgroup2需要Linux 4.5+） - 权限问题（特别是SELinux/AppArmor限制） ```mermaid graph TD A[错误原因] --> B[/var/run 只读/] A --> C[cgroup2 失败] B --> D[文件系统损坏] B --> E[磁盘空间不足] B --> F[fstab配置错误] C --> G[内核不支持cgroup2] C --> H[容器运行时配置错误] C --> I[权限问题] ``` #### 二、紧急恢复操作 ```bash # 1. 检查磁盘空间 df -h # 查看根分区使用率 # 2. 尝试重新挂载为读写模式（关键步骤） mount -o remount,rw / # 3. 检查文件系统错误 touch /testfile 2>/dev/null || echo "仍为只读模式" ``` #### 三、永久性解决方案 ##### 方案1：修复文件系统错误 ```bash # 卸载文件系统（如无法卸载，需重启到救援模式） umount /dev/sda1 # 运行fsck修复 fsck -y /dev/sda1 # 重新挂载 mount -o rw /dev/sda1 / ``` ##### 方案2：修复cgroup2配置 ```bash # 1. 检查cgroup2支持 grep cgroup /proc/filesystems # 应显示cgroup2 # 2. 手动挂载cgroup2（临时） mount -t cgroup2 none /sys/fs/cgroup # 3. 永久配置（/etc/fstab添加） echo "none /sys/fs/cgroup cgroup2 defaults 0 0" >> /etc/fstab # 4. 更新容器运行时配置（以containerd为例） cat > /etc/containerd/config.toml <<EOF version = 2 [plugins."io.containerd.grpc.v1.cri"] systemd_cgroup = true EOF systemctl restart containerd ``` ##### 方案3：处理磁盘空间问题 ```bash # 查找大文件（>100MB） find / -xdev -type f -size +100M -exec ls -lh {} \; # 清理Docker/容器日志 journalctl --vacuum-size=200M docker system prune -af rm -rf /var/lib/docker/containers/*/*-json.log ``` #### 四、系统重启后验证 ```bash # 检查挂载状态 mount | grep -E &#39; / | cgroup&#39; # 测试文件系统写入 echo "test" > /var/run/testfile && rm -f /var/run/testfile # 验证cgroup2 ls /sys/fs/cgroup | grep cgroup.controllers ``` #### 五、高级故障排除 ```bash # 1. 检查内核日志 dmesg | grep -i -E &#39;error|read-only|cgroup&#39; # 2. SELinux/AppArmor诊断 sestatus # SELinux状态 aa-status # AppArmor状态 # 3. 硬件诊断（SMART检测） smartctl -a /dev/sda # 4. 系统救援模式操作 # 使用Live CD/USB启动后： fsck /dev/sda1 mount /dev/sda1 /mnt chroot /mnt ``` #### 六、配置优化建议 1. **fstab加固配置**： ```bash # /etc/fstab 示例（添加错误检测） /dev/sda1 / ext4 defaults,errors=remount-ro 0 1 ``` 2. **cgroup混合模式配置**： ```bash # 启用cgroup混合模式（/etc/default/grub） GRUB_CMDLINE_LINUX="systemd.unified_cgroup_hierarchy=0" update-grub ``` 3. **自动维护任务**： ```bash # 每周自动清理（/etc/cron.weekly/cleanup） #!/bin/sh docker system prune -f journalctl --vacuum-size=500M find /var/log -type f -name "*.gz" -delete ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值