Jenkins 持续集成 【CICD、自动化】

已于 2024-06-12 15:44:04 修改
阅读量2k 收藏 23
点赞数 23
分类专栏： python 文章标签： jenkins ci/cd
于 2024-04-04 15:23:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35283902/article/details/137374919
版权
本文介绍了持续集成的理念及其在Jenkins中的应用，包括Jenkins的安装、配置、使用场景，如自动化的持续集成测试和邮件通知，以及如何定制Allure报告和测试用例标题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

持续集成 （Continuous integration，简称CI）

持续集成是一种开发实践，它倡导团队成员频繁的集成他们的工作，每次集成都通过自动化构建（包括编译、构建、打包、部署、自动化测试）来验证，从而尽快地发现集成中的错误。让产品可以快速迭代，同时还能保持高质量。

Jenkins是基于Java开发的持续集成工具，开源免费，官网：https://jenkins.io/

在这里插入图片描述
测试常用的场景： 使用Jenkins实现自动化的持续集成测试，达到无人值守测试的境界。【释放人力 7 *24】

  • 代码提交给Jenkins
  • Jenkins做好定时任务： 持续构建执行
  • 构建完成后把测试报告发送邮箱，查看结果，定位分析问题。
    【allure报告】

一、安装和配置Jenkins【依赖java环境：安装Java环境-JDK】

安装Java环境-JDK

1、电脑安装好jdk，配置环境变量；

  • 在系统变量中添加JAVA_HOME，对应的值是jdk的安装路径 【】
  • 在系统变量path里面，追加%JAVA_HOME%\bin
  • 在命令行模式下，输入：java -version

安装Jenkins

2、【免安装Jenkins】-安装包里面有安装好了所需要的插件+组件，Jenkins默认访问外网的，建议大家使用我的Jenkins免安装版本

  • windows下启动 D:\apache-tomcat-8.5.43\bin 点击 startup.bat
    • jenkins运行时，这个脚本框要一直启动着
  • 访问jenkins地址（本地回环地址）
    • http://localhost:8080/jenkins/ 或http://127.0.0.1:8080/jenkins/

注意：学习的阶段，Jenkins部署在本地的，只能在我的局域网内部访问；
真实的工作中，Jenkins部署在公司的服务器里面，外网访问公司里面，会由开发/运维会提前帮你部署的，不需要你部署的。

  • 登录： 默认用户名：admin
  • 初始密码：
    • C:\Users\Administrator.jenkins\secrets\initialAdminPassword 获取

配置Jenkins

3、Jenkins里配置jdk和git、allure、邮箱等
进入Manage Jenkins -> Configure System：
1）配置系统管理员邮箱地址：
在这里插入图片描述
2）配置Extended E-mail Notification：
常见邮箱服务地址：https://blog.youkuaiyun.com/ning521513/article/details/79217203

在这里插入图片描述

这个SMTP服务密码：是一串如下的随机码，请逐字输入：

在这里插入图片描述
3） 以类似的配置配置Email Notification：
在这里插入图片描述
4）点击测试邮件配置是否OK。
在这里插入图片描述

Jenkins在运行中需要使用各种工具环境，包括JDK、Git、Allure等，我们需要在Jenkins所在主机关联配置这些工具。

1、jdk配置：manager Jenkins > Global Tool Configuration >
在这里插入图片描述
2、git的配置： 前提你的系统环境变量里配置好了git环境变量。【path里配置了git的环境变量】
在这里插入图片描述
3、allure的配置：
在这里插入图片描述
注意：如果没有这个配置，需要去安装对应的插件。manager Jenkins >Manger Plugins>可选插件 ，搜索allure 安装即可。
在这里插入图片描述

以上准备工作做好之后，我们可以开始配置Jenkins做自动化项目的持续集成了。
二：Jenkins新建工程
1、新建Item
2、输入一个任务名称 ---- 建议尽量英文/数字形式
3、点击选中 Freestyle project
4、点击【确定】
在这里插入图片描述
此时，jenkins首页已经有了你刚创建的工程 (球是灰色–因为你没有构建过)
每个项目都有自己的工作区，是用来放代码的
在这里插入图片描述
在这里插入图片描述
添加凭据L:确保是gitee上可以登录成功的用户名和密码。
1）类型：Usernamewith password
2）用户名：gitee账户 3）密码：gitee密码
1、xxxx工作空间 —> 配置—>构建—>增加构建步骤
2、选择 Execute Windows batch command

在这里插入图片描述
3、输入命令 ：如python main.py 或 python run.py
在这里插入图片描述
构建触发器【实现定时任务】–无人值守测试
xxxx工作空间 —> 配置—>构建触发器
在这里插入图片描述

2、定时构建： 点击日程表 右侧 ？
2、定时构建： 点击日程表 右侧 ？

* * * * *

分钟【0-59】 小时【0-23】 日【1-31】月【1-12】 周【0-7 】
1、每天的晚上八点钟执行代码： 0 20 * * *
2、每月的10号晚上0点执行： 0 0 10 * *、
3、每天晚上的八点10分到15分: 10-15 20 * * *
4、每间隔10分钟: */10 * * * *
5、每间隔1小时: * /1 * * *
6、前三十分钟内每间隔5分钟: 0-30/5 * * * *
7、每天的20，21，23点执行: 0 20,21,23 * * *
8、每周一-周五（工作日期间）间隔4小时执行自动化测试任务： */4 * * 1-5

在这里插入图片描述
也可以与其他的任务关联（Build after other projects are built）实际有可能我们运行项目不是一定要定时去执行的，可能开发每次发版我们就需要构建我们的自动化测试脚本，来测试开发的新代码是否存在问题。等到开发的Jenkins任务构建结束之后再开始构建我们的自动化测试任务

添加allure报告

xxxx工作空间 —> 配置—>构建后操作
添加allure report
添加完成后，每次构建完成后，都会生成allure的报告文件。
在这里插入图片描述
在这里插入图片描述
添加后再次构建就会出现allure报告。
在这里插入图片描述

构建后操作 -发送邮件

https://blog.youkuaiyun.com/Wjhsmart/article/details/109203361 查询邮箱smtp服务地址

工作空间 —> 配置—>构建后操作 -> Editable Email Notification
在这里插入图片描述
在这里插入图片描述
邮件内容HTML模板: 【直接复制即可】

项目名称：${PROJECT_NAME}<br><hr>
构建编号：${BUILD_NUMBER}<br><hr>
构建状态：${BUILD_STATUS}<br><hr>
触发原因：${CAUSE}<br><hr>
测试报告：<a href="${BUILD_URL}allure/">${BUILD_URL}allure/</a>
<br><hr>
邮件内容HTML模板: 【直接复制即可】
构建日志地址：<a
href="${BUILD_URL}console">${BUILD_URL}console/</a><br><hr>

allure报告定制

参考文章：testingpai.com/article/1595507295429
装饰器： 增强 扩展函数 和方法的功能。类装饰器 方法装饰器 --扩展类和方法的功能。 【测试开发】

1、定制测试用例的标题

# 第二步： pytest测试用例方法
@pytest.mark.p1
@allure.title("{data[用例标题]}") # 使用测试用例的excel的用例
标题描述每一条用例 更直观
@pytest.mark.parametrize("data",all_cases)
def test_cart_case(data): # 调用夹具
 resp = requests_api(data)
 expected = data["预期结果"] # 从excel读取预期结果
 db_assert = data["数据库断言"]
 response_assert(expected,resp)
 # 数据库断言
 database_assert(db_assert)

注意1：但是直接这样做完，这个标题显示格式错乱的。要优化可以如下操作：

  • 1、找到Python目录下： D:\Python39\Lib\sitepackages\allure_pytest\listener.py
  • 2、打开这个文件搜索： test_result.parameters.extend
  • 3、将对应的内容变成： test_result.parameters.extend([])
  • 4、重新运行run文件，生成allure报告。

2、定制测试套件名字

@allure.suite("购物车模块")

3、定制测试步骤

@allure.step("替换占位符变量")

二、Jenkins怎么一键切换测试环境

通过Jenkins参数化构建的功能
在这里插入图片描述

使用参数的值
在这里插入图片描述
注意事项，如果选择shell(Linux mac系统)，那么对应的使用方法${env}

在这里插入图片描述
在data下面新建一个配置文件：把所有可能会需要测试的环境写到配置文
件里：

保存框架配置的信息
环境的地址 测试环境、开发环境、预发布环境
test_url = 'http://mall.xxxxxxx.com:3344/'
dev_url = 'http://dev.mall.xxxxxxx.com:3344/'
pre_url = 'http://pre.mall.xxxxxxx.com:3344/'

方便到时候读取到地址数据，我们可以通过字典来存储这些地址数据：

#setting里的环境存储字典的格式：
# 环境的地址
url = {'test':'http://mall.xxxxxxx.com:3344/',
 'dev':'http://dev.mall.xxxxxxx.com:3344/',
 'pre':'http://pre.mall.xxxxxxx.com:3344/'}

初始化钩子数 【pytest_addoption】
pytest_addoption钩子函数可以在pytest初始化时收集用户传递的参数，方便用户通过命令行参数的形式给 pytest 传递不同的参数进行不同测试场景的切换。
触发钩子函数的时机：conftest文件加载完之后执行这个钩子函数， 在测试运行开始时调用一次。所以，我们钩子函数写在conftest文件里。
注意： 钩子函数名字固定，并同一个文件里不能用重复的名字的钩子函数。
参考的文章：http://testingpai.com/article/1690789124701
在conftest.py添加钩子函数： 函数名字固定 不能改。

# 添加钩子函数： 注册pytest的参数的 用于传递测试环境名字 【钩子函数不能改】
def pytest_addoption(parser):
    # 注册自定义参数命令行参数
    parser.addoption("--env", default="test", choices=['dev', 'test', 'uat', 'pro'], help="命令行参数 '--env' 设置环境切换")
    # parser.addoption("--host", default="wins", choices=['win', 'mac', 'linux'], help="命令行参数 '--host' 设置系统版本")

1）parser ：参数解析器，固定写法，不能改名字。
2）parser.addoption： 用于自定义参数。–方法

  • 第一个是增加的参数的名字： 自己定义的，–env 或者–host都可以，这个名字就是后面在pytest括号里传的参数的名字
    • pytest.main([“–env”])
  • default: 参数的默认值，如果你没给这个参数传递值或者没有填写参数的情况下，那么默认值就是test。传了值替换默认值；
  • choices: 环境的选择，dev-开发环境，test-测试环境，uat-预发布环境，pro-生产环境，列表装起来。
  • help： 帮忙文档 参数的说明文档 解释说明。

加完钩子函数之后，在conftest所在的目录的cmd里，输入pytest -h，可以看到注册的信息的命令行参数：

在run函数中添加

# 日志持久化 写到日志文件
logger.add(sink=log_path ,
           encoding="UTF8",
           level="INFO",
           rotation="10MB",
           retention=20)

# 通过sys.argv 接受命令行参数 获取到参数，并赋值给一个变量
# 约定这个参数传递的顺序 -- readme文档
# 问题： 只能通过命令行执行，不能再通过run运行  因为run不带参数 取不到1索引参数。
try:
    env_param = sys.argv[1]
except Exception as e:
    env_param = "test"

# allure测试报告的生成
# pytest.main(["-s","-v",f"--alluredir={report_path}","--clean-alluredir","-m p1","--reruns","2"])
pytest.main(["-s","-v",f"--alluredir={report_path}","--clean-alluredir","-m p1",f"--env={env_param}"])
# 在pytest的参数里 进行命令参数传递切换环境的数据的参数化。

三、Jenkins支持多平台消息通知

只要你的邮箱能够去支持smtp服务就可以
Jenkins也可以去支持这些平台消息通知
钉钉/企业微信/飞书…
钉钉：http://testingpai.com/article/1616405554633
企业微信：https://blog.youkuaiyun.com/qq_34202873/article/details/131866939
飞书：https://blog.youkuaiyun.com/MXB1220/article/details/131838388

jenkins+docker实现可持续自动化部署springboot项目
congge
04-06 1万+
jenkins+docker实现可持续自动化部署springboot项目
jenkins自动化持续集成
qq_36751833的博客
05-14 1543
安装插件的时候，会有一些插件安装失败（如上图的X），这些插件的安装是有前置条件的，等安装结束后，按右下角“重试”，继续安装，之前失败的插件就都能安装了。（4）配置端口，填写一个端口，可以通过test port验证端口是否被其他程序占用，测试通过会打钩，如下图，默认是8080，如果有安装Tomcat，Tomcat的端口也是8080，就会冲突，我填的是8081。2、点击插件管理，点击插件安装，输入allure，会显示allure插件，直接点击安装即可，我是已经安装过了，所以这里搜索不到。
Jenkins（CI/CD工具）
韶君的博客
04-27 1583
Jenkins 是一个开源的持续集成（CI）和持续交付/部署（CD）工具，用于自动化软件构建、测试和部署过程。
持续集成之jenkins
小郑
04-05 1016
当你只会停服部署，熬夜加班的时候，建议学习一下持续集成jenkins部署项目。你会发现不用和开发沟通的感觉真舒服，任何需求集成都交给jenkins服务自动发布。但是发布的环境只能是测试环境，生产环境必须自己去迁移，避免出错背锅。
jenkins持续集成
Sun__s的博客
03-18 274
[root@server2 ~]# rpm -ivh jdk-8u171-linux-x64.rpm [root@server2 ~]# rpm -ivh jenkins-2.283-1.1.noarch.rpm [root@server2 ~]# cd /var/lib/jenkins/ [root@server2 jenkins]# systemctl start jenkins [root@server2 jenkins]# vim hudson.model.UpdateCenter.xml [roo
jenkins持续集成cicd
10-17
Jenkins是一个开源的持续集成工具，它支持持续交付（Continuous Integration and Continuous Deployment，简称CI/CD）流程。它通过自动化构建、测试和部署软件项目，帮助团队快速识别并解决问题，确保代码质量，并...
（CICD）自动化构建打包、部署(Jenkins + maven+ gitlab+tomcat)
weixin_50382197的博客
05-21 6339
在本文档中，我们将概述持续集成，持续交付和持续部署的概念，以及GitLab CI / CD的介绍。软件开发的连续方法基于自动执行脚本，以最大限度地减少在开发应用程序时引入错误的可能性。从新代码的开发到部署，它们需要较少的人为干预甚至根本不需要干预。它涉及在每次小迭代中不断构建，测试和部署代码更改，从而减少基于有缺陷或失败的先前版本开发新代码的机会。这种方法有三种主要方法，每种方法都根据最适合您的策略进行应用。Devops持续集成。
运维自动化工具 Jenkins：持续集成与持续部署（CI/CD）流程搭建
最新发布
数字魔方操控师的博客
05-03 1009
Jenkins 是一个基于 Java 开发的开源自动化服务器，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。自 2011 年从 Hudson 项目独立出来后，Jenkins 迅速发展，拥有庞大的插件生态系统，目前已支持超过 1000 个插件。这些插件涵盖了版本控制、构建工具、测试框架、部署工具等各个方面，几乎可以满足任何软件开发项目的自动化需求。Jenkins 的核心功能包括持续集成、持续交付和持续部署。它可以监控代码仓库的变化，自动触发构建过程，并对构建结果进行反馈。
jenkins持续集成部署
2401_83794506的博客
12-25 2090
Jenkins是一个开源的自动化服务器，它支持各种自动化任务，如构建、测试和部署软件项目。Jenkins提供了丰富的插件和灵活的配置选项，使得开发者能够根据自己的需求定制CI/CD流程。同时，Jenkins还提供了易于使用的Web界面和强大的脚本支持，使得CI/CD流程的管理和监控变得更加简单。登陆后，会出现如下页面，这里涉及到jenkins的插件安装，建议选择“安装推荐的插件”，点击“安装推荐的插件”后，进入“新手入门”页面，等待全部插件安装成功即可。
持续集成jenkins
07-31
持续集成Jenkins
【持续集成】Jenkins
Summer
01-09 1485
这两天研究了一下Jenkins使用，这里就简单介绍一下，作为自己学习的记录。 【是什么】            Jenkins是一个开源软件项目，旨在提供一个开放易用的软件平台，使得持续集成编程可能。Jenkins的前身是Hudson，是基于Java开发的一种持续集成工具，它可以根据配置进行持续定期编译，运行相应的代码，将运行结果发送至邮件或者展示成报告等。 【为什么】
持续集成(Jenkins)
AiT_Boy的博客
02-26 926
什么是持续集成 持续集成（ Continuous integration ， 简称 CI ）指的是，频繁地（一天多次）将代码集成到主干。 持续集成的目的，就是让产品可以快速迭代，同时还能保持高质量。它的核心措施是，代码集成到主干 之前，必须通过自动化测试。只要有一个测试用例失败，就不能集成。 通过持续集成， 团队可以快速的从一个功能到另一个功能，简而言之，敏捷软件开发很大一部分都要归 功于持续集成。 根据持续集成的设计，代码从提交到生产，整个过程有以下几步。 提交 流程的第一步，是开发者向代码仓库提交代码
Jenkins持续集成
世上哪有什么岁月静好,不过是有人替你负重前行
07-09 3246
Jenkins 是一个开源的持续集成（Continuous Integration）工具，它可以帮助开发团队自动化构建、测试和部署应用程序。
持续集成——Jenkins
玉爷的博客
04-19 2221
持续集成 续集成服务（Continuous Integration，简称 CI） 它绑定 Github 上面的项目，只要有新的代码，就会自动抓取。然后，提供一个运行环境，执行测试，完成构建，还能部署到服务器。 持续集成指的是只要代码有变更，就自动运行构建和测试，反馈运行结果。确保符合预期以后，再将新代码"集成"到主干。 持续集成的好处在于，每次代码的小幅变更，就能看到运行结果，从而不断累积小的变更，而不是在开发周期结束时，一下子合并一大块代码。 云服务 travis-ci Travis CI 是在软件开发
dify 循环
03-28
<think>好的，我现在需要帮助用户解决关于Dify循环实现的问题。首先，我需要明确用户的具体需求。他们提到“dify 循环实现”或“dify 如何处理循环”，但Dify本身可能没有直接称为“循环”的功能，所以需要结合现有文档中的信息来推断可能的解决方案。 根据用户提供的引用内容，Dify工作流中有迭代节点[^1]。这可能类似于编程中的循环结构，用于重复执行某个任务。例如，在处理列表数据或需要多次执行同一操作时，迭代节点可以派上用场。我需要详细解释迭代节点的配置和使用步骤，确保用户能够理解如何设置循环次数或遍历数据集。 另外，用户可能对如何处理循环中的错误或性能问题感兴趣。引用[2]提到在Dify中处理PEM文件的问题，这可能涉及在循环中正确处理数据格式，避免错误积累。需要提醒用户在循环中注意错误处理和资源管理，确保每次迭代的稳定性。 引用[3]中的例子展示了如何结合FastAPI和Selenium进行实时监控并生成GIF，这可能涉及循环截取浏览器内容。虽然Dify本身可能不直接控制这类循环，但可以通过外部脚本或定时任务触发工作流，模拟循环执行。这部分需要说明如何将外部循环机制与Dify结合使用。 接下来，我需要组织回答结构。首先介绍迭代节点的基本概念和配置步骤，然后讨论循环中的数据处理和错误处理，最后补充外部触发循环的方法。同时，生成相关问题以帮助用户进一步探索，比如优化循环性能或处理复杂数据结构。 需要确保回答符合格式要求，使用正确的中文表达，行内公式用$...$，独立公式用$$...$$，但当前问题不涉及数学公式，所以可能不需要使用。同时，引用标识要自然地添加到相关段落末尾，如、[^2]、[^3]。 最后，检查是否有遗漏点，比如Dify的其他循环相关功能或用户可能遇到的常见问题，确保回答全面且易于理解。</think>在Dify中处理循环逻辑主要通过**迭代节点**实现，以下是具体实现方式和应用场景的解析： ### 一、Dify的循环实现机制 Dify通过**工作流设计器**中的迭代节点处理循环需求，其核心原理类似编程中的`for循环`。迭代节点可遍历以下数据类型： - 数组列表：`["A","B","C"]` - 字典集合：`{"key1":"value1", "key2":"value2"}` - 数值范围：通过`range()`函数生成序列 配置示例： ```python # 模拟迭代节点的数据输入 input_data = { "dataset": [1,2,3,4,5], "process_logic": "item * 2" # 对每个元素执行乘以2的操作 } ``` ### 二、迭代节点的关键配置步骤 1. **数据源绑定**：将数组/字典类型变量连接到迭代节点的输入端口 2. **循环变量命名**：设定当前元素的变量名（默认为`item`） 3. **子流程设计**：在迭代节点内部构建需要重复执行的逻辑模块 4. **结果聚合**：通过`outputs`收集所有迭代结果，支持数组或对象格式 $$ \text{总耗时} = \sum_{i=1}^{n}(单次迭代时间_i) + 系统开销 $$ ### 三、循环中的特殊处理 1. **错误中断控制**： - 启用`continueOnError`参数可跳过失败迭代 - 通过`try-catch`模块包裹敏感操作 2. **并行优化**： ```python # 伪代码示例 Parallel.forEach(dataset, lambda item: process(item)) ``` 3. **结果过滤**： ```python filtered = filter(lambda x: x%2==0, processed_results) ``` ### 四、应用场景案例 1. **批量文件处理**：遍历存储桶中的文件列表进行格式转换 2. **数据清洗**：对数据库查询结果集进行逐条校验 3. **API轮询**：定时循环调用第三方接口直到满足特定条件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值