GitHub Actions:Python项目的CI/CD实践

Python项目持续交付实战:从CI/CD原理到GitHub Actions完整流水线搭建 持续集成(CI)与持续交付(CD)是现代软件工程的核心实践,旨在通过自动化流程提升软件交付效率与质量。CI侧重于频繁集成代码变更并自动运行构建与测试,确保团队协作的代码基础稳定;CD则在此基础上延伸,构建从代码提交到可部署产物的完整自动化管道,实现“随时可发布”的能力。其技术价值在于缩短反馈周期、降低发布风险、提升团队协作效率。在Python项目中,这一实践尤为重要,涉及依赖管理、测试策略、容器化部署等关键环节。通过GitHub Actions等现代化工具,开发者可以快速搭建包含代码检查、安全扫描、多版本测 阅读详情

GitHub Actions:Python项目的CI/CD实践

前言

大家好,我是第一程序员(名字大,人很菜)。作为一个非科班转码、正在学习Rust和Python的萌新,最近我开始使用GitHub Actions为Python项目设置CI/CD流程。今天我想分享一下GitHub Actions在Python项目中的CI/CD实践。

一、GitHub Actions简介

1.1 什么是GitHub Actions

  • CI/CD工具:GitHub提供的持续集成和持续部署工具
  • 自动化工作流:可以自动化构建、测试、部署等流程
  • 事件驱动:基于GitHub事件触发工作流
  • 可定制:可以根据项目需求定制工作流

1.2 GitHub Actions的核心概念

  • 工作流(Workflow):自动化流程的配置文件
  • 作业(Job):工作流中的一个任务
  • 步骤(Step):作业中的一个步骤
  • 动作(Action):可重用的代码块
  • 事件(Event):触发工作流的事件

二、为Python项目设置CI/CD

2.1 创建工作流文件

步骤:

  1. 在项目根目录创建 .github/workflows 目录
  2. 创建一个YAML文件,如 python-ci.yml

示例工作流文件:

name: Python CI

on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]
jobs:
  build:
    runs-on: ubuntu-latest
    strategy:
      matrix:
        python-version: [3.8, 3.9, '3.10']
    steps:
    - uses: actions/checkout@v3
    - name: Set up Python ${{ matrix.python-version }}
      uses: actions/setup-python@v4
      with:
        python-version: ${{ matrix.python-version }}
    - name: Install dependencies
      run: |
        python -m pip install --upgrade pip
        pip install pytest
        if [ -f requirements.txt ]; then pip install -r requirements.txt; fi
    - name: Test with pytest
      run: |
        pytest

2.2 运行测试

配置测试步骤:

  • 安装测试依赖
  • 运行测试
  • 生成测试覆盖率报告

示例测试配置:

- name: Install test dependencies
  run: |
    pip install pytest pytest-cov

- name: Test with pytest
  run: |
    pytest --cov=./ --cov-report=xml

- name: Upload coverage to Codecov
  uses: codecov/codecov-action@v3
  with:
    file: ./coverage.xml

2.3 代码质量检查

配置代码质量检查:

  • 使用flake8检查代码风格
  • 使用mypy检查类型提示
  • 使用black检查代码格式化

示例代码质量检查配置:

- name: Install code quality tools
  run: |
    pip install flake8 mypy black

- name: Check code style with flake8
  run: |
    flake8 . --count --select=E9,F63,F7,F82 --show-source --statistics
    flake8 . --count --exit-zero --max-complexity=10 --max-line-length=127 --statistics

- name: Check type hints with mypy
  run: |
    mypy .

- name: Check code formatting with black
  run: |
    black --check .

2.4 构建和部署

配置构建和部署:

  • 构建Python包
  • 部署到PyPI
  • 部署到GitHub Pages

示例部署配置:

- name: Build package
  run: |
    python setup.py sdist bdist_wheel

- name: Publish to PyPI
  if: github.event_name == 'push' && startsWith(github.ref, 'refs/tags')
  uses: pypa/gh-action-pypi-publish@release/v1
  with:
    password: ${{ secrets.PYPI_API_TOKEN }}

三、常见的CI/CD流程

3.1 基本CI流程

流程:

  1. 代码推送或PR创建时触发
  2. 安装依赖
  3. 运行测试
  4. 代码质量检查
  5. 构建包

配置示例:

name: Basic CI

on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]
jobs:
  test:
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v3
    - name: Set up Python
      uses: actions/setup-python@v4
      with:
        python-version: '3.10'
    - name: Install dependencies
      run: |
        python -m pip install --upgrade pip
        pip install pytest flake8 mypy black
        if [ -f requirements.txt ]; then pip install -r requirements.txt; fi
    - name: Check code style
      run: |
        flake8 .
    - name: Check type hints
      run: |
        mypy .
    - name: Check code formatting
      run: |
        black --check .
    - name: Test with pytest
      run: |
        pytest

3.2 部署流程

流程:

  1. 标签推送时触发
  2. 安装依赖
  3. 运行测试
  4. 构建包
  5. 部署到PyPI

配置示例:

name: Deploy

on:
  push:
    tags:
      - 'v*'
jobs:
  deploy:
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v3
    - name: Set up Python
      uses: actions/setup-python@v4
      with:
        python-version: '3.10'
    - name: Install dependencies
      run: |
        python -m pip install --upgrade pip
        pip install setuptools wheel twine
    - name: Build package
      run: |
        python setup.py sdist bdist_wheel
    - name: Publish to PyPI
      uses: pypa/gh-action-pypi-publish@release/v1
      with:
        password: ${{ secrets.PYPI_API_TOKEN }}

四、高级配置

4.1 缓存依赖

配置缓存:

  • 缓存Python依赖
  • 提高构建速度

示例缓存配置:

- name: Cache dependencies
  uses: actions/cache@v3
  with:
    path: ~/.cache/pip
    key: ${{ runner.os }}-pip-${{ hashFiles('**/requirements.txt') }}
    restore-keys: |
      ${{ runner.os }}-pip-

4.2 矩阵测试

配置矩阵测试:

  • 在多个Python版本上测试
  • 在多个操作系统上测试

示例矩阵测试配置:

strategy:
  matrix:
    python-version: [3.8, 3.9, '3.10']
    os: [ubuntu-latest, windows-latest, macos-latest]

runs-on: ${{ matrix.os }}

4.3 环境变量

配置环境变量:

  • 使用GitHub Secrets存储敏感信息
  • 设置环境变量

示例环境变量配置:

env:
  PYTHONUNBUFFERED: 1
  DEBUG: true

steps:
- name: Set up environment
  run: |
    echo "DATABASE_URL=${{ secrets.DATABASE_URL }}" >> $GITHUB_ENV

五、从Rust开发者角度的思考

5.1 对比Rust和Python项目的CI/CD

  • 构建系统:Rust使用cargo,Python使用pip/setuptools
  • 测试框架:Rust使用cargo test,Python使用pytest
  • 代码质量:Rust使用clippy,Python使用flake8/mypy
  • 部署:Rust使用cargo publish,Python使用twine

5.2 跨语言CI/CD

  • 统一CI/CD:使用GitHub Actions为Rust和Python项目设置统一的CI/CD流程
  • 性能测试:对比Rust和Python实现的性能
  • 跨语言集成:测试Rust和Python的集成

六、案例研究

6.1 案例一:Python包的CI/CD

场景:为Python包设置CI/CD流程

配置:

  • 多Python版本测试
  • 代码质量检查
  • 自动部署到PyPI

结果:

  • 提高代码质量
  • 自动部署新版本
  • 减少人工操作

6.2 案例二:Django应用的CI/CD

场景:为Django应用设置CI/CD流程

配置:

  • 运行测试
  • 代码质量检查
  • 部署到云服务

结果:

  • 自动测试和部署
  • 提高开发效率
  • 减少部署错误

七、总结

GitHub Actions是Python项目CI/CD的强大工具,可以自动化构建、测试、部署等流程,提高代码质量和开发效率。通过合理配置GitHub Actions,可以为Python项目建立完整的CI/CD流程。

作为一个非科班转码者,我认为GitHub Actions不仅可以提高开发效率,还可以帮助我学习CI/CD的最佳实践,为未来的就业做好准备。同时,结合Rust的学习,可以更全面地理解跨语言CI/CD的实现。

保持学习,保持输出。虽然现在我还是个菜鸡,但我相信只要坚持,总有一天能成为真正的「第一程序员」!

Python项目自动化测试实战:pytest框架与覆盖率分析指南 在软件开发中,自动化测试是保障代码质量与稳定性的核心实践。其原理在于通过预设的测试用例,自动验证代码逻辑的正确性,从而及早发现潜在缺陷。这一技术的核心价值在于构建持续反馈的安全网,显著提升开发效率与代码可维护性。在Python生态中,pytest框架因其简洁语法和强大功能,已成为单元测试的事实标准。它通过Fixture机制优雅管理测试依赖,并可与pytest-cov插件无缝集成,进行精准的代码覆盖率分析,量化测试的完备性。这些技术尤其适用于涉及外部API调用(如Spotify API集成)和数据处理的动态项 阅读详情

相关推荐

Python测试框架pytest实战指南:从环境搭建到CI/CD集成

在软件工程实践中,单元测试是保障代码质量的核心环节,其原理在于通过自动化验证代码单元的行为是否符合预期,从而及早发现缺陷。Python作为主流编程语言,其测试生态中的pytest框架凭借简洁的语法和强大的扩展能力,显著提升了测试代码的可维护性和执行效率。该框架通过智能测试发现、灵活的固件(Fixture)管理、参数化测试等机制,为开发者提供了高效的测试编写体验。在持续集成/持续部署(CI/CD)流程日益普及的背景下,pytest能够无缝集成到自动化流水线中,生成详尽的测试报告,并支持并行执行以加速反馈循环。

chuange6363的博客 416

GitHub顶级AI项目技术栈深度解析:Python、PyTorch与工程化实践

在人工智能与机器学习领域,技术栈的选型与工程化实践是项目成功落地的关键。从原理上看,现代AI开发依赖于高效的编程语言、灵活的深度学习框架以及标准化的工程流程,以实现从研究到生产的平滑过渡。其技术价值在于通过一套经过验证的最佳实践,大幅提升开发效率、确保模型的可复现性,并降低维护成本。在实际应用场景中,无论是构建智能助手、训练视觉模型还是部署大语言模型服务,一套趋同的技术栈和架构模式已成为行业共识。本文基于对GitHub上活跃的顶级AI编程仓库的深度扫描,揭示了以Python和PyTorch为核心的现代技术生

weixin_30879833的博客 653

Selenium UI自动化测试框架搭建:从POM设计到CI/CD集成实战

UI自动化测试是保障Web应用质量、提升回归测试效率的关键技术。其核心原理是通过脚本模拟真实用户操作,对界面元素进行定位、交互与验证。在众多工具中,Selenium凭借其跨浏览器支持、多语言绑定和成熟的生态系统,成为UI自动化领域的经典选择。通过引入页面对象模型(POM)设计模式,可以将页面元素与操作逻辑封装,极大提升测试代码的可维护性。结合pytest测试框架,能够高效管理测试用例、依赖和报告生成。最终,将自动化测试集成到CI/CD流水线中,可以实现代码变更后的即时验证,为持续交付提供稳定保障。本文以se

weixin_28839439的博客 339

GitHub Actions实现伏羲模型代码自动化测试与部署

本文介绍了如何利用GitHub Actions为AI项目构建自动化工作流,并提及在星图GPU平台上可自动化部署“伏羲天气预报:伏羲中期气象大模型”镜像。该镜像专为气象预测设计,能够基于历史数据自动化生成未来数日的高精度天气预报,显著提升气象分析与灾害预警的效率。

weixin_29840475的博客 253

vscode远程开发-调试模式下attach远程进程提示管理员权限失败的问题

vscode 远程开发 附加进程

comhaqs的专栏 2882

从三个角度理解知识图谱

2012年谷歌首次提出“知识图谱”这个词,由此知识图谱在工业界也出现得越来越多,对于知识图谱以及相关概念的理解确实也是比较绕。自己在研究大数据独角兽Palantir之后开始接触知识图谱,也算对其有了一定了解,这里从三个角度总结一下怎么去理解知识图谱。 几个基本概念:本体、实体、知识库、知识图谱 1、本体是概念的集合,是大家都公认的概念框架,一般不会改变如“人”、“事”、“物”、 “地”、“组...

JavaChaoCo的博客 6903

SUNFLOWER MATCH LAB GitHub开源项目管理:从个人项目到协作开发

本文介绍了如何在星图GPU平台上自动化部署🌻 SUNFLOWER MATCH LAB: 植物匹配实验室镜像,以构建高效的开源项目管理环境。该镜像提供了一个预配置的Python开发与协作平台,特别适用于管理包含数据处理、算法及可视化模块的复杂项目,能帮助开发者快速搭建规范的代码仓库并实施CI/CD自动化流程。

weixin_36282234的博客 348

用python将dycom .dcm格式图像转换为nifti .nii

因为发现目前搜索到的多数中文教程并不能正确将FMRI图像正确转换,例如很多用simpleITk的seriesreader的,所以写了一下自己正确转换的方法。因为FMRI是一个4D数据,有时间轴,所以用seriesreader读写出来的图像把时间轴维度给降维了。当然你用SPM12工具的dycom import也是能正确转换的,但是我还是喜欢python这样的,代码直接简单。

qq_41103479的博客 3611

从零开始:霜儿-汉服-造相Z-Turbo的GitHub协作开发与版本管理

本文介绍了如何在星图GPU平台上自动化部署霜儿-汉服-造相Z-Turbo镜像,以简化AI图片生成应用的开发与协作流程。该平台支持一键部署,使开发者能快速搭建环境,专注于汉服风格AI人像生成等核心功能的开发与迭代。

weixin_42577735的博客 214

TC3xx芯片中断配置避坑指南:从AUTOSAR Davinci配置到SRN地址计算的完整流程

本文详细解析了英飞凌TC3xx芯片的中断配置流程,从AUTOSAR Davinci工具链到硬件调试的全链路指南。重点介绍了中断路由(IR)模块、服务请求节点(SRN)和中断控制单元(ICU)的配置技巧,帮助开发者避开常见陷阱,优化中断性能。

weixin_30628801的博客 421

V93000 SmarTest 8入门:从零搭建你的第一个半导体测试程序

半导体测试是芯片从设计走向量产的关键环节,而ATE(自动化测试设备)正是支撑这一环节的核心工具。理解ATE测试程序开发的基本原理,不仅需要掌握测试机台的硬件架构,还要熟悉其软件环境中的管脚映射、电平时序、测试流程等底层逻辑。V93000作为爱德万的主力平台,其SmarTest 8环境通过对象化与流程化设计,将复杂的芯片测试任务拆解为可配置、可复用的模块,极大提升了并行测试效率与调试的便利性。无论是数字逻辑芯片的功能验证,还是模拟混合信号器件的参数测量,掌握SmarTest 8的核心操作都能帮助你快速搭建出可

weixin_31476015的博客 249

从本地到云端:Python项目部署的6大关键步骤与最佳实践

掌握Python云服务器部署全流程,解决从本地开发到线上运行的难题。涵盖环境配置、代码上传、服务守护等6大关键步骤,适用于Web应用与API部署,高效稳定。最佳实践指南值得收藏。

ByteGlow的博客 1256

数据处理和分析之数据聚类:层次聚类(Hierarchical Clustering):单链接层次聚类方法

单链接层次聚类(Single-Linkage Hierarchical Clustering)是凝聚型层次聚类的一种,它基于数据点之间的最小距离来定义聚类间的相似性。在单链接层次聚类中,两个聚类之间的距离定义为这两个聚类中任意两个数据点之间的最短距离。这种聚类方法倾向于形成链状或线性的聚类,因为聚类的边界是由最远的数据点决定的,而不是聚类的平均或中心位置。单链接层次聚类通过计算簇间最近点的距离来决定簇的合并,这种方法简单直观,但可能导致簇的形状不规则,尤其是在数据点分布不均匀的情况下。

2401_87715305的博客 1443

CI/CD开发工作流实践技术日志

CI/CD 是软件开发和交付中的一套自动化实践流程,旨在通过持续集成(Continuous Integration, CI)和持续交付/部署(Continuous Delivery/Deployment, CD)提高开发效率、减少错误,并加速软件从代码到用户的交付速度。

wdracky的专栏 565

paddle 43 用onnxruntime实现ppyoloe模型的部署(含python和c++版本)

PP-YOLOE+是PP-YOLOE模型的升级版,PP-YOLOE+_l在COCO test-dev2017达到了53.3的mAP, 同时其速度在Tesla V100上达到了78.1 FPS。PP-YOLOE+_s/m/x同样具有卓越的精度速度性价比。paddle官方只给出了基于paddle框架的部署案例,为了更好的部署,为此实现将paddle模型转换为onnx模型,然后在python下实现onnxruntime部署。后续会补充c++ onnxruntime部署

a486259的博客 1917

TDS水质检测传感器原理图设计,已量产(液体传感器)

最近调试了一款针对生活用水、水培系统的 TDS 水质检测模块 —— 毕竟 TDS(总溶解固体)值直接关联水的洁净程度,是这类场景里既实用又易获取的水质指标。下面拆解下这个电路的设计逻辑,说说每个部分是怎么配合实现精准检测的。

不脱发的程序猿 1552

Django Ninja终极CI/CD集成指南:自动化测试与部署的10个实用技巧

Django Ninja作为一款基于类型提示、支持异步、快速且符合OpenAPI规范的API框架,为开发者提供了高效构建API的能力。本文将分享10个实用技巧,帮助你为Django Ninja项目构建完善的CI/CD流程,实现自动化测试与部署,提升开发效率和代码质量。 ## 1. 搭建基础测试环境:从依赖管理开始 一个可靠的CI/CD流程始于完善的测试环境。Django Ninja项目推荐使用

gitblog_00652的博客 400

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Python unittest框架从入门到实战:核心四要素与项目结构详解

单元测试是保障软件质量、提升开发效率的核心工程实践,其核心原理在于通过自动化脚本验证代码单元(如函数、类)的行为是否符合预期。在Python生态中,unittest作为标准库内置的测试框架,提供了稳定、无需额外依赖的解决方案,尤其适合项目初期构建和团队协作。其技术价值在于通过TestCase、TestSuite、TestRunner和TestFixture四大核心要素,构建了一套清晰的测试方法论,帮助开发者建立可维护的测试体系。在应用场景上,unittest不仅能支撑基础的单元测试,还能通过Mock技术隔离

cmff98425的博客 468

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Playwright 自动化测试入门指南:Python 开发者的端到端实战

Playwright 是一个用于 Web 测试和自动化的框架,支持通过单一 API 测试 Chromium、Firefox 和 WebKit 浏览器。它由微软开发,原生基于 Node.js 构建,但官方提供了包括 Python 在内的多语言绑定。这意味着 Playwright 并非“Python 原生工具”,而是通过官方维护的包为 Python 开发者提供完整功能。这种设计使得所有语言共享同一套底层协议,确保行为一致性。

ll1042668699的博客 1396

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Python类型安全落地难?——企业级项目中92%团队忽略的3层校验漏斗模型(静态+运行时+CI/CD黄金三角)

解决Python类型安全落地难问题,提出静态+运行时+CI/CD三层校验漏斗模型。适用于企业级项目,集成主流Python类型注解校验工具,提升代码健壮性与协作效率。覆盖开发、测试、发布全链路,值得收藏。

FuncLens的博客 213

Devops小项目:一个“可运行的”待办事项API

接下来,我们将配置 GitHub Actions,让它在我们每次推送代码时,自动完成应用的构建、并推送镜像到仓库。选项卡中,你应该能看到一个新的工作流正在运行。如果它显示为绿色(成功),恭喜你,你的CI流水线已经搭建好了!:从零开始,构建一个可以通过Docker运行、并能自动构建和部署到云端的完整项目。:一个简单的RESTful API,用于管理待办事项,并提供一个。最后,我们将应用部署到云上,让它成为一个真正可访问的服务。是让你的应用在任何地方都能一致运行的关键。

zengcong12138的博客 261

杜克大学 Python 应用数据工程笔记(二)

在本节课中,我们一起学习了如何在GitHub Codespaces中从源代码编译Python。我们涵盖了从创建仓库、启动高性能实例、安装依赖、下载并编译Python,到设置虚拟环境、创建项目模板以及配置GitHub Actions持续集成的完整流程。通过利用云端强大的计算资源和GitHub的生态工具,您可以轻松构建和管理一个定制化、可复现的Python开发环境。最后,对于希望深度定制开发环境的用户,Studio Lab支持创建自定义的Conda环境。创建自定义环境的基本步骤是:准备一个。

龙哥盟 121

开发者副业指南:用开源项目赚取被动收入

测试工程师正迎来开源副业新机遇。通过参与开源项目,可将专业技能转化为可持续收益:开发测试工具SaaS化(如JMeter插件月入$3200)、贡献文档构建个人IP、交易测试资产包等。开源副业优势在于"一次投入长期收益",但需注意法律合规和技术风险。建议从文档优化等简单贡献起步,逐步构建自动化收益管道,实现主业外的收入第二曲线。关键行动:本周提交首个PR、开通GitHub Sponsors并分享经验。

2501_94261392的博客 431

如何从零开始学习数据科学:Perfect-Roadmap项目完全指南

Perfect-Roadmap-To-Learn-Data-Science-In-2024项目是一份全面的学习路线图,专为数据科学新手设计,从Python基础到高级MLOps实践,提供了系统化的学习路径和丰富资源。无论你是零基础入门还是有一定编程基础想转型数据科学,这份指南都能帮助你快速掌握核心技能。 ## 数据科学家的工作内容 数据科学家是当今最热门的职业之一,他们通过分析数据解决复杂问题,

gitblog_07427的博客 593

AI股票分析师daily_stock_analysis与机器学习工程化实践

本文介绍了如何在星图GPU平台上自动化部署 📈 AI 股票分析师daily_stock_analysis 镜像,实现股票市场的智能分析。该平台简化了部署流程,用户可快速搭建一个能够自动获取行情与新闻数据、利用大模型进行结构化分析,并生成包含技术面、舆情等多维度报告的系统,从而辅助投资决策。

weixin_42588877的博客 451

用GitHub Actions实现CI/CD

持续集成/持续部署(CI/CD)已成为现代软件开发不可或缺的一部分。它通过自动化构建、测试和部署过程,帮助开发团队更快、更可靠地交付软件。GitHub Actions是GitHub提供的内置CI/CD解决方案,它允许开发者直接在GitHub仓库中自动化软件开发工作流程。 本文将详细介绍如何使用GitHub Actions实现CI/CD流程,从基础概念到实战案例,帮助你快速掌握这一强大工具。

exlink2012的专栏 1619
上一篇: Python系统级工具开发:Rust开发者的视角
下一篇: GitHub Copilot:Python开发者的AI助手
第一程序员
博客等级 码龄1年 1万+粉丝 1822原创
评论 29
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值