CI Weekly #16 | 从另一个角度看开发效率:flow.ci 数据统计功能上线

flow.ci 数据统计功能已上线,提供多维度构建数据指标,包括成功率、次数和时长,助力团队提升开发效率。此外,文章还分享了Docker在沪江的落地实践、个推的持续集成经验、基于Docker的持续构建、持续交付系统的搭建,以及微服务和Git的相关知识。

很开心的告诉大家,flow.ci 数据统计功能已正式上线。

进入 flow.ci 控制台,点击「数据分析」按钮,你可以按照时间日期筛选,flow.ci 将多维度地展示「组织与项目」的构建数据指标与模型,包括构建成功率、构建次数、构建时长等,更方便地了解团队项目的构建状态。

flow.ci 展示的不只是优雅可观、一目了然的数据分析图,更重要的是帮助构建者提升开发效率,交付更多的价值。

说了这么多,也不能错过上周一些「功能优化」,比如:

  • Job 页面增加 Report 按钮,可反馈异常的构建结果;
  • 支持 MongoDB 3.4;
  • 因账户欠费而产生的构建失败,发送邮件提醒;
  • 试用期/付费套餐到期邮件/短信提醒;

详情见 flow_ci changelog. 如果你在使用过程中遇到问题,可以通过「在线消息」或去 flow.ci 社区 反馈给我们 :)

这期 CI Weekly 收录了关于微服务、Docker、持续部署、持续集成的最佳实践、工程师文化相关的技术分享,希望对你有用~

Docker在沪江落地的实践

容器化技术在过去的几年甚至到现在都是一个十分红火的技术,每一个对技术有些追求的公司对容器或多或少都有些蠢蠢欲动与研究。这篇文章记录了Docker是如何在沪江落地的。(via:dockerone.io-DarkForces)

个推持续集成最佳实践

借助于 Git、Docker、Jenkins 以及 Nexus 等工具,个推搭建了自己的持续集成环境,并一步一步的摸索出了自己的最佳实践,这篇文章分享了是如何利用持续集成技术提高团队生产力。 (via: 个推Getui) ​​​​

聊一聊基于Docker的持续构建实现

看看网易蜂巢是如何基于Docker实现持续构建。(via:网易蜂巢

从零搭建持续交付系统

如何根据不同的业务场景与交付方式,选择适合的持续交付方案。(via:阿里云-莫言)

[译] 软件开发人员应该知道的关于持续集成的一些事情

本篇文章帮助你更快地了解持续集成相关的概念和工具等。(via : 可译网)

持续部署Microservices的实践和准则

持续部署(Continuous Deployment)是Microservices场景下一个重要的技术实践。本文将介绍持续部署Microservices的实践和准则。(via : 思特沃克)

重新理解微服务

本文基于作者在大型互联网系统的服务化实践和思考,和大家一起探讨微服务架构。本文主要内容包括:传统SOA架构、新型SOA架构、服务设计方式、深入微服务、微服务体系、微服务系统架构。(via : 聊聊架构-王庆友)

深入浅出 Git

这篇文章解释了 Git 是如何工作的,文中的 git 模型可以让你更好的理解 Git 做了什么,正在做什么以及将要做什么。(via : [coding 用户翻译])


以上是 CI Weekly #16 的所有技术分享,
如有问题,请联系我们~

Happy building!
flow.ci

CI Weekly 围绕『 软件工程效率提升』 进行一系列技术内容分享,包括国内外持续集成、持续交付,持续部署、自动化测试、 DevOps 等实践教程、工具与资源,以及一些工程师文化相关的程序员 Tips 。同步于 flow.ci Blog、微信公众号、官方微博知乎专栏简书,欢迎关注或投稿:)

逐行解释下面执行日志: [INFO] 2025-11-11 10:57:00.807 +0800 - Begin to pulling task [INFO] 2025-11-11 10:57:00.808 +0800 - Begin to initialize task [INFO] 2025-11-11 10:57:00.808 +0800 - Set task startTime: Tue Nov 11 10:57:00 GMT+08:00 2025 [INFO] 2025-11-11 10:57:00.808 +0800 - Set task envFile: /data/iuap/middleware/dolphinscheduler-6896/worker-server/conf/dolphinscheduler_env.sh [INFO] 2025-11-11 10:57:00.808 +0800 - Set task appId: 44327_45921 [INFO] 2025-11-11 10:57:00.808 +0800 - End initialize task [INFO] 2025-11-11 10:57:00.808 +0800 - Set task status to TaskExecutionStatus{code=1, desc='running'} [INFO] 2025-11-11 10:57:00.808 +0800 - TenantCode:dolphinscheduler check success [INFO] 2025-11-11 10:57:00.809 +0800 - ProcessExecDir:/data/iuap/middleware/dolphinscheduler-6896/data/exec/process/dolphinscheduler/929876595154944/19625710980608_20/44327/45921 check success [INFO] 2025-11-11 10:57:00.809 +0800 - Resources:{} check success [INFO] 2025-11-11 10:57:00.809 +0800 - Task plugin: SPARK_KUBERNETES create success [INFO] 2025-11-11 10:57:00.809 +0800 - global params sqlParamsEncryp is empty [INFO] 2025-11-11 10:57:00.809 +0800 - Success initialized task plugin instance success [INFO] 2025-11-11 10:57:00.809 +0800 - Success set taskVarPool: null [INFO] 2025-11-11 10:57:00.809 +0800 - spark task global parameters: {ytenantid=v7jdalhf} [INFO] 2025-11-11 10:57:00.809 +0800 - spark task command: ${SPARK_HOME1}/bin/spark-submit --master local --class com.yonyou.datad.spark.app.SparkApp --driver-cores 1 --driver-memory 1g --num-executors 1 --executor-cores 1 --executor-memory 1g --name 市场周报BI数据存储过程_caky_dataease_ods_mm_18 ${SPARK_HOME1}/jars/spark-driver-app-1.0.0.jar -f flow.job -i 45921 [INFO] 2025-11-11 10:57:00.809 +0800 - command : cd /data/iuap/middleware/dolphinscheduler-6896/data/exec/process/dolphinscheduler/929876595154944/19625710980608_20/44327/45921 source /data/iuap/middleware/dolphinscheduler-6896/worker-server/conf/dolphinscheduler_env.sh ${SPARK_HOME1}/bin/spark-submit --master local --class com.yonyou.datad.spark.app.SparkApp --driver-cores 1 --driver-memory 1g --num-executors 1 --executor-cores 1 --executor-memory 1g --name 市场周报BI数据存储过程_caky_dataease_ods_mm_18 ${SPARK_HOME1}/jars/spark-driver-app-1.0.0.jar -f flow.job -i 45921 [INFO] 2025-11-11 10:57:00.809 +0800 - task param [{"resourceList":[],"localParams":[],"dependence":{},"waitStartTimeout":{},"conditionResult":{"successNode":[""],"failedNode":[""]},"switchResult":{},"numExecutors":1,"programType":"FLOW","driverMemory":"1g","executorMemory":"1g","driverCores":1,"deployMode":"local","executorCores":1,"dependencyFiles":[],"flowInfo":"{\"units\":[{\".id\":\"ff90600a\",\".name\":\"SQLInput\",\".class\":\"com.yonyou.datad.spark.io.source.jdbc.SQLQueryInput\",\"sourceId\":{\"url\":\"jdbc:postgresql://172.16.57.164:5432/dataease?currentSchema=public\",\"driver\":\"org.postgresql.Driver\",\"username\":\"dataease_etl\",\"password\":\"f2JuKkRGEdjoSnpvzOx-yg\",\"dbschema\":\"ods_mm\"},\"sql\":\"-- SQL数据源组件,仅支持查询语句;\\n-- 每次仅能输入一个查询语句;\\n-- 为了保证任务运行成功率,请在表名前输入数据库模式信息;\\n\\nselect dm_mm.p_dm_mm_box_weekly_insurance_wide();\"}],\"connections\":[],\"version\":\"1.0.0\",\"debug\":{\"debugModel\":\"100\",\"fsType\":\"S3\",\"minioUrl\":\"http://172.16.57.163:6895\",\"minioAccess\":\"minio\",\"minioSecret\":\"ystorage123\",\"dataCachePath\":\"s3a://apps/v7jdalhf/2401369301231599621\"}}"}] [INFO] 2025-11-11 10:57:00.811 +0800 - task run command: sudo -u dolphinscheduler sh -c cd /data/iuap/middleware/dolphinscheduler-6896/data/exec/process/dolphinscheduler/929876595154944/19625710980608_20/44327/45921;source /data/iuap/middleware/dolphinscheduler-6896/worker-server/conf/dolphinscheduler_env.sh;${SPARK_HOME1}/bin/spark-submit --master local --class com.yonyou.datad.spark.app.SparkApp --driver-cores 1 --driver-memory 1g --num-executors 1 --executor-cores 1 --executor-memory 1g --name 市场周报BI数据存储过程_caky_dataease_ods_mm_18 ${SPARK_HOME1}/jars/spark-driver-app-1.0.0.jar -f flow.job -i 45921 [INFO] 2025-11-11 10:57:00.811 +0800 - process start, process id is: 3138055 [INFO] 2025-11-11 10:57:02.811 +0800 - -> 25/11/11 10:57:02 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable add the id(ff90600a) of the process unit(com.yonyou.datad.spark.io.source.jdbc.SQLQueryInput) 25/11/11 10:57:02 WARN SparkConf: Note that spark.local.dir will be overridden by the value set by the cluster manager (via SPARK_LOCAL_DIRS in mesos/standalone/kubernetes and LOCAL_DIRS in YARN). [INFO] 2025-11-11 10:57:05.703 +0800 - application_id is [] [INFO] 2025-11-11 10:57:05.704 +0800 - process has exited, execute path:/data/iuap/middleware/dolphinscheduler-6896/data/exec/process/dolphinscheduler/929876595154944/19625710980608_20/44327/45921, processId:3138055 ,exitStatusCode:0 ,processWaitForStatus:true ,processExitValue:0 [INFO] 2025-11-11 10:57:05.704 +0800 - Send task execute result to master, the current task status: TaskExecutionStatus{code=7, desc='success'} [INFO] 2025-11-11 10:57:05.704 +0800 - Remove the current task execute context from worker cache [INFO] 2025-11-11 10:57:05.704 +0800 - The current execute mode isn't develop mode, will clear the task execute file: /data/iuap/middleware/dolphinscheduler-6896/data/exec/process/dolphinscheduler/929876595154944/19625710980608_20/44327/45921 [INFO] 2025-11-11 10:57:05.704 +0800 - Success clear the task execute file: /data/iuap/middleware/dolphinscheduler-6896/data/exec/process/dolphinscheduler/929876595154944/19625710980608_20/44327/45921 [INFO] 2025-11-11 10:57:05.813 +0800 - -> 25/11/11 10:57:04 WARN MetricsConfig: Cannot locate configuration: tried hadoop-metrics2-s3a-file-system.properties,hadoop-metrics2.properties [INFO] 2025-11-11 10:57:05.813 +0800 - FINALIZE_SESSION
最新发布
11-12
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值