Docker搭建自己的Gitlab CI Runner

[GitLab]安装一个GitLab Runner(Docker) 首先要启动一个GitLab Runner容器 Run GitLab Runner in a container docker run -d --name gitlab-runner --restart always \ -v /{你的配置文件路径}/config:/etc/gitlab-runner \ -v /var/run/docker.sock:/var/run/docker.sock \ gitlab/gitlab-runner:latest .. 阅读详情

目录:

  • Gitlab CI介绍
  • 环境、软件准备
  • 安装、注册并启动Gitlab Runner
  • 定义项目构建流程
  • FAQ

1、Gitlab CI介绍

CI:持续集成,我们通常使用CI来做一些自动化工作,比如程序的打包,单元测试,部署等,这种构建方式避免了打包环境差异引起的错误,提高了工作效率。Gitlab-CI是Gitlab官方提供的持续集成服务,我们可以在仓库的根目录下新建.gitlab-ci.yml文件,自己定义持续集成流程模板,并且在Gitlab中配置runner,在之后的每次提交合并中将会触发构建,并且可以通过Gitlab的hook, 在代码提交的各个环节自动地完成一系列的构建工作,总之对于一些非复杂性的集成需求,都是可以满足的。

2、环境、软件准备

本次演示环境,我是在本机mac上操作,以下是我本地软件及版本:

  1. Git:git version 2.10.1 (Apple Git-78)
  2. Docker: Version 17.03.0-ce-mac1 (15583)
  3. Gitlab: GitLab Community Edition 8.17.4
  4. Gitlab Runner: Version 1.11.2

注意:本次我们使用选择docker作为runner的executor,也或者可以使用docker安装Gitlab Runner,所以我们需要提前安装docker环境。Git是开源的分布式版本控制系统,Gitlab、Runner都需要依赖它,所以我们也需要提前安装好git环境。这里我就忽略git、docker、gitlab的安装过程,着重说下Gitlab CI Runner安装以及如何跑项目构建流程。

3、安装、注册并启动Gitlab Runner

Gitlab Runner安装方式有两种,一种是直接二进制文件安装,一种是基于docker镜像安装。 
方式一:二进制文件安装 
1)下载对应操作系统的二进制包,我这里使用的是mac版本

sudo curl --output /usr/local/bin/gitlab-runner https://gitlab-ci-multi-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-ci-multi-runner-darwin-amd64
 
  • 1

2)给gitlab-runner赋可执行权限

sudo chmod +x /usr/local/bin/gitlab-runner
 
  • 1

3)注册runner

# gitlab-runner register

Please enter the gitlab-ci coordinator URL:
# 示例:http://gitlab.alibaba-inc.com/ci
Please enter the gitlab-ci token for this runner:
# xxxxxx
Please enter the gitlab-ci description for this runner:
# 示例:qd_api_runner
Please enter the gitlab-ci tags for this runner (comma separated):
# 示例:hwy
Whether to run untagged builds [true/false]:
# true
Please enter the executor: docker, parallels, shell, kubernetes, docker-ssh, ssh, virtualbox, docker+machine, docker-ssh+machine:
# docker
Please enter the default Docker image (e.g. ruby:2.1):
# maven:3-jdk-8

 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17

说明: 
1、gitlab ci的地址以及token,从你要配置该runner到哪个项目,就去gitlab下该项目首页右侧设置—》CI/CD Pipelines—》Specific Runners下可以找到。 
2、gitlab-ci tags这个很重要,在项目构建流程yaml文件里面指定tag,就是匹配使用哪个tag的runner,这里我定义了hwy,回头再配置文件里面就指定这个tag。 
3、executor:执行者可以有很多种,这里我们使用docker,方便构建执行。 
4、Docker image:构建Docker image时填写的image名称,根据项目代码语言不同,指定不同的镜像。我这里项目是java语言的,所以我使用官方maven:3-jdk-8镜像。

4)安装并启动gitlab-runner

cd ~
gitlab-runner install
gitlab-runner start
 
  • 1
  • 2
  • 3

方式二:docker镜像安装

1)拉取gitlab-runner镜像

sudo docker pull gitlab/gitlab-runner:latest
 
  • 1

2)添加gitlab-runner container

sudo docker run -d --name gitlab-runner --restart always \
  -v /srv/gitlab-runner/config:/etc/gitlab-runner \
  -v /var/run/docker.sock:/var/run/docker.sock \
  gitlab/gitlab-runner:latest
 
  • 1
  • 2
  • 3
  • 4

3)注册runner

sudo docker exec -it gitlab-runner gitlab-ci-multi-runner register

注册过程略,方式同方式一步骤3.
 
  • 1
  • 2
  • 3

方式一和方式二,若是runner注册成功,此时到我们项目首页右侧设置—》CI/CD Pipelines—》Runners activated for this project就可以看到我们刚注册的qd_api_runner了。如图: 
这里写图片描述

4、定义项目构建流程

项目的构建流程是由项目根目录的.gitlab-ci.yml文件控制的,关于gitlab-ci详细的配置文档可以查看 这里, 以下是一个简单的Java Maven项目的例子.gitlab-ci.yml:

image: maven:3-jdk-8

test:
  stage: test
  script: 
    - mvn test
  tags:
    - hwy
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

我们提交该文件到gitlab对应项目上去。

git add .gitlab-ci.yml
git commit -m "Add .gitlab-ci.yml"
git push origin develop
 
  • 1
  • 2
  • 3

这个时候,我们从该项目的Pipelines选项卡下可以看到,有正在运行的刚新建的hwy的这个runner的pipelines了。点击进去可以看到控制台实时输出日志。如图: 
这里写图片描述

上面是一个简单的demo实例,一个pipeline只有一个job的类型,一般我们CI都是有好几步组成,比如java项目,我们先build打包一下,如果成功了在执行一下test,最后我们deploy到机器上。像多步操作的流程,我们可以配置yml文件,分解为多个job,来依次执行。例如下边这个.gitlab-ci.yml文件:

image: maven:3-jdk-8

stages:
  - build
  - test
  - deploy

job_build:
  stage: build
  script:
    - mvn clean install
  only:
    - develop
  tags:
    - hwy

job_test:
  stage: test
  script:
    - mvn test
  tags:
    - hwy

job_deploy:
  stage: deploy
  script:
    - echo "deploy over..."
  tags:
    - hwy
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

说明:这个yml文件就是有3个job组成,依次为build、test、deploy。在执行这个CI流程时候,会分解成3个job依次执行。这里tags: hwy就是指定使用哪个runner来执行这个job,我们也可以执行其他已注册可用的runner。详细gitlab pipline流程截图如下: 
这里写图片描述
这里写图片描述
这里写图片描述

FAQ

  1. 注册gitlab-runner时,提示报错: 
    GitLab Runner >= 9.0 can be used ONLY with GitLab CE/EE >= 9.0 
    这个因为默认gitlab runner安装时最新版的,与我们正在使用的gitlab版本不匹配,那么我们找到匹配的gitlab-runner版本安装即可,从这里我们可以找到 Runner和GitLab CE / EE兼容性列表 
  2. 有时runner会连接不上,或者在项目仓库->设置->runner里呈灰色,这有可能是runner机器上没有启动gitlab-runner引起的,可以执行ps -ef | grep gitlab看看是否存在gitlab-runner的进程,如果没有则执行gitlab-runner start 命令启动runner服务。
  3. 若已经配置好了gitlab-runner了,执行commit,pipeline状态一直是pending,并且提示: 
    This build is stuck, because the project doesn't have any runners online assigned to it. Go to Runners page
    这个是因为未找到对应的runner导致的,原因一是有可能gitlab-runner注册失败,原因二有可能是.gitlab-ci.yml配置文件里面tags没有匹配到已注册可用的runner。
  4. 每次maven:3-jdk-8去执行build和test都会重新拉取镜像,下载依赖的jar包,比较耗时耗资源。这是因为docker image每次构建都是在独立的container里, maven的 .m2文件并不会被多次构建公用,这里我们可以通过修改gitlab-runner的配置,将maven .m2目录加到volumes中,并增加镜像拉取规则(默认是从远程拉取镜像,这里修改为优先获取本地镜像,不存在时才去远程拉取镜像)。

    
    # gitlab-runner list
    
    Listing configured runners                          ConfigFile=/Users/wanyang3/.gitlab-runner/config.toml
    qd_api_runner                                       Executor=docker Token=xxxxxx URL=http://gitlab.alibaba-inc.com/ci
    
    
    # vim /Users/wanyang3/.gitlab-runner/config.toml
    
    
    [[runners]]
      ...
      [runners.docker]
        ...
        volumes = ["/cache","/Users/wanyang3/.m2:/root/.m2"]
        pull_policy = "if-not-present"
      ...
    
    
    # gitlab-runner restart
    
       
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21

    修改配置完成后,记得要重启gitlab-runner。

参考资料:

  1. gitlab-runner 安装
  2. gitlab ci yaml 配置
  3. gitlab-ci-multi-runner 详情
基于 Docker ( Gitlab、Gitlab Runner ) 搭建一整套自动化CI、CD流程,完成从代码提交到自动打包编译到自动部署运行 作为一个前端,以前在公司内接触过搭建成熟的完整CI、CD流程,后来在想是否自己也能搭建这样一套系统,通过学习研究后有了这样一篇博客,和各位一起共同学习。 首先大家需要一台服务器,本机电脑也行(推荐2核8G配置以上,因为安装的服务比较占内存)。 一、安装 Docker linux服务器使用curl下载快速安装的shell脚本 curl -fsSL get.docker.com -o get-docker.sh 下载完成后,可以ls命令查看一下。已经存在的话,使用sh命令执行这个脚本 sh get-doc. 阅读详情

相关推荐

gitlab runner 安装、注册、配置、使用(Docker部署)

Gitlab Runner作为一个开源的项目,使用Go语言编写,可运行在不同系统重Gitlab Runner用于运行作业并将结果发给gitlab服务器Gitlab Runner与Gitlab CI结合使用,Gitlab CI是gitlab的开源持续集成服务,用于协调作业Gitlab Runner的版本安装时应注意与Gitlab版本尽量同步以防版本差异导致报错。

感谢阅读 1万+

Docker 快速部署gitlab + gitlab-runner

docker 部署gitlab

weixin_44572215的博客 5084

Docker 安装 GitLab Runner

使用本地卷安装GitLab Runner docker run -d --name gitlab-runner --restart always \ -v /srv/gitlab-runner/config:/etc/gitlab-runner \ -v /var/run/docker.sock:/var/run/docker.sock \ gitlab/gitlab-runner:latest 使用Docker 卷安装GitLab Runner ...

知无涯 1万+

Docker部署gitlab-runner

docker 部署gitlab-runner

tangsiqi130的博客 2242

工创赛智能搬运小车实战:视觉定位、底盘控制与RTOS调度

智能搬运系统是嵌入式控制与机器视觉融合的典型工程实践,其核心在于视觉定位精度、运动控制稳定性与实时任务调度能力。在有限算力(如STM32H7)、低功耗约束和结构化场景下,传统CV方法(如FAST+RANSAC)比轻量级深度学习更具鲁棒性与实时性;而底盘控制需穿透PID表层,直击死区补偿、编码器硬件滤波与负载自适应等物理层细节;RTOS则不是炫技工具,而是保障多模块时序确定性的刚需——尤其在视觉-控制-执行强耦合链路中,任务优先级、事件组通信与栈安全直接影响系统存活。本文聚焦全国大学生工程训练竞赛(工创赛)真

weixin_29194693的博客 279

FFT中的精度博弈:定点数缩放、块浮点与溢出处理在Vivado IP核中的实践权衡

本文探讨了在Vivado FFT IP核中实现高精度快速傅里叶变换的关键技术,包括定点数缩放策略、块浮点模式及溢出处理机制。通过分析不同精度控制方案的资源开销与性能权衡,为工程师在医疗成像、雷达信号处理等高动态范围应用中优化FFT实现提供实践指导。

melon的博客 1099

Docker搭建 Gitlab CI Runner

文章目录Docker搭建 Gitlab CI Runner拉取 gitlab-runner 镜像启动 gitlab-runner容器注册runner定义项目构建流程获取日志停止并删除现有容器参考 Docker搭建 Gitlab CI Runner docker中搭建Gitlab 的可以去看我的上一篇博文:Docker搭建GitLab Docker搭建 Gitlab CI Runner我们可以参考官...

C. 3457

【RT-DETR有效改进】计算训练好权重文件对应的FPS、推理每张图片的平均时间(科研必备)

本文给大家带来的改进机制是利用我们训练好的权重文件计算FPS,同时打印每张图片所利用的平均时间,模型大小(以MB为单位),同时支持batch_size功能的选择,对于轻量化模型的读者来说,本文的内容对你一定有帮助,可以清晰帮你展示出模型速度性能的提升以及轻量化的效果(模型大小),对于以提高精度为目的的读者本文也能够帮助大家展示出现阶段的模型速度指标。所以本文的内容是十分有用的机制,对于大家发表论文来说,下面的图片为运行后的效果可以看到,该有的指标均已打印(本文内容为我独家创新,全网无第二份)下面是效果图和文

Snu77的博客 3634

Docker搭建GitLab-runner及关于golang的gitlab-ci配置

介绍 GitLab-runner环境搭建 获取镜像 执行以下命令,获取gitlab-runner 镜像 docker pull gitlab/gitlab-runner 启动 执行以下命令启动gitlab-ruuner sudo docker run -d / --name gitlab-runner / --restart always / -v /Users/zhangzc/gitlab-runner/config:/etc/gitlab-runner / -v /...

JineD的博客 3269

7 中望CAD二次开发-标注(一)(ZRX C++)

尺寸标注是CAD设计中最常用的功能之一,软件内置了很多标注功能,可以通过使用这些标注工具,对需要标注的长度、角度等一个个进行标注。但这显然效率很低,学习CAD二次开发,就是要把人从重复的劳动中解放出来,实现批量标注。本文介绍,如何通过二次开发进行标注。

cilvsuanna的博客 340

把核心变干净的代价与回报:为什么推动 Clean Core,几乎绕不开 SAP Integration Suite 与 API Management

Clean Core的核心价值在于构建可持续升级的ERP系统架构,其关键不在于减少代码或限制扩展,而是通过解耦和治理实现系统边界的清晰划分。这一理念将推动企业从传统的"私搭乱建"式集成向平台化工程转型,而SAP Integration Suite和API Management正是实现这一转型的核心组件。 Integration Suite作为集成中枢,通过统一平台、可复用内容库和事件驱动架构,将碎片化连接转变为标准化能力;API Management则负责建立接口治理体系,通过统一入口、

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 247

Docker Gitlab CI Runner 搭建和使用

一、使用Docker搭建Gitlab CI Runner 1:拉去镜像 docker pull gitlab/gitlab-runner:latest 2:启动gitlab-runner容器 docker run -d --name gitlab-runner --restart always -v /var/run/docker.sock:/var/run/docker.sock -v /srv/gitl...

Bonrui编程路 2294

【深度学习新浪潮】Harness Engineering 入门实战必看|6个从零可跑开源项目,新手快速上手垂域AI工程落地

很多同学入门 AI Agent、做大模型垂域落地时,都会卡在同一个痛点:只会调用模型、写简单Prompt,却不懂如何做约束管控、流程护栏、任务编排、多智能体边界隔离。而这正是的核心价值。不同于纯理论概念,Harness Engineering 更偏向工程实战,新手不用啃复杂论文,从开源项目动手实操是最高效的学习方式。本文从零基础易上手、可本地一键部署、支持二次改造做实战项目。

专注:太空算力、AI infra、异构调度、大模型成本工程 236

Docker中安装Gitlab和gitlab-ci-multi-runner来搭建CI服务器

1 环境 2 镜像地址 3 安装步骤 4 参考 环境 ubuntu-16.04-desktop-amd64.iso 镜像地址 https://hub.docker.com/r/sameersbn/gitlab-ci-multi-runner/ 拉取gitlab-ci-multi-runner:docker pull sameersbn/gitlab-ci-multi-...

ajiankj564397的博客 414

YOLOv8 WIOU

本文介绍了如何在YOLOv8中实现WIOU(Weighted Intersection over Union)的修改方法。主要修改了ultralytics/utils/metrics.py文件中的bbox_iou函数,新增了WIoU_Scale类,支持单调性FM v2、非单调性FM v3两种模式,并提供了动态调整的动量参数。修改后的函数支持多种IoU变体(GIoU、DIoU、CIoU等),通过数学公式实现了更精确的边界框回归损失计算,特别针对小目标检测场景进行了优化。该实现使用了PyTorch框架,包含完整

FJN110的博客 2064

ETAS工具导入Com Arxml修改步骤

通讯协议栈开发一般通过导入DBC实现,ETAS工具本身导入DBC也是生成arxml后执行cfggen,本文介绍直接导入客户提供的arxml文件,实现通讯协议栈的生成。通过Arxml导入相比于DBC来说,少了从DBC转为arxml的过程。而且arxml中能提供的信息也会更多。如果是DBC的话,很多信息(如PNC的映射,CANTP的配置等)都需要额外配置。不过还有连DBC都无法提供的,那就更麻烦了~

赞的博客 1545

Docker搭建 Gitlab CI Runner---操作流程及踩坑记录

基于ubuntu 18.04 OS操作的步骤 host机器安装docker-ce 参考链接: ubuntu16.04 https://blog.youkuaiyun.com/hidi_smile/article/details/107928987 ubuntu18.04 https://www.cnblogs.com/wt7018/p/11880666.html 非root用户加入docker用户组省去sudo 非必须步骤,如果不操作此步骤,后续的docker命令加sudo执行即可 1).使用有sudo权限的

hidi_smile的博客 1050

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

golang的gitlab-ci配置 Docker搭建GitLab-runner

介绍 GitLab-runner环境搭建 获取镜像 执行以下命令,获取gitlab-runner 镜像 docker pull gitlab/gitlab-runner docker pull 启动 执行以下命令启动gitlab-ruuner sudo docker run -d / --name gitlab-runner / --restart always / -v /...

tflasd1157的博客 2105

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

测试GitLab-CI环境搭建

GitLab-CI环境搭建 欢迎加入测试交流群:夜行者自动化测试(816489363)进行交流学习QAQ 成都-阿木木 现在的中高级自动化测试,测试开发工程师等招聘需求上都有写,需要会CI/CD,你真的会搭建吗?测试CI/CD环境搭建,常见的环境有两种: jenkins gitlab-ci 本专题为gitlab-ci环境搭建专题 安装gitlab环境,gitlab我们在实际使用过程中,代码通过git提交到gitlab私有仓库,然后通过gitlab-runner运行我们的脚本,根据脚本的结果决定是否发送测

成都-阿木木的博客 1022

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

在 Docker 容器中运行 Gitlab Runner

环境:CentOS 7 目的:在 Docker container 中运行 Gitlab Runner,搭建 Gitlab-CI 环境 搭建 docker 运行环境 $ sudo yum install yum-utils device-mapper-persistent-data lvm2 $ $ sudo yum-config-manager --add-repo https://dow...

weixin_33898876的博客 2027

Gitlab CI Multi Runner搭建CI持续集成环境

GitLab不仅仅只是代码托管的工具,它还集成了CI的功能,通过Gitlab CI Multi Runner工具可以更方便的搭建持续集成环境。 在安装好GitLab之后还需要再安装一个叫gitlab-ci-multi-runner的工具。 PS: 当然了肯定没有Jenkins那么强大,毕竟可用插件太多了。安装gitlab-ci-multi-runner 官方多种安装方式 由于众所周知(墙)的

8496
上一篇: 【有容云案例系列】基于Jenkins和Kubernetes的CI工作流
下一篇: 持续集成环境选择:Jenkins VS gitlab-ci
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值