GitLab集成GitLab-Runner详细版--及注意事项汇总【最佳实践】

003.Gitlab配置runner gitlab runner是用于执行 gitlab cicd任务的工具,最终执行gitlab cicd任务的组件就是runner。gitlab runner可以部署在Windows、Linux、Kubernetes中,可以通过包管理器、二进制、容器等方式进行部署。gitlab runner将监听gitlab服务器上由项目中的 .gitlab-ci.yml 文件定义的作业。当作业被触发时,gitlab runner将下载代码并执行任务。 阅读详情
AI摘要

本文聚焦GitLab集成GitLab-Runner,汇总常见问题与注意事项,助新手少走弯路。介绍了环境要求,包括GitLab、GitLab-Runner和Docker Desktop版本,阐述了Runner的下载、安装、启动、注册等步骤,还分享了最佳实践,如流水线实现代码检查、测试等,最后进行了扫雷总结。

一、背景

    看到网上很多用户提出的runner问题其实实际都不是问题,不过是因为对runner的一些细节不清楚导致了误解。本文不系统性的介绍GitLab-Runner,因为这类文章写得好的特别多,本文只汇总一些常几的问题/注意事项。旨在让新手少弯路。

二、环境

- GitLab 16.11.10   官方下载地址:GitLab 16.11.10

- GitLab-Runner 16.11.4  官方下载地址:GitLab-Runner 16.11.4

- Docker Desktop 4.37 容器图形化工具  官方下载地址:Docker Desktop 4.37

特别说明

- Docker Desktop仅仅是Windows下镜像用,如有能爬楼的服务器或是非容器化安装可不安装此软件

三、GitLab准备

略。这里假设已经有了GitLab环境。本文只讲Runner集成。GitLab的安装下载包见上面的环境章节

四、GitLab-Runner下载

读者可根据实际需求选择rpm包或是镜像

- rpm包下载链接见上面的环境章节

- 镜像包请在服务器上下载或windows本地安装Docker Desktop下载

作者本文以rpm包为例

gitlab-runner-16.11.4-1.x86_64.rpm

五、GitLab-Runner安装/卸载

rpm命令安装,需要root用户,或其他用户sudo安装

rpm -ivh gitlab-runner-16.11.4-1.x86_64.rpm
# 卸载
yum erase gitlab-runner -y 

特别注意【扫雷】

1、这里安装完会自动创建gitlab-runner用户

2、即时修改gitlab-runner用户的密码,避免一些安全扫描问题,特别是对安全抓得比较严的公司

linux密码修改命令

passwd <用户名>

3、root安装(含sudo)和非root安装配置文件所在目录是不一样的

4、查看配置文件路径命令

gitlab-runner list

5、root安装的(含sudo)配置文件在/etc/gitlab-runner/config.toml

6、非root安装的配置文件在/home/gitlab-runner/.gitlab-runner/config.toml  

7、千万别故意用非root安装(故意踩雷),容易搞出问题

8、配置修改/etc/gitlab-runner/config.toml就行了

9、并发线程数量少了可改这个配置文件

10、有时侯没有流水线在跑,但流水线就是不动,重启一下gitlab-runner就行了(一般不会发生)

六、启动/停止

1、常规方式

sudo gitlab-runner start
sudo gitlab-runner stop

2、容器方式

- bridge网络模式

## 创建网络
docker network create gitlabnetwork

##  bridge网络模式
docker run -d --network gitlabnetwork --hostname=gitlab-runner1 \
  --name gitlab-runner --restart always \
  -v /app/gitlab-runner/config:/etc/gitlab-runner \
  -v /app/gitlab-runner/run/gitlab-runner.pid:/var/run/gitlab-runner.pid \
  gitlab/gitlab-runner:v16.11.4

- host主机模式

#  host主机模式 
docker run -d --network=host \
  --name gitlab-runner --restart always \
  -v /app/gitlab-runner/config:/etc/gitlab-runner \
  -v /app/gitlab-runner/run/gitlab-runner.pid:/var/run/gitlab-runner.pid \
  gitlab/gitlab-runner:v16.11.4

- 容器启/停

docker start ${containerID}
docker stop ${containerID}
docker restart ${containerID}

七、查看URL和注册令牌

1、共享Runner注册令牌

Admin area--》Overview--》Runners

2、群组Runner注册令牌

- 新建群组

- 进群组

设置->CICD->runner

3、专用Runner注册令牌

进入项目->设置->CICD->runner

八、GitLab-Runner注册

注册时直接指定非锁定、非保护,注册上后可在gitlab页面修改,以免后面不知所措

1、注册

注册什么类型的就使用对应类型令牌

sudo gitlab-runner register \
--non-interactive \
--executor "shell" \
--url "http://10.130.***.**:8082/" \
--registration-token "S_AfM7r*****jFyb5GSQ" \
--description "shared-runner2" \
--tag-list "check,build,deploy,test" \
--run-untagged "true" \
--locked-"false"  \
--access-level "not protected"

2、效果

注册不同类型的查看页面不一样,同查看URL和注册令牌章节的节面,这里只列出共享类型页面

九、最佳实践

1、介绍

通过流水线实现check、test、package、publish

- check  自动化静态代码质量扫描(应用已集成pmd代码质量检查插件)

- test  自动化动态代码质量扫描、自动化测试(应用所有服务接口都有对应的单元测试方法)

- package  自动打包(跳过测试,避免重复测试,跳过doc、source等不必要的处理提高效率)

- publish  自动发布,可配置规则,自动或手动设定参数决定本次流水线是否发布

2、界面

3、.gitlab-ci.yml配置文件位置及内容demo

创建一个名为“.gitlab-ci.yml”的文件放在工程的根目录

自动化配置文件内容

stages:
  - check
  - test
  - package
  - publish

before_script:
  - export CENTER_NAME=$(echo $CI_PROJECT_NAME| cut -d'-' -f 1)
  - export TARGET_RPC_SERVICE="$CENTER_NAME-***-service"
  - export TARGET_WEB_API="$CENTER_NAME-web-api"
  - export JAVA_HOME=/usr/lib/jvm/jdk-17-oracle-x64
  - export MAVEN_HOME=/app/maven/maven3.8.8
  - export PATH=$JAVA_HOME/bin:$PATH
  - export MAVEN_OPTS="-server -Xms256m -Xmx512m -XX:MetaspaceSize=64m -XX:MaxMetaspaceSize=128m -Dfile.encoding=UTF-8 -Djava.net.preferIPv4Stack=true "
  - export ARCHIVE_HOME=/data2/app/deploy/boot
  - export APP_HOME=/data2/app
  - export CI_PROJECT_STATUS=develop
  - export RUNNER_IP=$(ip addr | awk '/inet.*global/ {print gensub(/(.*)\/(.*)/, "\\1", "g" , $2)}' | awk 'NR==1')

after_script:
  - env > current_env.log

variables:
  MAVEN_CLI_OPTS: " --batch-mode"
  MAVEN_CLI_PROMQL_OPTS: " --batch-mode -Dgroups=promql"
  MAVEN_CLI_ES_HLOG_CSB_OPTS: " --batch-mode -Dgroups=hlog"
  MAVEN_CLI_ES_SW_OPTS: " --batch-mode -Dgroups=sw"
  MAVEN_CLI_SKIP_TEST_OPTS: "$MAVEN_CLI_OPTS -Dmaven.test.skip=true -Dmaven.javadoc.skip=true -Dmaven.source.skip=true "

checking:
  stage: check
  script:
    - echo mvn $MAVEN_CLI_OPTS pmd:check
    - mvn $MAVEN_CLI_OPTS pmd:check -s "$MAVEN_HOME/conf/settings.xml"
    - find . -type f -name pmd.xml -exec cat {} \+
  except:
    variables:
      - $CI_PROJECT_STATUS == "init"
  tags:
    - check

test:
  stage: test
  script:
    - echo mvn --batch-mode -Dgroups=ci test
    - mvn --batch-mode -Dspring.profiles.active=ci -Dlog.path=/app/log/smet -Dprofile=ci -Dgroup=CI -Dnacos-addr=10.130.***.**:18848 -Dnacos-password=nacos2024ip92 -Dserver.port=8004 -Ddubbo.protocol.port=50052 -Ddubbo.application.qos-port=22223 -s "$MAVEN_HOME/conf/settings.xml" test
  tags:
    - test

package:
  stage: package
  script:
    - mvn $MAVEN_CLI_SKIP_TEST_OPTS  -s "$MAVEN_HOME/conf/settings2.xml"  package
    - sudo find . -type f -name '*.jar.original' -exec sh -c "/bin/cp -rf \"{}\" /app/saashealth/" \;
    - sudo chown tomcat.tomcat /app/****health/*.jar
  only:
    - master
  tags:
    - package

publish:
  stage: publish
  script:
    - echo 发布开始...
    - echo 文件拷贝和停服务...
    - sudo su - tomcat -s /app/****health/publish.sh
    - echo 文件拷贝停服务完成!
    - echo 发布完成!
  only:
    - master
  tags:
    - publish

4、自带配置检查工具

 - 检查工具入口

- 校验页面

十、GitLabRunner 类型重点说明

这里旨在给各位读者扫雷---很重要

shared : 运行整个平台项目的作业(gitlab)   -- 共享类

group: 运行特定group下的所有项目的作业(group) -- 分组类

specific: 运行指定的项目作业(project) -- 专享类

locked: 无法运行项目作业(specific的就会带locked标签,表示无法运行其他项目作业)

paused: 不会运行作业(手动停了就是pause,点runner数据量后面的两竖按钮)

十一、【扫雷】总结

1、root用户安装gitlab-runner

2、就算作业类型(shared、group、specific)关联了一般也会通过tag触发(匹配才触发)

3、注意配置文件位置,别因多次安装搞混淆了

4、及时修改gitlab-runner用户的默认密码

5、一定要在项目根目录创建一个名为“.gitlab-ci.yml”的文件才能看到效果

6、.gitlab-ci.yml需要语法正确,使用自带页面工具校验

7、本文着重实践。

8、想学理论的话网上这篇帖子讲得比较全面:云原生之GitLab集成Runner

GitLab CI GitLab Runner配置 - 初级篇 参考官网: 配置GitLab Runner 注册GitLab Runner GitLab Community Edition 11.5.1 GitLab CI GitLab Runner配置 - 初级篇GitLab Runner端注册Runner注册GitLab Runner - Shell版和Docker版单句注册指令GitLab服务端配置RunnerGitLab Runner端配置Run... 阅读详情

相关推荐

基于GitLab Runner的轻量级CI/CD实战指南

本文面向中小型研发团队,讲解如何利用GitLab CE + GitLab Runner搭建轻量级持续集成环境。通过Docker容器化技术实现编译环境隔离,结合demo开发场景演示交叉编译工具链集成方案,提供完整的.gitlab-ci.yml配置示例及常见问题排查指南。

makou_yuan的博客 2934

部署gitlab-runner

写gitlab-runner之前,我们先了解一个概念CICDCICD,是一种软件开发实践,包含了三个概念,CI全称 Continuous Integration,表示持续集成,CD包含 Continuous Delivery持续交付和 Continuous Deployment持续部署。是一种通过在应用开发阶段引入自动化来频繁向客户交付应用的方法。CI/CD 可让持续自动化和持续监控贯穿于应用的整个生命周期(从集成和测试阶段,到交付和部署)。

qq_40208428的博客 7212

在CentOS系统上部署GitLab Runner并配置CI/CD自动项目集成

GitLab CI/CD是一个强大的持续集成和持续部署工具,能够显著提高开发团队的效率。本文将详细介绍如何在CentOS系统上部署GitLab Runner,并与GitLab仓库集成配置CI/CD。这篇指南旨在帮助新手完成GitLab仓库的CI/CD基础配置工作。

zhlh_xt的专栏 1571

GitLab-Runner 从安装到配置到入门

安装 runner 案例使用的都是 docker 部署,gitlab 使用的是gitlab/gitlab-ce:12.10.14-ce.0所以安装使用的gitlab runner版本是gitlab/gitlab-runner:v12.10.3。 查看信息 先在 gitlab 上查看添加 runner 时需要配置的 token(版本不一样,查看位置也会不同)。 注册 运行gitlab-runner register命令进行注册 gitlab-runner register 输入 gitlab 的 u

zyy247796143的博客 2万+

Docker-compose安装gitlab和gitlab-runner CICD(详细步骤)

1、安装gitlab 项目部署: 将项目通过maven进行编译打包 将文件上传到指定的服务器中 将war包放在tomcat服务器目录中 通过Dockerfile将Tomcat和war包转换成一个镜像,由docker-compose去管理 CI、CD帮助我们实现持续集成,持续交付和部署。 CI(continuous intergration)持续集成 持续继承:编写代码时,完成一个功能后,立即提交代码到Git仓库中,将项目重新构建测试; 快速发现错误 防止代码偏离主分支。 1、搭建gitlab服

fengtao0821的博客 4405

gitlab runner实现自动化部署

前言 GitLab Runner是一个开源的项目,是用来执行GitLab中的项目的根目录下创建的.gitlab-ci.yml 脚本的工具。GitLab-CI可以比喻成管理工人的工厂,Runner是工厂里的工人,每个工人需要在工厂进行注册,所负责的项目不同,所做的工作也不同。当工厂某一个项目发生变动时,需要通知对应的工人去做对应的工作。 具体部署流程图 GitLab Runner简介 1. Run...

weboof的博客 6741

20.云原生之GitLab集成Runner

云原生之GitLab集成Runner

野心与梦 1万+

【gitlab-runner】gitlab-runner安装注册到https的gitlab

gitlab是一个代码托管工具,开源。gitrunner是一个持续集成工具(CI CD),只要gitlab代码有提交,gitlab-runner就会自动部署。很方便。 gitlab-runner安装过程记录 centos7 安装 下载安装包 sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/v12.8.0/binaries/gitlab-runner-linux.

你的博客 1万+

gitlab ci, gradle,gitlab-runner shell示例

我GRADLE_USER_HOME是这个目录/mnt/disk2/java-repository,就是存放java依赖包的地方,我想统一放在这个目录下,就加了这个环境变量,因为这个目录是我用root用户创建的,而gitlab-runner用户没有权限,所有执行“gradle buid"时相关依赖包不能下载到这个目录,就会报错,错误我没有截图下来,就是没有找到一个包。把下面这个复制出来,gitlab-runner安装好后,执行这个语句这行,把gitlab-runner注册到创建的这个runner。

qq_21159963的博客 1338

GitLab Runner作为CI/CD

CI()持续集成,CD()持续部署(也包含了持续交付的意思)。CD 指的是在我们 CI 流程通过之后,将代码自动发布到服务器的过程,这个过程也是自动化的。在开发人员提交代码之后,会触发 gitlab 的 CI 流水线。也就是上图的 CI PIPELINE,也就是中间的部分。在 CI 流水线中,我们可以配置多个任务。比如上图的 build、unit test、integration tests 等,也就是构建、单元测试、集成测试等。在 CI 流水线都通过之后,会触发 CD 流水线。

wangqiaowq的博客 1295

Gitlab 之 mac 安装 gitlab-runner

Gitlab 之 mac 安装 gitlab-runner 用homebrew进行安装,在命令行中直接执行 brew install gitlab-runner 注册runner 注册runner,你需要有一个项目,并且需要至少master权限。 打开settings->CI/CD页面,选择第二项Runners settings,左侧会显示与当前项目相关的参数。 1)执行 gitlab-runner register 2)指定git的URL Please enter the gitlab-ci

y果子 3723

docker 搭建gitlab gitlab-runner实现 CI/CD

本文使用到docker、gitlab、harbor、k8s以及Kubesphere,这些在以前文章中已经部署过,可以作为参考最终达到效果为,代码提交至master分支后,将master分支合并到develop分支,会触发CI/CD,进行自动打包、生成镜像、上传镜像到harbor镜像仓库,然后在Kubesphere界面重新部署项目;

FamineFree的博客 2704

docker GitLab-runner CI/CD持续集成

docker安装GitLab-runnerdocker安装GitLab-runner拉取镜像创建挂载目录启动容器注册gitlab-runner修改Runner配置文件创建SpringBoot项目测试CICD项目结构配置docker注册runner修改config.toml挂载目录修改项目pom.xml,引入docker插件在项目根目录创建Dockerfile文件提交代码到gitlab查看打包结果安装错误ERROR: Failed to load config stat /etc/gitlab-runner/

奋斗的小鸟专栏 3563

GitLab集成gitlab-runner

​GitLab Runner是一个开源项目,用于运行您的作业并将结果发送回GitLab。它与GitLab CI结合使用,GitLab CI是GitLab随附的用于协调作业的开源持续集成服务。​。

南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top 2952

gitlab runner 安装、注册、配置、使用(Docker部署)

Gitlab Runner作为一个开源的项目,使用Go语言编写,可运行在不同系统重Gitlab Runner用于运行作业并将结果发给gitlab服务器Gitlab Runner与Gitlab CI结合使用,Gitlab CI是gitlab的开源持续集成服务,用于协调作业Gitlab Runner的版本安装时应注意与Gitlab版本尽量同步以防版本差异导致报错。

感谢阅读 1万+

Gitlab runner 安装和注册

今天我们了解的 Gitlab CI/CD 中负责执行脚本的 Gitlab Runner 的设计结构,介绍了它的安装(二进制),注册流程。最后我们演示了如何运行一个 CICD pipeline。

介绍AWS Azure GCP devops Terraform 等技术 1518

GitLab Runner的安装与使用

1、GitLab-CI GitLab-CI就是一套配合GitLab使用的持续集成系统(当然,还有其它的持续集成系统,同样可以配合GitLab使用,比如Jenkins)。而且GitLab8.0以后的版本是默认集成了GitLab-CI并且默认启用的。 2、GitLab-Runner GitLab-Runner是配合GitLab-CI进行使用的。一般地,GitLab里面的每一个工程都会定义一个属于这个工...

苍穹尘的博客 5万+

Triton推理服务器实战:如何为PaddleOCR的ONNX模型配置动态批处理和并发推理

本文详细介绍了如何使用Triton推理服务器为PaddleOCR的ONNX模型配置动态批处理和并发推理,以提升GPU利用率和推理性能。通过实战案例和参数调优指南,帮助开发者解决高并发场景下的性能瓶颈问题,实现从实验室到生产环境的高效部署。

weixin_42527160的博客 427

gitlab之cicd的gitlab-runner集成-dockerfile构建环境

gitlab之cicd的gitlab-runner集成-dockerfile构建环境

流月up的博客 1516

伪距单点定位算法原理以及利用最小二乘法计算实例

即该公式:建立下列代价函数满足最佳估值的条件为:即:可解得未知参数 X 的最佳估值由于每个可见卫星观测量的精度可能不一样,这时,需要对不同观测量赋予一个权重系数,称为加权。

qq_43381998的博客 1万+

中图法第五版SQL,支持树形结构可直接导入使用

基于第五版中图法官方数据收集整理,效果图如下:

cloudin_adin的博客 983
上一篇: Kraft模式安装Kafka(含常规、容器两种安装方式)、Kafka镜像下载
下一篇: 华为OD入门级、工作级、专业级技术技能知识点要求及职级薪资表
飞火流星02027
博客等级 码龄19年 783粉丝 121原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

飞火流星02027

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值