
DEVOPS
本专栏以容器技术为基础,实战,分享 DEVOPS进程化中的各种场景及问题。
大鹏blog
把自己遇到的问题记录下来,方便自己,也方便他人!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Gitlab-ci:Cannot connect to the Docker daemon at tcp://docker:2375/. Is the docker daemon running?
背景从上周开始,CI/CD平台间歇性的会构建失败,当时没太注意,对于失败的job 重试就ok了 ,但是这周就直接构建失败了,主要出现在使用dind的时候不能正常使用docker功能。报错截图原因:由于我们使用的是docker官方的 docker:dind 镜像, 该镜像在18.09+下做了变化主要是TLS 证书认证这块 , gitlab没有适配这个变化Starting in 18.0...原创 2019-07-24 12:33:39 · 3591 阅读 · 2 评论 -
Gitlab -ci :前后端项目加载缓存,减少构建时间
我们使用cache关键字,定义缓存路径 ,在build的时候加载缓存后端项目java先看效果,加载缓存之前要3分钟多加载之后,27s多,效果非常明显配置也比较简单,我们只需要在gitlab-ci.yaml里面增加以下配置就好variables: MAVEN_OPTS: -Dmaven.repo.local=/cache/maven.repositorycache: k...原创 2019-07-11 09:11:33 · 6555 阅读 · 4 评论 -
Gitlab-ci FAQ集
Gitlab CI/CD 流水线运行中FAQ问题处理集1.job 里面拉取代码失败问题原因:job流默认读取出来的gitlab 项目clone地址是80端口的,由于我们做了端口映射,故使用默认的地址拉取不到项目解决办法:使用非交互式注册runner,自动移clone-url–clone-url “gitlab地址” \ ,具体参考非交互式runner注册文档2.push images失败...原创 2019-07-09 16:39:25 · 293 阅读 · 0 评论 -
git使用
拉取分支git clone ssh://git@XXXX/root/container-cloud.git查看本地已有分支git branch检出已有分支git checkout dev1修改内容提交代码git add . 添加文件到本地仓库git commit -am “modified files” 修改内容之后提交git push -u origin master ...原创 2019-06-19 20:43:10 · 105 阅读 · 0 评论 -
gitlab-ci :同一流水线,不同stage之间数据传输
背景:我遇到这个问题是在CI/CD中 编译打包 我们的全端代码 vue项目。在 npm run build 结束之后会生成 dist目录, 在打docker镜像的时候需要把 install stage 中的dist 传递给 build-image stage技术选择:一开始想到两个解决办法:1.做一个功能齐全的docker image 里面既可以执行npm /yarn命令打包,又...原创 2019-07-02 10:43:31 · 10137 阅读 · 0 评论 -
GitLab CI/CD variables
GitLab 9.0 renamed variablesNote: Starting with GitLab 9.0, we have deprecated the $CI_BUILD_ variables. You are strongly advised to use the new variables as we will remove the old ones in future Git...原创 2019-07-01 16:49:38 · 882 阅读 · 0 评论 -
Docker :修改存储位置
docker 默认的存储位置在/var/lib/docker或者可以通过命令去获取:文中将使用软连接的方式修改 docker的存储位置1.停止docker服务systemct stop docker2.移动整个路径至新路径mv /var/lib/docker /data/docker3.创建软连接ln -s /data/docker /var/lib/docker...原创 2019-07-16 09:09:42 · 602 阅读 · 0 评论 -
Swarm : 调度模式浅析
背景:我们有一套swarm的集群,经常会发生 docker 漂移,为了了解docker为什么会漂移,具体的调度机制,走了一遍源码分析如下:我们创建服务的时候create service ,到了环境上实际执行任务的是具体的task为什么会漂移?刚开始service能创建成功,能调度到现有节点上,那该节点调度前的资源是满足条件的 ,swarm在调度的时候会创建一个slice ,而且会对...原创 2019-07-14 09:17:42 · 1038 阅读 · 0 评论 -
Docker : server gave HTTP response to HTTPS client
问题背景:当我们在开发机上pull harbor私有仓库中的镜像的时候报错Error response from daemon: Get https://harbor:9000/v2/: http: server gave HTTP response to HTTPS client原因分析:看报错很明确,docker client发起的是https的请求,harbor 私有仓库响应的是h...原创 2019-07-14 09:06:02 · 545 阅读 · 0 评论 -
portainer :Failure Unable to query endpoint
界面显示容器日志报错2019/01/15 08:57:28 http error: Unable to query endpoint (err=Endpoint is down) (code=503)2019/01/15 08:57:33 http error: Unable to query endpoint (err=Endpoint is down) (code=503)2019/...原创 2019-06-19 20:21:31 · 3031 阅读 · 2 评论 -
Dockerfile 所有指令
ADD source dest //复制文件到容器内ARG name=defaultValue ARG name //ARG指令用以定义构建时需要的参数EXPOSE port //端口映射ENV key=value //为后续的RUN指令提供一个环境变量,我们也可以定义一些自定义的变量 WORKDIR /the/workdir/path //用于指定容器的一个目录, 容器启动...原创 2019-05-25 08:16:30 · 242 阅读 · 0 评论 -
nexus迁移总结
项目原始的nexus是容器化部署的,要从阿里云机器迁移到自己的物理机,版本3.15刚开始使用容器的传统迁移方法 先去save image,然后load image ,之后把映射的存储数据拷贝过去 ,思路是这个思路,但是过程中出现了问题:1.映射过去的路径下面没有存储的数据项目原始的nexus是容器化部署的,要从阿里云机器迁移到自己的物理机刚开始使用容器的传统迁移方法 先去save ima...原创 2019-05-24 17:48:03 · 6906 阅读 · 0 评论 -
Elastic: 分析oracle数据
对于oracle数据的分析,我们可以写sql,也可以使用ES来处理分析本文主要讲解配置,默认环境已安装docker ,本示例分析的是oracle的审计日志安装 ELK 套件1.先修改宿主机的配置文件切换到root用户修改配置sysctl.confvi /etc/sysctl.conf在尾行添加以下内容 vm.max_map_count=262144并执行命令sysctl -p...原创 2019-07-11 20:06:31 · 637 阅读 · 0 评论 -
Elastic:docker compose 部署 7.2最新版
7.2最新版说明19年6月26号发布release说明https://www.elastic.co/cn/blog/elastic-stack-7-2-0-released前提条件Docker 18.05Docker-compose 1.21版本说明:Three Node Elasticsearch version 7.2.0.Kibana version 7.2.0.Aud...原创 2019-07-11 11:47:26 · 1150 阅读 · 0 评论 -
ETCD: request timed out
背景:在部署kubernetes的时候执行 kubeadm init失败 ,查看日志发现 连接etcd超时原创 2019-07-18 22:37:47 · 22895 阅读 · 1 评论 -
Docker: compose-file配置参数整理
官网对于compose file写法的说明https://github.com/docker/docker.github.io/blob/m看了两遍官文,参数很多,容易乱,对其中的参数自己做了关系梳理总的来说有这个几个配置对象(估且叫对象吧)docker compose 几大对象 service ,volume ,network ,config ,secretsService -bui...原创 2019-04-30 18:11:05 · 1649 阅读 · 0 评论 -
Kubernetes:集群网络,安全与存储
k8s的3个网络1.node网络 ,宿主机的网络2.pod网络 pod共享上下文,共享进程通信 ,localhost通信,共享namespace3.service网络 服务发现负载均衡pod网络设计的三个考虑:1.所有pod间应该无需NAT直接能通信2.所有集群与所有pod 可以在 无需NAT的情况下直接通信3.容器自身的地址和其他pod看到它的地址是同一个地址每一个pod都有一...原创 2019-07-24 17:42:12 · 1051 阅读 · 0 评论 -
Kubernetes:kuberadm搭建环境下,各个组件说明
kubelet1.运行在集群中所有节点上2.和master节点交互,用于上报各个节点的信息3.pod的管家4.由node上的init 进程启动5.配置文件config 中的bootstrap参数 用于和master节点中的apiserver通信,获取证书文件 ,存放在cd /var/lib/kubelet/pki 路径下面6.kubelet 配置文件/etc/systemd/syst...原创 2019-07-24 17:35:09 · 904 阅读 · 0 评论