Man_In_The_Night-优快云博客

原创 Ubuntu16 永久修改 DNS

环境： ubuntu16.04操作步骤：1、修改 /etc/resolv.confnameserver 114.114.114.114nameserver 114.114.114.114options timeout:1options attempts:32、安装 resolveconfapt install resolveconf3、修改配置文件 /etc/resolvconf/resolv.conf.d/head# Dynamic resolv.conf(5) file for

2021-09-10 20:02:45 1113

原创记一次 proxy 导致的端口访问失败

背景：infra 交付了一批服务器，部署好服务后，发现所有服务器端口 curl 不可环境：服务器 IP 192.168.1.1，内部网络问题详情：1、服务器部署了 node_exporter, 端口 9100. lsof 和 netstat -nlp 均显示 9100 端口启用，防火墙未开启访问 curl 192.168.1.1:9100/metrics 没有结果访问 curl 127.0.0.1:9100 /metrics 没有结果2、安装 apache2 apt install apa

2021-09-10 19:48:50 2217

原创使用 node-exporter textfile 收集文件中的 metrics

背景：本来打算使用 process-exporter 来监控 airflow celery worker 进程的，但是当 airflow worker 并发数量达到 2000 时，process-exporter metrics 延时会达到 5min 以上，prometheus 拉取 metrics 会 timeout。打算使用 ps 命令写 worker 进程数到文件中，然后使用 node-exporter 来 export 文件中的 metrics。环境：ubuntu 16.04, node-ex

2021-09-10 19:36:39 2692

原创 Ubuntu20 安装 python2 的 pip

Ubuntu20 安装 pip2环境：ubuntu20， python2.7.181、配置 pip.conf（如果网络 ok，这一步省略）root@myserver:~# cat /etc/pip.conf # BEGIN ANSIBLE MANAGED BLOCK[global]# END ANSIBLE MANAGED BLOCKindex-url = https://pypi.tuna.tsinghua.edu.cn/simpletrusted-host = pypi.tuna.tsi

2021-09-10 19:20:45 1409

原创 Ubuntu20 普通用户使用 crontab

环境：Ubuntu20.04问题：ubuntu20 普通用户默认没有开启 crontab 权限，所以会报以下错误hadoop@myserver:~$ crontab -e/etc/cron.allow: Permission deniedYou (hadoop) are not allowed to use this program (crontab)See crontab(1) for more information解决方法：1、添加 allow 权限root@myserver:~

2021-09-10 19:12:47 3159

原创 win10 vscode 设置 Python 虚拟环境

环境： win10， vscode 1.15.1，vscode python 插件， python 3.6.81、创建虚拟环境 testpython -m venv test2、使用 ctrl + shift + p 打开搜索，输入 python interpreter，选择 python select interpreter

2021-07-13 00:21:57 487 1

原创 win10 更新后指纹不能使用

2021年7月12日更新windows后，指纹使用后报错“抱歉，出现问题，关闭windows hello，然后尝试再次运行安装程序”。解决方法：使用官方推荐方法 https://answers.microsoft.com/zh-hans/windows/forum/all/%E6%9B%B4%E6%96%B0win10%E5%90%8E%E6%8C%87%E7%BA%B9/7fc55349-7234-4fd0-a3c1-04fcf20e2aaa1、找到控制面板-管理工具-服务，并找到Windows Bi

2021-07-12 22:13:46 7406 2

原创 linux 查看用户使用的进程或线程数量

$ ps h -Led -o user | sort | uniq -c | sort -nr 2155 cloudera-scm 1949 root 1037 hdfs 786 hbase 541 hive 315 yarn 269 hadoop 233 oozie 229 mysql 147 mapred 140 hue 107 sentry 105 zookeeper 102 httpfs

2021-04-22 21:13:05 2939

原创 Megacli 常用命令

环境： ubuntu 16.04，megalic 8.07.14，服务器 raid 卡 "LSI Logic / Symbios Logic MegaRAID SAS-3 3108“1、查看 raid 卡命令lspci -knn | grep "RAID bus controller"2、常用 megacli 命令megacli -LdPdInfo -aALL # 查看所有逻辑盘、物理盘信息MegaCli -LDInfo -Lall -aALL # 查看所有逻辑盘信息megacli -LDIn

2021-04-16 20:57:56 1421

原创 Megacli 定位磁盘

背景：磁盘 /dev/sdb 重做 raid0，需要先定位 sdb 对应的物理盘，然后使用 raid 工具重做 raid。环境：环境： ubuntu 16.04，megalic 8.07.14，服务器 raid 卡 “LSI Logic / Symbios Logic MegaRAID SAS-3 3108”1、查看 raid 卡命令lspci -knn | grep "RAID bus controller"2、查看 /dev/sdb 对应的逻辑盘# ll /dev/disk/by-path

2021-04-16 20:55:45 1219

原创 os x 安装指定版本的 ansible

环境：mac os x 10.15.7默认 python2.7.16, 但是没有安装 pip2，只有 pip3。使用 pip3 安装的 ansibe 使用会报错（具体原因还不是很理解）解决方法：先安装 pip2，再用 pip2 安装 ansible1、安装 pip2$sudo easy_install pip2、安装 ansible$pip install -y ansible==2.7.53、测试$ansible localhost -m ping...

2021-01-18 20:21:18 584

原创 ceph 笔记整理

ceph 查看、修改 crushmap直接通过 ceph 命令1、创建对应的rootceph osd crush add-bucket ssd rootceph osd crush add-bucket sas root2、创建对应的hostceph osd crush add-bucket node-4-sata hostceph osd crush add-bucket node-5-sata hostceph osd crush add-bucket node-4-ssd hostc

2020-12-31 16:49:41 554

原创 ceph 查找 rbd image 存储位置

环境：centos7.6， ceph luminiousceph 同时提供对象存储、块存储、文件存储三种接口，但本质上都是对象存储，也就是说一个rbd image 实际上包含了多个对象（默认情况下是 iamge_size/4M）查看 pg 对应的 osdceph pg dumpceph pg map 3.5d查看 pool 中的 image[root@ansible002 ~]# rbd list k8skubernetes-dynamic-pvc-0f4455a2-f96a-11e9-9

2020-12-31 16:46:14 1175

原创 openstack 删除一个 loadbalancer

环境：centos7.6， openstack rockybashboard 直接删除会报错，需要依次删除 healthmonitor、listener、pool、loadbalancer neutron lbaas-healthmonitor-list neutron lbaas-healthmonitor-delete neutron lbaas-listener-list neutron lbaas-listener-delete neutron lbaas-pool-list neu

2020-12-31 16:36:47 401

原创 ceph osd 磁盘损坏处理

（一）从 ceph 删除该 osd1、登陆 ceph mon 节点，查看坏掉的 osd2、mon 上执行 out osd.xceph osd out osd.x3、从 crush map 中删除 osd.x，防止它再接受数据ceph osd crush remove osd.xceph auth del osd.xceph osd rm osd.x[root@bakmtr01 ~]# ceph -s cluster: id: 0e38e7c6-a704-41

2020-12-30 16:23:30 2652

原创 ceph rgw 开启 usage 日志

环境：centos7.6 、ceph luminious1、修改配置文件 ceph.conf，增加 rgw enable usage log =true[root@bakmtr01 ~]# cat /etc/ceph/ceph.conf [client.rgw.bakmtr01]host = bakmtr01keyring = /var/lib/ceph/radosgw/ceph-rgw.bakmtr01/keyringlog file = /var/log/ceph/ceph-rgw-bakm

2020-12-30 16:18:00 1725

原创 openstack设置实例的帐号密码

环境：openstack rocky，centos7.6 镜像“项目”–“实例”–“创建实例”–“配置”–“选择文件”文件内容如下:#!/bin/bash#change passwordpasswd root<<EOFhao@123hao@123EOF#allow ssh password login and no use dnssed -i 's/PasswordAuthentication no/PasswordAuthentication yes/g' /etc/ssh

2020-12-29 15:01:35 2151

原创 python 多进程上传下载 ceph 对象存储

centos7.6，python 2.7.5，ceph luminious1、多线程上传脚本# ！/bin/python# -*- encoding:utf-8 -*-endpoint_url = "http://192.168.1.10:6780";access_key = "xxx"secret_key = "xxx"# bucket name in ossdefault_bucketname = "lalala"class S3Operate(object): def _

2020-12-29 14:54:11 913 4

原创 jenkins 使用 k8s 动态创建 jenkins slave pod

环境：centos7.6 、Docker version 19.03.5、Jenkins 2.249.3（jackson = 2.11.2、docker plugin = 1.2.1）、 kubernetes cli plugin 1.9.0、kubernetes plugin 1.27.7 主要思想：使用 kubenetes cli plugin 配置一个动态的 pod jenkins jnlp slave，pod 中包含 mvn、docker、kubectl 等容器。创建多分支流水线，Jenkins

2020-12-28 11:47:57 3173

原创 jenkins cicd k8s 多分支流水线构建

环境：centos7.6 、Docker version 19.03.5、Jenkins 2.249.3（jackson = 2.11.2、docker plugin = 1.2.1）主要思想：使用 docker plugin 配置一个动态的docker jenkins jnlp slave，该镜像中包含 mvn、git、docker、kubectl 等命令。创建多分支流水线，Jenkinsfile 使用前面配置好的 jenkins slave。在该 jenkins slave 中执行 maven 构建

2020-12-26 16:11:06 759

原创 jenkins 制作包含 maven 等命令的 jnlp slave镜像

环境： centos7， docker 19.03.5, vm 192.168.116.6Dockerfile 内容如下FROM centos:7.6.1810ENV TIMEZONE=Asia/Shanghai \ LANG=zh_CN.UTF-8COPY CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repoCOPY docker-ce.repo /etc/yum.repos.d/docker-ce.repoRUN mkdir -p

2020-12-26 14:24:13 1206

原创 jenkins 使用 docker plugin 连接 k8s

环境：centos7.6 、Docker version 19.03.5、Jenkins 2.249.3（jackson = 2.11.2、docker plugin = 1.2.1）1、安装 kubernetes cli 插件，否则会报错java.lang.NoSuchMethodError: No such DSL method 'withKubeConfig' found among steps [approveReceivedEvent,...2、配置 docker“系统管理”–“节点管理

2020-12-25 10:44:05 817

原创 jenkins docker 添加 volume 报错

环境：centos7.6 、Docker version 19.03.5、Jenkins 2.249.3本文原本使用的是 jenkins 2.263.1 ，但是 docker jenkins slave 在使用 volume 时一直报错 node offline查看 jenkins 日志：Cannot construct instance of com.github.dockerjava.api.model.Volume (although at least one Creator exists):

2020-12-24 20:20:20 420 1

原创自定义 jenkins jnlp-slave 镜像

环境：centos7.6 、Docker version 19.03.5、Jenkins 2.263.1、jenkins url 172.28.31.214:8080完整 github 项目 1、从 https://repo.jenkins-ci.org/public/org/jenkins-ci/main/remoting 下载对应版本的 remoting.jar，重命名为 slave.jar, 此处使用 https://repo.jenkins-ci.org/public/org/jenkins-c

2020-12-23 14:20:49 2729

原创 jenkins添加 docker 静态节点

官方的镜像 jenkins/jnlp-slave 镜像使用方法：参考文章不过官方镜像 jenkins/jnlp-slave 只适合添加 docker 静态节点，不适合 docker 动态节点，否则会报错。Still waiting to schedule task All nodes of label ‘jenkins-slave’ are offline 、Cannot construct instance of com.github.dockerjava.api.model.Volume (al

2020-12-23 13:58:09 1600

原创 jenkins 使用 docker 作为动态代理节点

环境： centos7，jenkins 使用 docker 构建，参考. docker 19.03.5, vm 192.168.116.6jenkins 需要安装 docker 插件1、配置 docker hostsvm 192.168.116.6 设置 docker hosts[root@k8s-noed02 ~]# cat /etc/docker/daemon.json { "bip": "192.167.1.1/24", "hosts": [ "unix:///var/ru

2020-12-23 10:12:45 1844 3

原创使用 git 上传项目到 github/gitlab 仓库

环境：git version 1.8.3.1，centos 7.61、在 gitlab 上新建项目 xxx2、push 项目到远程仓库，以 gitlab 为例。github 的话需要将 git@gitlaburl:ccount/xxx.git 替换为 https://github.com/ccount/xxx.git设置全局参数git config --global user.name "youraccount"git config --global user.email "youremail"

2020-12-22 14:07:18 243

原创 centos7 安装指定版本的 mariadb

环境：centos7.61、配置mariadb源[root@bdcplmslave03 ~]# cat /etc/yum.repos.d/mariadb.repo[mariadb]name = MariaDBbaseurl = https://mirrors.ustc.edu.cn/mariadb/yum/5.5/centos7-amd64/gpgkey= https://mirrors.ustc.edu.cn/mariadb/yum/RPM-GPG-KEY-MariaDBgpgcheck

2020-12-17 11:46:24 1051

原创 jenkins 添加 vm 节点

环境： centos7，vm ip 192.168.116.6，docker-ce 18.09.61、部署 jenkinsmkdir jenkins_homedocker run -d -v jenkins_home:/var/jenkins_home -p 8080:8080 -p 50000:50000 jenkins/jenkins:lts如果出现日志报错：touch: cannot touch ‘/var/jenkins_home/copy_reference_file.log’:

2020-12-17 11:31:04 433

原创 openstack 删除计算节点

2020-12-15 14:17:01 1368

原创 openstack router 在网络节点间迁移

gtw03 节点挂掉，导致该 L3 agent 上的 router router3 失联，导致连接该 router 的 vm 失联目的：将 router3 迁移到 gtw021、查看 router[root@k8s01 ~]# neutron router-list2、查看 router 对应的 L3 agent host[root@k8s01 ~]# neutron l3-agent-list-hosting-router router3neutron CLI is deprecated a

2020-12-15 14:16:13 630

原创 openstack 创建 ha router

创建新 router，设置为 ha，设置外部网关openstack router create --ha router2openstack router set router2 --external-gateway network21如果是修改已经在使用的 router，需要先关闭 router（这时该 router 下面的 vm 会断开与外部的联系），再修改[root@k8s01 ~]# openstack router set myrouter --disable[root@k8s01

2020-12-15 14:15:18 420

原创 DevOps 小组运维管理手册

参考《unix/linux 系统管理技术手册》组织需求维护一份开放任务的列表给自己的任务排列出优先级，并分配资源向用户和企业沟通任务状态监视计算环境，包括安全监视跟踪新出现的技术拓展 IT 人员的技能帮助遵守规章制度编写文档，记录可重复性的过程，可复用的 ansible 脚本最好及时将自己的文档更新到 gitlab，维护好 devopshandbook运维手册评测针对协商目标的进展情况，并报告状态指定容灾规划，并且做好准备要有足够的灵活性，在让用户高兴的同时也能足够遵守纪律，进而

2020-11-27 16:52:33 804

原创 kubeflow 删除用户对应的 namespace

环境： kubeflow 1.1.0，操作系统 centos7.6kubeflow 使用 dex 提供的认证，可以配置 ldap，默认每个用户登录后，都会创建一个 namespace。有时候管理，需要删除某个用户。从 dex 或者 ldap 删除用户数据，并不会删除对应的 namespace，即使删除了 namespace，kubernetes 也会重新创建该 namespace。从 dex 或者 ldap 中删除用户后，可以执行下面命令删除 namespacekubectl get profil

2020-11-27 09:09:28 782

chromedriver

空空如也