Super_man54188的博客

原创 筛选一批内容，并追加到源文件

1.有一堆文件，文件内有特殊字段，判断是否存在，并追加到对应的文件内。# 执行rclone命令获取结果。# 将原行和结果一起写入临时文件。创建1.txt文件，把目录添加到文件内，20条。echo "处理完成，结果已追加到1.txt"# 如果是空行，也保留。# 逐行读取1.txt并处理。# 用临时文件替换原文件。

原创 20台服务器互相免密登录的配置方法

echo "✗ 配置 $server 失败"echo "✓ 成功配置 $server"echo "正在处理服务器: $server"USER="root" # 根据实际情况修改用户名。# 清空known_hosts文件。echo "所有服务器配置完成！# 扫描并接受主机密钥。# 遍历服务器列表分发密钥。: 密钥长度4096位。

原创 Logstash、Filebeat和Fluent比较

Logstash是一个开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到存储库中。超大规模日志处理，当Elasticsearch处理不过来时，可以通过Fluent传到Kafka，再通过Logstash同步到Elasticsearch。在运维领域，Logstash、Filebeat和Fluent都是常用的日志采集和处理工具，它们各自具有不同的特点和适用场景。超大规模日志处理，特别是当日志需要先存到Kafka，再通过Logstash同步到Elasticsearch时。

原创 OSI 七层协议 和四层协议 TCP 三次握手的过程

• 服务器响应：服务器收到客户端的 SYN 数据包后，会检查数据包的合法性。• 表示请求建立连接。• 客户端发起请求：客户端(通常是浏览器或其他应用程序)向服务器发送一个 TCP 数据包，数据包中的 SYN(同步序列号)标志位被设置为。• 客户端确认：客户端收到服务器的 SYN-ACK 数据包后，会发送一个 ACK 数据包作为确认。• 确认号：服务器的初始序列号+1(表示对服务器的 SYN-ACK 数据包的确认)• 确认号：客户端的初始序列号+1(表示对客户端的 SYN 数据包的确认)

原创 Linux环境下使用logrotate工具实现nginx日志切割

logrotate是基于crontab运行的，所以这个时间点是由crontab控制的，具体可以查询crontab的配置文件/etc/anacrontab。可以对单个日志文件或者某个目录下的文件按时间/大小进行切割，压缩操作；在所有时间内nginx产生的日志均保存在同一个文件下，随着访问量的增加，尤其是access.log增长极快，服务器会很快消耗磁盘空间，影响服务器效率。另外，当需要对日志文件里面记录的数据进行分析时，每次都要耗时很久才能下载这个庞大的日志文件，浪费不必要的时间。则是记录服务器错误日志。

原创 Linux下安装 SkyWalking 分布式追踪系统

1。

原创 jenkins加入ldap操作

1.打开ldap，创建ou。

原创 gitlab加入ldap配置

vim /etc/gitlab/gitlab.rb 每一行都不能差。首先在gitlab配置文件中添加。

原创 linux centos7.安装ldap过程+web页面安装

OpenLDAP是轻型目录访问协议(Lightweight Directory AccessProtocol，LDAP)的自由和开源的实现，在其OpenLDAP许可证下发行，并已经被包含在众多流行的Linux发行版中。参考文献：https://blog.youkuaiyun.com/shafatutu/article/details/141537378。

原创 docker-compose-语法使用安装说明

首先安装docker关闭防火墙yum安装依赖下载docker-ce.repo源安装docker启动编辑/etc/docker/daemon.jsonEOF重启docker然后安装docker-compose设置权限-compose 查看版本 docker-compose-version 启动 docker-compose start -d或者docker-compose up -d如果你想利用docker-compose安装mysql等内容 你需要了解语法规则。

原创 Docker NetWork bridge网络

参考文档https://blog.youkuaiyun.com/2202_75331338/article/details/147423971首先安装docker关闭防火墙yum安装依赖下载docker-ce.repo源安装docker启动编辑/etc/docker/daemon.jsonEOF重启docker然后安装docker-compose设置权限-compose 查看版本 docker-compose。

原创 jenkins 流水线pipeline语法使用教程

1。

原创 rancher部署无状态资源实例

部署无状态应用创建deployment选择名称空间、输入资源名称、副本数；Deployment选项下不用填Pod只打标签，其他网络、节点调度等不填输入容器名称、镜像(以nginx为例)，选择拉取策略，是公开的镜像仓库，所以没有拉取密钥镜像启动命令监控检查：选择类型、输入检查端口和请求路径右下角点击“创建”查看pod：kubectl get po创建svc选择服务，点击“创建”选择Cluster IP。

原创 k8s之ingress解释以及k8s创建业务的流程定义

一个 Pod 只是一个运行服务的实例，随时可能在节点上停止，然后再新的节点上用一个新的 IP 启动一个新的 Pod,因此不能使用确定的 IP 和端口号提供服务。kubernetes 就引入了 Service 的概 念，它为 Pod 提供一个入口，主要通过 Labels 标签来选择后端Pod，这时候不论后端 Pod 的 IP 地址如何变更，只要 Pod 的 Labels 标签没变，那么 业务通过 service 调度就不会存在问题。2、RC 是 k8s 集群中最早的保证 Pod 高可用的 API 对象。

原创 k8s之pod、RC、RS解释以及定义

Pod 的设计理念是支持多个容器在一个 Pod 中共享网络地址和文件系统，可以通过进程间通信和文件共享这种简单高效的方式组合完成服务。RS 是新一代 RC，提供同样的高可用能力，区别主要在于 RS 后来居上，能支持更多种类的匹配模式。RC 是 k8s 集群中最早的保证 Pod 高可用的 API 对象。当前运行的 pod 数目少于指定的数目，RC 就会启动新的 pod 副本，保证运行 pod 数量等于指定数目。当前运行的 pod 数目大于指定的数目，RC 就会杀死多余的 pod 副本。

原创 k8s之service解释以及定义

那么当您的服务器IP地址变更时，您就可以不必对一个一个域名做更改指向了，只需要更改A记录的那个域名到服务器新IP上，其他做别名(即CNAME)的那些域名的指向将自动更改到新的IP地址上(以上操作均需要在DNS处执行)。当声明Service的时候，会自动生成一个cluster IP，这个IP是虚拟IP。我们就可以通过这个IP来访问后端的Pod，当然，如果集群配置了DNS服务，比如现在 的CoreDNS，那么也可以通过Service的名字来访问，它会通过DNS自动解析Service的IP地址。

原创 k8s之deployment解释以及定义

命令行直接创建：kubectl create deployment <deployment-name> --image=<container-image>。它主要用于管理无状态应用的生命周期，通过声明Deployment，可以自动化地控制应用的副本数量、进行无停机更新、扩展、缩容等。查看某个Deployment的详细信息：kubectl get deploy <deployment-name> -o wide或kubectl describe deploy <deployment-name>。

原创 面试问题汇总

k8s中证书认证都有什么简要介绍一下‌Docker的端口映射原理‌是通过-p或--publish选项实现的，它将容器内部的端口映射到宿主机上的某个端口。这样，容器内部的应用程序可以通过宿主机的端口来访问外部的网络或服务。具体来说，端口映射底层实际上进行了一个DNAT(目的网络地址转换)转换，将容器内部的端口号转换为宿主机的端口号‌nginx的访问原理。

原创 gitlab+jenkins+harbor+k8s安装操作流程之java项目jenkins配置

将下面两个start.sh、stop.sh文件和jar包放在同一目录下，也可以换到其他路径，如需换到其他路径，下面两个脚本的部分路径内容需自行修改！export MAVEN_HOME=自己maven安装目录，我的是：/opt/apache-maven-3.6.3。echo "拷贝jar包到目标服务器的/home/web/container/container目录"将以下脚本写入上图中，点击“保存”，然后点击构建，就完成了Jenkins的配置部。进入到maven目录下的conf目录。--阿里云镜像-->

原创 gitlab+jenkins+harbor+k8s安装操作流程之java项目打包成docker镜像的dockerfile操作

在Java项目打包成Docker镜像时，通常需要写Dockerfile。Dockerfile是用来构建Docker镜像的文本文件，它包括了构建Docker镜像所需的所有命令和步骤。注意：dockerfile各个参数的解释如下。首先Maven先构建jar包。

原创 gitlab+jenkins+harbor+k8s安装操作流程之Prometheus+cadvisor+grafana

泛指能向Prometheus提供监控数据(metrics数据)的都可以称为一个 exporter，一个 exporter的实例称为 target，exporter来源主要2个方面，一个是社区提供的，一种是用户自定义的。Promdash 和 Grafana：Prometheus内置一个简单的Web控制台Promdash，可以查询metrics数据，查看配置信息或者Service Discovery等，实际工作中，查看指标或者创建仪表盘通常使用Grafana，Prometheus作为Grafana的数据源。

原创 gitlab+jenkins+harbor+k8s安装操作流程之rancher

如果登录不进去需要去 vim /usr/lib/systemd/system/docker.service 这个地方添加ExecStart=/usr/bin/dockerd -H fd:// --insecure-registry 10.0.0.148(harbor地址)完成 这样一来 开发人员提交git到gitlab-jenkins保存打包镜像到harbor，用kubeadm创建k8s集群，搭建rancher管理K8S，然后再rancher上添加k8s集群，从rancher中操作。

原创 gitlab+jenkins+harbor+k8s安装操作流程之K8S

K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启。kubeadm join 的内容，在上面kubeadm init 已经生成好了。node节点 把master上的flannel的两个镜像 scp过去。#永久关闭swap分区，&符号在sed命令中代表上次匹配的结果。，关闭防火墙规则，关闭selinux，关闭swap交换。#开启网桥模式，可将网桥的流量传递给iptables链。##移动系统创建的cni目录，并手动创建。

原创 gitlab+jenkins+harbor+k8s安装操作流程之jenkins gitlab harbor页面配置操作截图

现在文档阶段，实现的操作，开发人员下载或者上传新的代码，提交后jenkins自动构建到jenkinsworkspace目录中，构建过程中，利用build-shell的方式，把workspace中的代码目录制作成镜像，打包，并发送到harbor中，注意：在每个项目目录内，必须有dockerfile文件，才可以发布1.先天条件：　　服务器配置信息 192 gitlab 10 jenki...

原创 gitlab+jenkins+harbor+k8s安装操作流程之Jenkins

准备环境 一台centos7系统 4C/8G/100G 如果是jenkins2.5以上版本需要centos8以上版本 JDK1.8编译安装(最新版本jdk需要18以上) MAVEN编译安装 GIT编译安装JDK1.8步骤 tar -zxvf 解压 vim /etc...

原创 gitlab+jenkins+harbor+k8s安装操作流程之gitlab

GitLab的安装及使用教程GitLab简介GitLab，是一个利用Ruby on Rails开发的开源应用程序，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人项目安装。它拥有与GitHub类似的功能，能够浏览源代码，管理缺陷和注释。可以管理团队对仓库的访问，它非常易于浏览提交过的版本并提供一个文件历史库。团队成员可以利用内置的简单聊天程序(Wall)进行交流。它...

原创 gitlab+jenkins+harbor+k8s安装操作流程之harbor

1.环境准备　　4台8C8G100G的服务器　　A机器　　B机器　　C机器　　D机器2.准备需要安装系统架构的软件　　gitlab、Jenkins、harbor、k8s3.依托以上软件分别在4台机器上部署4.第一步安装harbor，准备在A机器上安装　　首先harbor需要先安装docker4.1安装docker　　yum -y install docker-io　　...

原创 docker创建nginx

docker run -d -p 8080:80 --name my-nginx-container nginx　　docker：命令　　run：命令　　-d：在后台运行容器　　-p：8080:80：将容器内部的80端口映射到宿主机的8080端口。　　--name my-nginx-container：为容器指定一个名字，这里是my-nginx-container。　　nginx：使...

原创 docker run 失败

# 创建目录mkdir -p /etc/docker# 复制内容tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": [ "http://hub-mirror.c.163.com", "https://mirrors.tuna.tsinghua.edu.cn", "ht...

原创 renben-openstack-使用操作

管理员操作(1)上传一个qcow2格式的centos7镜像(2)管理员------>云主机类型------>创建云主机类型　　名称：Centos7　　VCPU数量：1　　内存： 1024　　根磁盘： 10G　　其他的默认　　点击创建云主机类型即可　　界面会显示如下创建公网络(1)创建公网　　管理员------>网络------>创建网络　　名称...

原创 renben-openstack-制作镜像操作

openstack镜像制作(用虚拟机192.168.124.6)制作centos7镜像，OpenStack支持qcow2 ios等多种镜像规格(1)创建镜像的硬盘(2)删除镜像的唯一性，封装压缩在找一个虚拟机，专门用来做镜像，需要开启虚拟化　　yum install -y libvirt qemu-kvm libguestfs-tools　　qemu-img create -f qc...

原创 renben-openstack-neutron操作

1.2.1 在控制节点(controller)操作　　cat /etc/neutron/neutron.conf 修改配置文件　　官网参考地址如下：https://docs.openstack.org/newton/install-guide-rdo/neutron-controller-install.html　　memcached_servers=192.168.124.200:11...

原创 renben-openstack-Nova操作

nova组件：使用openstack compute来托管和管理云计算系统　　nova-api负责接收和响应终端用户对openstack计算资源发起的API调用请求　　nova-compute是一个hypervisor api创建和终止实例的work进程　　nova-schduler主要负责从消息队列截取创建实例请求，根据配置从计算节点集群中选择最优节点，并将请求转发到该节点，最终将虚拟机...

原创 renben-openstack-glance操作

1.#查看glance-api配置文件 ip地址自己对应好，看好conlloer 和computer节点　　[root@controller ~]# grep -vE '^#|^$' /etc/glance/glance-api.conf 　　[DEFAULT]　　bind_host = 0.0.0.0　　bind_port = 9292　　workers = 4　　image_cache_...

原创 renben-openstack-keystone操作

controller节点操作source /root/keystonerc_admin 1.查看openstack中keystone的endpoint openstack endpoint list+----------------------------------+-----------+--------------+--------------+| ID ...

原创 renben-安装OpenStack报错处理1

1.执行packstack --gen-answer-file=openstack.txt　　报错内容如下　　解决方法：查找computer或者controller节点的源有没有设置正确，源目录只保留OpenStack源其他的备份到bak目录中2.controller节点操作 source /root/keystonerc_admin　　查看openstack中keystone的e...

原创 renben-OpenStack安装

OpenStack是由Rackspace和NASA共同研发的云计算平台，是一个旨在为公共及私有云的建设与管理提供软件的开源项目(它是一个云平台管理的项目，而不是一个软件)。其通过仪表盘为管理员提供计算、存储和网络资源的管理控制，同时通过Web界面为用户提供资源。这个项目由几个主要的组件组合起来完成一些具体的工作1、计算(Compute)：Nova。一套控制器，用于为单个用户或使用群组管...

原创 linux 服务自启动配置

vim /etc/rc.d/rc.local下面添加需要开机自启动的内容

原创 linux 杀掉并重启Tomcat进程shell脚本

原创 ps | egrep时过滤排除掉egrep自身