与往事干杯。298-优快云博客

原创 ansible：远程自动化运维

ansible 192.168.124.20 -m copy -a 'content="黑神话：悟空，性价比高" dest=/opt/houzi.txt mode=777 owner=bmm group=bmm'动态有变化的是无法跟踪的，如tail -f 加了-f就是动态的，不会显示，不加-f静态的，就会显示。remove=yes/no state=absent删除用户，删除用户时是否删除家目录。remove=yes/no state=absent删除用户，删除用户时是否删除家目录。

2024-08-22 16:31:37 1101

原创 docker-harbor私有仓库部署和管理

harbor：开源的企业级的docker仓库软件仓库：私有仓库公有仓库（公司内部一般都是私有仓库）habor 是有图形化的，页面UI展示的一个工具，操作起来很直观。harbor每个组件都是由容器构建的，所以安装harbor必须要有dockerdocker-compose 一键编排，所以也是需要安装的。harbor：1、通过角色对权限进行控制，用户和仓库都是基于项目进行组织，不同的用户在不同的项目中拥有不同的权限2、镜像复制，每个仓库（之间可以通信）之间可以互相复制里面的镜像。

2024-08-22 16:02:33 966

原创 docker数据卷

容器与容器之间建立一条专门用于网络的通道,容器与容器之间通过这个通道互相通信.建立通道之后,容器之间可以通过容器名进行通信,也不用暴露端口,也不依赖宿主机的ip。在容器内部可以通过容器名访问另一个容器,可以简化容器之间的连接配置.

2024-08-19 15:33:02 328

原创 docker网络

容器不会虚拟出自己的网卡，也不会配置自己的ip，容器全部使用宿主机的ip和网卡，一般用于端口不重复的类型的应用，docker本身是单节点模式，适用于部署单个服务的应用程序。桥接模式的宿主机和容器之间的端口映射，实际上是做了一和nat地址转换，容器的私有ip映射到主机的ip上，从而实现容器与外部网络的通信，隐藏了容器内部的真实ip地址。新创建的容器也不会有自己的网卡，配置自己的ip，而是和一个容器共享ip端口，除了网络之外，其他的比如文件系统等等都是隔离。

2024-08-13 17:27:46 723

原创 docker的基本管理和应用

拉取镜像-----------创建容器----------修改镜像-------------重启容器-------------停止容器-------------删除容器-------------删除镜像。私有仓库，不对外提供访问，自己使用。/bin/bash--------------->默认的执行的命令被覆盖，虽然nginx在运行，但是运行的不再是nginx的进程，而是/bin/bash。docker run -itd --name nginx3 （容器名）-p 81:80 nginx:1.22（镜像）

2024-08-12 17:28:54 979 1

原创 zabbix监控

3、zabbix_proxy 代理作用：如果所有的客户端都向服务器一起发数据，服务端的压力会比较大，发送到代理服务器，代理服务器处理完之后再发给server，减轻主服务器的压力。版本过低，zabbix 5.0 版本对 php 版本最低要 7.2.0 版本。5、zabbix-sender 发送器，可以将客户端的数据进行自定义操作之后再发送到服务端，也可以通过脚本，把脚本处理过的数据发送到客户端。zabbix可以提供各种类型的监控模版，保证服务器的正常运行，灵活的通知机制可以让管理员快速定位。

2024-08-08 17:30:26 720

原创 ceph分布式存储系统

ceph是一个开源的，用c++语言编写的分布式的存储系统，存储文件数据。/dev/sdb 物理磁盘lvm 逻辑卷，动态扩容raid 磁盘阵列，动态扩容，高可用以上都是基于物理意义上的单机的存储系统ceph分布式由多台物理磁盘组成一个集群，在这个基础之上实现高可用，扩容1、远程访问2、多个服务器组成的虚拟的硬盘3、分布式存储4、负载均衡和数据同步ceph是一个统一的存储系统，同时提供块设备存储，文件系统存储和对象存储三种存储。

2024-08-07 18:54:34 1152

原创 elk+filebeat+kafka集群部署

单击“Create Index Pattern”按钮添加索引“filebeat_test-*”，单击 “create” 按钮创建，浏览器访问 http://192.168.124.30:5601 登录 Kibana，单击 “Discover” 按钮可查看图表信息及日志信息。3台es+file，3台kafka ,1台nginx。this is nginx 到浏览器测试一下页面访问。vim filebeat.yml进入配置文件中。运行filebeat.yml。

2024-08-06 17:29:33 487

原创 rsync远程同步

上行客户端同步到服务端下行服务端同步到客户端rsync开源的快速备份的工具，一般是系统自带的可以在不同主机之间同步整个目录树（目录）在远程同步的任务中，负责发起rsync的叫做发起端，也就是服务端，负责响应的同步请求的，就是客户端rsync的特点：1、支持拷贝文件，链接文件等等2、可以同步整个目录3、可以支持保留源文件或者目录的权限等等4、可以实现增量同步同步方式：1、完整备份2、增量备份常用的选项1、-a 归档模式，保留权限2、-v 显示同步的详细过程。

2024-08-06 16:58:55 407

原创 zookeeper集群+kafka集群

2、服务器B启动，再发起一次选举，服务器B也投自己一票，服务器A和B用myid做比较，谁的myid大，如果A比B小，A会把票投给B，2票，B自动当选为leader。创建zookeeper的安装路径的目录、日志目录，以及创建myid值，以及给zookeeper给他写一个启动脚本，执行权限，添加到系统服务启动当中。1、服务器A先启动，发起一次选举，A会投自己一票，A有一票，不够半数，选举无法完成，A进入looking状态。echo "---------- zookeeper 启动 ------------"

2024-08-05 17:13:33 1017

原创 elk+filebeat+kafka集群部署

因为nginx和http默认端口为80，改下nginx的端口号为82.：通常用于启用详细的错误输出，以便在出现问题时提供更多的调试信息。配置文件中可能包含了关于要采集的日志源、输出目标等的详细配置。安装filebeat包，先解压，修改解压之后的目录名称。通常用于指定正在配置的是日志的处理规则或设置。标签有助于对不同类型或来源的日志进行分类和识别。的文件中，以便保存程序运行时输出的信息。指定了 Nginx 访问日志的文件路径。指定了 Nginx 错误日志的文件路径。：表明这是一个日志相关的配置类型。

2024-08-03 14:56:32 547

原创 ELK日志系统

3、安装 Elasticsearch-head 插件 Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，需要使用npm工具（NodeJS的包管理工具）安装。1、es的主从和数据模式 node.master: true es数据库的主从类型 true false node.data: true 数据节点，是否保存数据，logstash发送数据，节点是否接受以及保存。日志的收集，可以对数据进行过滤，分析，汇总，以标准格式输出。

2024-08-01 17:29:17 1177

原创 redis的集群（高可用）

集群：move不是报错，只是系统提示客户端到指定位置的哈希槽进行读或者写，系统提示什么，就去哪个节点操作即可，这个节点是该节点的主。切换方式:不是按照权重来进行切换是以投票的方式:主宕机其他服务器投票，选举，Raft算法，选一个离当前时间点更新最快的从变成主。和mysql的主从复制类似，主可以写，写入主的数据通过RDB方式把数据同步到从服务器，从不能更新到主，也是哨兵模式的基础。故障切换时，主故障，变成从服务器，主变成从之后，也会进入只读模式。初始化监听，都是监听主，监听主动服务器的状态。

2024-08-01 15:03:36 1099

原创 redis的高可用及性能管理和雪崩

redis的高可用redis当中，高可用概念更宽泛一些。除了正常服务以外，数据量的扩容，数据安全。实现高可用的方式：1、持久化最简单的高可用方法，主要功能就是备份数据。把内存当中的数据保存到硬盘当中。2、主从复制3、在主从复制的基础上，部署哨兵模式。4、redis集群一、redis的持久化内存当中的数据保存到硬盘开启持久化之后，会有一个持久化的文件，通过文件进行恢复。定时的将内存当中的数据保存，类似于快照的形式用二进制压缩存储，后缀名是.rdb。

2024-07-30 17:57:07 809

原创 redis 缓存中间件（缓存数据库）

Redis 是一个开源的、使用 C 语言编写的、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库。总之，Redis 以其出色的性能、丰富的数据结构和强大的功能，在现代 Web 开发和大数据处理等领域发挥着重要作用。每个元素都会关联一个doublel类型的分数score（表示权重），通过权重的大小来进行排序，权重可以相同。应用场景：可以用set的数据来追踪唯一性的数据，如ip地址，或者根据客户的id区分不同客户购买的统一产品。缓存通常位于数据的访问路径上，数据的必经之路。

2024-07-29 18:07:26 1160

原创 MySQL的存储过程

存储过程的概念：为了完成特定功能的sql语句的集合，把定义号的sql集合在一个特定的sql的函数当中，每次执行调用函数即可，还可以实现传参的调用。delimiter ：开始和结束的语法$$：标志位，可以自定义，不要用汉字和数字以及特殊字符开头create procedure +存储过程的名称（）beginselect * from 表名；show procedure status where db='库名';。

2024-07-25 19:02:53 933

原创 MySQL的高可用(MHA)

一旦检测到主库故障，MHA 会选择一个最新的从库，并执行一系列操作将其提升为主库，包括应用剩余的 binlog 等。总之，MHA 为 MySQL 提供了一种可靠的高可用解决方案，但在实际应用中需要仔细配置和维护，以确保其正常稳定运行。设置为"true"表示从服务器会记录自己执行的更改操作，将其写入从服务器的二进制日志文件中。指定主服务器（master）的二进制日志文件名称，用于记录主服务器上的更改操作的日志文件。指定从服务器的中继日志文件名称，即用于记录主服务器的二进制日志在从服务器上执行的中继日志。

2024-07-24 17:22:53 1369 2

原创 MySQL的主从复制以及读写分离

在客户端和主从架构之间有一个代理服务器，代理服务器收到客户端的请求之后，通过客户端的sql语句来进行判断，读转到从，写转到主。异步模式住=主库在更新完事务之后会立即把结果返回给从服务器，并不关心从库是否接收到，以及从库是否处理成功。主库在更新完事务之后，立即把结果返回到从库，所有的从库执行完毕之后才能继续下一个同步。控制innodb缓冲池的大小，增大可以提高数据库的性能，但是占用的是系统内存，配置的时候要注意合理化时间。实现是基于MySQL的二进制日志，根据主库的二进制文件的标志位，实现主和从的同步。

2024-07-23 17:30:24 1078

原创 MySQL的高阶语法

select 列名3，列名1，列名2 from 表名 where 列名3 not in （ select 列名3 from 表名 where 列名2>=数值）；select 列名3，列名1，列名2 from 表名 where 列名3 in （ select 列名3 from 表名 where 列名2>=数值）；这种语法不报错但是是错误的。select count(列名1)，列名2，列名1 from 表名 group by 列名2，列名1；

2024-07-22 18:39:11 888

原创 MySQL的恢复与备份

STATEMENT 基于sql语句: 只是记录用户操作的sql语句，高并发的情况之下，记录操作的sql语句的顺序可能会出错。逻辑备份：根据数据库文件当中保存的sql语句，表结构，等等，以特定的格式和命令对文件的内容进行还原。ROW 基于行：记录每一行的数据，准确，高并发也不会出错，但是恢复的效率低。MySQL自带的备份命令，可以备份库，也可以备份库里面的表。冷备份：脱机备份，先把指定的程序关闭，然后对资料进行备份。热备份：联机备份，不用关闭程序就可以对资料进行备份。把数据库的内容整合一次性的做备份。

2024-07-22 18:01:55 245

原创 MySQL的存储引擎

csv：逗号分割数据的存储引擎，数据文件 .csv文件保存的，execl.保存的文件就是一个普通的文本文件。发现小红这一行也被锁住了，所以这就是全表锁，名字这列没有设置索引，所以就是一但锁住，就是全表查询，全表锁住。MYisam：5.5版本之前默认的存储引擎，插入的速度和查询速度很快，但是不支持事务。存储引擎也属于MySQL当中组件，实际上操作的，执行的就是数据的读写I/O。存储引擎的概念：就是一种数据库存储数据的机制，索引的技巧，以及锁定水平。死锁：事务相互等待对方的资源，最后形成一个环路造成的。

2024-07-19 16:46:13 331

原创 MySQL的索引和事务

text也是数据类型的一种，和char，varchar性质相同，都是字符串，不需要长度的参数，可以作为大文本的列，可以存储65535个字符。2、一但创建了索引，更新一个包含索引的表比没有索引的表需要花费更多的时间，表需要更新，索引也要更新，所以速度要慢很多。一个事务对一个表的数据进行了修改，另外一个事务也修改了表中数据，前一个事务会发现修改的结果不正确，类似于出现于幻觉。开始的时候数据是一致的，结束的时候数据也是一致的。1、表的主键和外键必须有索引，主键是唯一的，外键是关联主表的，查询时可以快速定位。

2024-07-17 19:50:52 729

原创数据库的约束条件和用户管理

约束条件：主键：主键约束 primary key用于标识表中的主键列的值，而且这个值是全表当中唯一的，而且只不能为null一个表只能有一个主键。外键：用来建立表与表之间的关系。确保外键中的值于另一个表的主键值匹配，保证数据引用的完整性。多表联查，不要超过三张。超过三张表，会降低查询效率。：保证列中的值不含null值唯一性约束：确保列中的所有值都是唯一的，类似主键，但是一个表可以有多个唯一约束。

2024-07-16 20:16:33 633

原创 MySql数据表、结构数据库管理

一条数据的语句是连贯的，以分号为结尾表示一条完整的sql，但是太长了，不方便阅读和理解。读写速度：char的读写速度性能要高于varchar，char是连续的磁盘空间，保存的内容是连续的。：在保存字符串时，是多少就保存多少，在保存的字符串结尾默认有一个隐藏的结束符，会多占一个字节。：定义好了长度之后，不论写的值是多少，都会占用固定长度的字节大小，保存在磁盘上都是4字节。insert into +表名（字段1，字段2，字段3） values（1，2，3）；

2024-07-16 08:45:07 530

原创 Nginx+Keepalive调度的高可用

没有vip地址，现在我们实验停止nginx1的nginx，看一下他的vip地址会怎么样。vip地址主备之间的切换，主在工作时，p地址只在主上，主停止工作，p飘移到备服务器。4、防火墙的策略，iptables的策略，屏蔽了组播地址广播，屏蔽了vrrp协报文。4、防火墙的策略，iptables的策略，屏蔽了组播地址广播，屏蔽了vrrp协报文。在主备的优先级不变的情况下，主恢复工作，vp会飘回到主服务器。更改他的唯一的id号，还有备服务器的名称以及他的优先级。3、网卡出了问题（硬件），ip地址配置冲突。

2024-07-12 16:41:56 589

原创 LVS+KeepAlived高可用负载均衡集群

master 上有对外提供服务的 VIP（该服务器所在局域网内其他机器的默认路由为该 VIP），master 会发组播，当 backup 收不到 VRRP 包时就认为 master 宕掉了，然后根据 VRRP 的优先级来选举一个 backup 成为新的 master。不参与集群的运转，只有当主调度器出现故障时，备才会承担主调度器的工作，主调度器恢复功能后，主继续作为集群的入口，备继续处于冗余状态（取决于优先级）这次用到两台调度器，一个主，一个备。3、故障切换，主挂了，备来继续工作，主恢复了，备继续等待。

2024-07-11 16:13:26 1320 1

原创 LVS负载均衡—DR模式

DR模式下，lvs也是维护一个虚拟的IP地址，所有的请求都是发送到这个vip，既然是走二层转发，当客户端的请求到达带哦都之后，根据负载均衡的算法选择一个RS，修改vip服务器的目的mac变成RS的mac地址，RS处理完请求之后，根据报文当中客户端的源mac地址直接把响应发送到客户端即可，不需要走调度器了。调度器在整个lvs集群当中是最重要的，在nat模式下，即负责接收请求，同时根据负载均衡的算法转发流量，响应发送给客户端。怎么把lo这个回环地址的响应把它屏蔽掉，只有本机的物理ip地址响应。

2024-07-10 16:21:46 435

原创 LVS负载均衡群集+NAT部署

hpc------------当天事必须当天解决--------------没有解决之前，人是不可以离开的---------------解决完之后必须生成报告，备案。主要作用：将多个后端服务器组成一个高可用高性能的服务器集群，通过负载均衡的算法将客户端的请求分发到后端的服务器上，通过这种方式来实现高可用和负载均衡。总之，LVS 集群是一种强大的服务器集群解决方案，能够有效地提升系统的处理能力和稳定性，为企业提供高质量的服务保障。集群中的真实服务器，后端服务器，用来接收DS转发来的请求，并且响应结果。

2024-07-09 17:58:26 729

原创认识tomcat的优化

net.core.wmem_default, net.core.rmem_default, net.core.rmem_max, net.core.wmem_max: 调整网络核心缓冲区的大小。net.ipv4.conf.default.rp_filter 和 net.ipv4.conf.all.rp_filter: 控制反向路径过滤，提高网络安全性。net.ipv6.conf.all.disable_ipv6 和 net.ipv6.conf.default.disable_ipv6: 禁用IPv6。

2024-07-08 18:31:14 777

原创 Nginx的正向代理和反向代理

如果说客户端进来之后，不停的轮换服务器，反而会加重服务器的负担，固定在一台服务器上，既降低了代理服务器的压力，同时也节约了资源。2、加权轮循：在轮循的基础之上，给每个后台服务器设置不同的权重，流量的分配不一定是按照权重比来进行，权重高的被转发的概率大，权重低的相对较小。5、UPL_hash 根据请求的url地址来计算hash值，然后再转发，如果每次请求的url都一样，就会被分配知道同一个服务器。#需要把客户端的真实ip,客户端的主机名，客户端的请求方式，服务端的端口，真实的ip地址添加在请求头当中。

2024-07-07 18:41:17 910

原创 Nginx中的location规则与rewrite重定向

location规则location匹配location匹配的就是后面的URI/wordpress1、精确匹配 location= / 对字符串进行完全匹配，必须完全符合一字不差2、正则匹配^~ 前缀匹配，以什么为开头~ 区分大小写的匹配~*不区分大小写的匹配!~ 区分大小写的取反!

2024-07-04 17:31:12 759

原创 Nginx的优化和防盗链

控制time_wait状态的持续时间，持续30秒，不是立即把time_wait的连接收回。而是尽可能的把time_wait状态进行回收，没用的，空闲的，进行回收。客户端发送一个完整的请求头的超时时间，80秒之内没有发送一个完整的请求头，nginx返回码408（requst time out）请求超时。允许复用time_wait状态的连接，新的连接可以直接使用time_wait状态的端口，可以提高连接的重用率。压缩比列 1-9 ，数字越小，压缩的比率越小，速度越快，数字越大，压缩的比率就越高，速度越慢。

2024-07-03 15:45:28 616

原创 Nginx主配置文件---Nginx.conf

nginx主配置文件的模块介绍全局块：全局块是配置文件从开始到 events 块之间的部分，其中指令的作用域是 Nginx 服务器全局。主要指令包括：user：指定可以运行 Nginx 服务的用户和用户组，只能在全局块配置。例如：表示使用 nobody 用户运行 Nginx 服务。events 块：涉及的指令主要影响 Nginx 服务器与用户的网络连接，对服务器性能有较大影响，常用指令有：http 块：是 Nginx 配置中的重要部分，可包含自己的全局块、多个 server 块，而 server 块

2024-07-02 17:27:55 1015

原创 web基础以及http协议

web基础介绍web：就是我们所说的网页，打开网站展示的页面。（全球广域网，万维网）分布式图形信息系统分布式：计算机系统或者是应用程序分布在多台独立的计算机或者服务器上。通过计算机网络互相通信和协作。共同完成任务或者共同对外提供一致的服务。分布式设计的目标：把工作负载分散到多个节点上。每个节点既是一个整体，也是一个独立运行体。这种设计提供了高可用的架构，允许分布式节点的服务器出现故障。集群：建立在分布式的基础之上，把多台计算机或者服务器连接在一起，作为一个整体，形成一个单一的计算资源。

2024-07-01 18:12:40 671

原创 Linux系统防火墙iptables（下）

安装iptables软件包开启服务开机自启我们对iptables命令行中的设置，都是临时设置，只要遇到服务器关机，或者服务重启时，所有的设置都会清空且还原为原本的设置。为此，我们可以对已经测试完毕符合我们需求的防火墙设置进行备份，在必要时，可以一键还原备份iptables设置格式：iptables-save >/指定的文件一键导入，设置为当前防火墙设置自定义链使用自定义链：iptables -N +链名改链名：iptables -E +原来的链名。

2024-06-27 16:21:21 1232

原创 Linux系统防火墙iptables（上）

数据包进入防火墙，先匹配raw表的规则---mangle的规则---nat表的规则---filter表的规则。入侵防御系统：透明模式工作，数据包，网络监控，服务攻击，木马，蠕虫，系统漏洞等等进行准确的分析和判断。iptables 这个是linux自带的防火墙，一般用于内部配置，对外一般不适用（对外都使用专业的）主动的防御（所有的数据在进入本机之前，必须要通过的设备或者软件）iptables的管理选项：在表的链中插入，增加，删除，查看规则。-P 指定链的默认规则链的规则一般都是设置成拒绝（默认是允许）

2024-06-26 16:22:00 703

原创 shell脚本之免交互

set设置，timeout超时，expect有一个默认的超时时间10秒。交互：我们发出指令控制程序的运行，程序在接收到指令之后按照指令的效果做出对应的反应。用tcl语言写的一个工具，主要用自动化控制和测试，解决shell脚本的免交互问题。#spawn后面用来声明需要执行的命令，开启会话过程，并且跟踪后续的交互信息。#捕获需要执行的命令行，只要能够捕获即可，不需要完整的，可以*代表所有。免交互：间接的通过第三方的方式把指令传送给程序，不用直接的下达指令。#交互指令结束之后，会退回原用户，切换回之前的用户。

2024-06-25 19:43:06 399

空空如也

空空如也