- 博客(64)
- 收藏
- 关注
RSS订阅原创 ceph分布式存储系统
对象，块，文件系统挂载，都需要object，存储的数据会被分成多个object，分成之后每一个数据都会有一个object id。4、manages也是作为守护进程运行，跟踪集群的运行时间的指标和ceph集群的状态：存储的利用率，性能指标和系统的负载。维护整个ceph集群的健康。5、RADOS：分布式存储系统，所有的存储功能都是基于RADOS实现的，高可用，高性能也是基于RADOS实现的。把数据作为对象，按照一定的逻辑和算法，存储到不同的硬盘上（可以是不同机器上的硬盘，依靠网络来进行互相通信）
2024-08-07 18:22:52
3915
原创 rsync 远程同步
inotify wait 监控修改，创建，移动，删除，属性修改（权限，所有者，所属组）如果有变动，立即输出结果。**正向：**上行同步：写入服务端的数据同步到客户端，客户端的数据无法同步到服务端（所有的同步必须是相同目录下）在远程同步的任务中，负责发起rsync的叫做发起端，也就是服务端，负责响应的同步请求的，就是客户端。下行同步：客户端新增的数据同步到服务端（必须是相同目录下）3、-z 压缩，在传输的过程中对文件进行压缩。开源的快速备份的工具，一般是系统自带的。下行同步：服务端同步到客户端。
2024-08-07 18:18:07
354
原创 zookeeper集群+kafka集群
消息队列：MQ在高并发额环境下，同步的请求来不及处理，请求太多会造成阻塞。比如大量请求并发到数据库，too many connection报错。消息队列，使用异步处理方式，可以缓解系统处理请求的压力。
2024-08-07 18:15:46
790
原创 Filebeat+Kafka+ELK
x Pattern”按钮添加索引“filebeat_test-*”，单击 “create” 按钮创建，单击 “Discover” 按钮可查看图表信息及日志信息。
2024-08-07 18:13:07
434
原创 ELK Elasticsearch 集群部署
filereat不能对数据进行标准输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做标准化处理。filereat不能对数据进行标准输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做标准化处理。filereat不能对数据进行标准输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做标准化处理。有了flebeat可以节省资源，可以通过filebeat和logstash实现远程数据收集。
2024-08-05 16:13:32
967
原创 ELK日志系统
filereat不能对数据进行标准输出，不能输出为ES格式的数据，所以需要logstasg把filebeat数据做标准化处理。logstash占用资源比较大，属于重量级，需要再jvm运行，消耗资源大启动-个logstash要消耗500M左右的内存。L：logstash 基于Java开发的，数据收集引擎，日志的收集，可以对数据进行过滤，分析，汇总，以标准格式。对es存储的数据进行可视化展示，分析，检索。保存的格式json格式。数据节点，是否保存数据，logstash发送数据，节点是否接受以及保存。
2024-08-05 16:10:47
1018
原创 redis集群 高可用
*cluster集群：**把每两台服务器作为主从模式，形成一个大的主从的集群。**哨兵：**故障自动化恢复，主从复制完成之后，从服务器会变成只读模式。故障切换时，主故障，变成从服务器，主变成从之后，也会进入只读模式。1、主从复制（redis集群的基础） 奇数 1主2从。192.168.11.145 从1。192.168.11.145 从1。192.168.11.145 从1。**缺点：**保证高可用，对数据的完整性要求不好。
2024-07-31 15:58:21
1057
原创 Redis 缓存中间件 缓存数据库
Redis 远程字典服务器键值对开源的，C语言写的nosql数据库。Redis基于内存运行，所有的数据不是保存到硬盘，而是内存。持久化： 定期或者人为的把数据保存到硬盘上安装步骤：lsmake -j 4cd utils/#4次回车，输入安装目录/usr/local/redis/bin/redis-server#70行加入自己本机的地址。
2024-07-31 15:55:10
1078
原创 redis高持久化、RDB、AOF
save不能直接在命令行执行，一旦执行save，redis的主进程就会进入阻塞状态，读写都不能进行，直到save完成才能读写。AOF持久化：把操作的数据库执行以日志的形式保存到指定的文件当中，文件后缀名为 .aof。AOF持久化的实时性更好，只要是操作了就会记录在日志文件中，进程出现意外，丢失的数据更少，AOF是主流的持久化方式。我发现经常使用的热点语句，忽然就变的很慢，之后持续的变慢，查找问题，发现该热点数据对应的缓存键值对消失。aof文件越大，记录的操作越多，一旦要回复，速度会很慢。
2024-07-31 15:54:21
738
原创 数据库的备份和恢复
根据数据库文件当中保存的sql语句，表结构，等等以特定的格式和命令对文件的内容进行还原。binlog 逻辑语句，会生成一个文件，这个里面包含了sql语句，要使用特定的方式和语句。**冷备份：**脱机备份，先把指定的程序关闭然后对资料进行备份。**热备份：**联机备份，不用关闭程序就可以对资料进行备份。mysgl自带的备份命令。可以备份库，也可以备份库里面的表。在生产环境中，数据的安全性非常重要。把数据库的内容整个一次性的做备份。对磁盘或者对文件直接进行备份。只能对表，库没了没有办法恢复。
2024-07-19 17:26:27
792
原创 mysql的索引 事务 存储引擎
*CSV：**逗号分隔数据的存储引擎，数据文件都是以 .csv文件保存的， execl. 保存的文件就是一个普通文本文件。幻读：一个事务对一个表的数据进行了修改，另一个表也修改了表中数据，前一个事务会返现修改的结果不正确，类似于出现幻觉。**隔离性：**并发环境中，不同的事务同时操作相同的数据时，每个事务都有各自完整的数据空间。**概念：**存储引擎就是存储的机制，是数据库存储数据的一种机制，索引的技巧，锁定水平。1、表的主键和外键必须有索引，主键是唯一的，外键是关联主表的，查询时可以快速定位。
2024-07-19 17:22:08
778
原创 数据库基础-进阶
数据库管理：sql语句 数据库用来增删改查的语句 ***备份 数据库的数据进行备份 *主从复制，读写分离，高可用原理数据库的概念和相关的语法和规范：数据库：组织，存储，管理数据的仓库。数据库的管理系统（DBMS）：实现对数据有效组织，管理和存取的系统软件mysqlslq-server MariaDB postgreSQL (大象数据库)关系型数据库和非关系型数据库。
2024-07-16 16:14:26
2198
原创 keepalive检测VIP地址漂移主备切换
4、防火墙的策略，iptables的策略，屏蔽组播的地址广播，屏蔽了vrrp协议的报文（224.0.0.18）都有可能出现脑裂的问题。现象：主和备无法确定各自的身份，同时出现了VIP地址，两边都起来了，但是两边都无法使用。VIP主备之间切换，主在工作时，VIP会在主上，主停止工作，VIP飘移到备服务器。4、检查iptables策略，是否有阻止通信的防火墙策略，查看是否可以删除。在主备的优先级不变的情况下，主恢复工作，vip会飘回到主服务器。若使用的是DHCP服务自动分配的地址，则修改DHCP地址范围。
2024-07-12 14:40:57
565
原创 Ivs(DR模式)+nginx+tomcat
tomcat2 需要修改的配置 192.168.11.141。nginx2需要修改的配置 192.168.11.138。tomcat1 需要修改的配置 192.168.11.140。nginx1需要修改的配置 192.168.11.137。
2024-07-12 10:46:08
408
原创 nginx的重定向（rewrite）
在重定向的过程中，使用了last方式进行重定向，但是，没有结束语，陷入了死循环，nginx会自动循环10次，超过10次没有结束，就会停止，然后报错500。proxy_set_header X-Real-IP $remote_addr 加上这一字段，客户端的真实ip地址会传递给后端服务器。redirect：临时重定向，返回码302，浏览器的地址会显示跳转后的URL地址。last：重定向，但是会继续向下匹配，匹配其他的location规则。$scheme：请求的协议，要么是http，要么是https。
2024-07-12 10:42:03
1143
原创 tomcat的优化
tomcat 的并发处理能力不强，大项目不适用tomcat作为动态的中间件（K8S，Python rubby），小项目使用（内部使用的）ajp协议：tomcat服务器和web服务器之间进行连接协议，可以提供负责均衡和高效转发。nginx代理 index.jsp 可以直接访问tomcat的静态页面。nginx代理 index.jsp 可以直接访问tomcat的静态页面。8009就是ajp的默认端口。8009就是ajp的默认端口。访问nginx就是静态页面，如何在内核当中进行优化？tomcat自身的优化。
2024-07-12 10:36:21
720
原创 nginx的正向代理和反向代理
在第一次访问网站的时候，就会计算hash值，会请求分到一个服务器，但是下一次客户端如果使用相同IP地址再次访问就不会再分配到其他服务器，除非后台服务器的算法变更，或者后台的服务器发送变化，这是才会更改访问的服务器。5、URL_hash 根据请求的URL地址寻址hash值，然后再转发，如果每次请求的URL都一致，就会分配到同一个服务器，转发的地址发生变化，后台服务器清理缓存或者后台服务器数量发生变化。七层就是应用层，使用的是http协议，可以请求进行解析和处理，七层代理走的是用户态，应用协议和程序功能。
2024-07-10 10:44:57
1103
原创 nginx.conf配置参数解析
转发和处理http请求http请求，设置代理（正代理，反向代理），缓存，定义日志格式，重定>向配置root的匹配模式 拼接root的工作目录 访问的url /xy102/opt/test1root可以卸载server模块中，也可以在http，也可以在location中alias匹配的nginx的工作目录，路径是绝对路径alias 只能写在http模块中server模块中的location模块里面。alias匹配工作目录，不能够使用重定向功能。
2024-07-04 17:03:49
561
原创 Web基础与HTTP协议：
post也是发数据，也是依照http协议，post会更改服务器的数据。缓存可以把用户的一些行为和操作，保存下来，下一次再访问，可以保留这些状态，不需要在和web服务器进行额外的通信，提高访问效率。每个节点即是一个整体，也是一个独立的运行体，这种设计提供了高可用的架构，允许分布式节点的服务器出现故障。网站建设的基础，早期的网站都是静态页面，没有后台数据库，没有其他的程序，也无法交互的页面。
2024-07-01 16:08:53
778
原创 文本三剑客--awk篇章
FS：FS和F是一样的，都是指定分隔符，-F： FS=“:”OFS：指定输出内容的分隔符。RS：行分隔符，可以根据RS的设置把文件内容切割成多个记录，也可以改变行的分隔符，默认是\n，回车，换行awk ‘{print}’ awk.txt 打印awk.txt的全部内容awk -F “操作符 {动作}” 处理对象-F 指定分隔符，如果是空格可以不加动作：默认是打印。
2024-06-24 16:59:28
293
原创 文本三剑客
n：仅显示script处理后的结果（不加-n，sed会有两个输出结果，加了-n之后就会吧默认输出屏蔽，只显示一个结果）-e 表示可以跟多个操作符，只有一个操作符，-e 可以省略。如果只是展示，会放到缓冲区（模式空间），展示结束之后，会从模式空间把操作结果删除。-f： 在脚本中定义好了操作符，然后根据脚本内容的操作符对文件进行操作。一行一行处理，当前行处理结束，才会处理下一行，知道文件末尾。$r：读取其他文件的内容，然后插入到对象文件的最后一行。i ：增加，在指定行的上面一行插入内容。
2024-06-21 14:56:25
729
1原创 Linux网络-端口扫描
ifconfig 当前设备正在工作的网卡，启动设备ifconfig -a 查看所有设备信息ifconfig ens33 查看指定设备ifconfig ens33 up/down 对指定网卡设备进行开关基于物理网卡设置虚拟网卡ifconfig ens33:0 ip地址 #创建虚拟网卡如果你有多个网卡，!systemctl restart network 所有的设备都会先停在开启。
2024-06-03 16:41:05
1029
计算机网络中通过流策略实现VLAN间三层隔离组网+企业网搭建
2023-01-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人