- 博客(71)
- 收藏
- 关注
RSS订阅原创 k8s的基本概念和原理
service：在集群当中，每个pod都会设置一个ip地址，可能会因为pod的消失，导致ip地址随着消失，service就是来解决这个问题的核心概念，service不是一个服务，更像一个网关。容器启动失败时，他会自动的重新启动容器，3次失败后，就认为该服务不可用。副本控制器，我们创建资源对象时，可以选择创建的个数（POD数量），保证资源对象声名的副本数和创建的数量保持一致。2、弹性伸缩，在一个容器占用机器的资源比较高时，k8s会自动的增加pod的数量，在资源占用下降的时候，会自动释放pod的数量。
2024-08-26 17:12:22
537
1
原创 ansible远程自动化运维
ansible是基于python开发的配置管理和应用部署工具。也是自运维的重要工具，可以批量配置，部署，管理上千台主机只需要在一台主机配置ansible就可以完成其他主机的操作操作模式：1、模块化操作，命令行执行2、playbook，剧本，也就是把命令行脚本化。脚本的格式是yaml格式ansible的特性，幂等性幂等性：多次操作或者多次执行，对系统的影响不会发生变化，无论执行多少次结果都是一样的。ansible什么都不会做。
2024-08-22 15:07:27
891
原创 Docker的私有仓库部署——Harbor
harboy：开源的企业级的docker仓库软件。仓库：私有仓库 公有仓库。harbor是有图形化的，页面ui展示的一个工具。操作起来很直观。harbor每个组件都是由容器构建的，所以安装harbor必须要有docker。docker-compose一键编排，所以也是需要安装的。harbor：1、通过角色对权限进行控制，用户和仓库都是基于项目进行组织。不同的用户在不同的项目中拥有不同的权限2、镜像复制，每个仓库（之间可以通信）之间可以互相复制里面的镜像A <----- BHTTP。
2024-08-20 23:10:15
1133
原创 docker-compose
容器一键化部署的工具，针对Dockerfile，可以按照定制化的模式一键部署dockerfile创建的容器。定制：YAML文件。YAML是一种标记语言，直观的展示数据序列化的格式。可读性高数据格式的结构是通过缩进来进行表示的1、大小写敏感，严格区分2、通过缩进表示层级关系3、不能用tab缩进，必须用空格缩进4、#可以注释5、符号之后必须缩进一格6、特殊字符必须用单引号，字符串用双引号。
2024-08-19 16:59:05
735
原创 dockerfile
自定义镜像-------通过dockerfile创建镜像创建镜像的方式：1.dockerfile最基本的方式 最常用的方式2.docker pull 拉取的是最基础的镜像，只能做基础功能，没有定制化的功能3.基于基础镜像，创建好了容器之后在容器内部进行定制化的操作，然后导出镜像，下一次继续使用基于dockerfile创建：联合文件系统：UionFS这个是DOKER镜像的基础，镜像通过分层来进行集成.继续基础可以制作各种具体的应用镜像。
2024-08-18 19:52:12
1071
原创 docker数据卷
容器和宿主机之间共享数据------挂在卷-------容器内的目录和宿主机的目录进行挂载。实现数据文件共享容器的生命周期有限，一旦重启所有对容器内部文件数据的修改以及保存的数据都会被初始化，所以为了防止数据丢失，重要的组件一定会做数据卷。-v 指定：volume第一点：前面是宿主机目录，后面是容器内容内的目录第二点：加不加斜杠，都是目录，不是文件，如果不存在，宿主机和容器自动创建第三点：以宿主机的目录为标的，同步的是宿主机目录的内容到容器内。
2024-08-14 23:22:15
540
原创 docker网络
新创建的容器也不会有自己的网卡，配置自己的ip。4、none模式：创建容器之后，容器有自己的网络命名空间，但是不会进行任何网络的配置，没有网卡，没有ip，没有端口。桥接模式的宿主机和容器之间的端口映射，实际上做了nat地址的转换，容器的私有ip映射到主机的ip上，从而实现容器与外部网络的通信。桥接模式 部署好docker服务，启动之后，创建一个虚拟网桥，docker0，这是虚拟的网络设备，类似于交换机。容器与容器之间通信：多个容器都在同一网段，都在同一网桥，可以通过自己的ip地址进行通信。
2024-08-13 17:18:57
431
原创 docker基本管理和应用
namespace命名空间隔离：6项network、UTS 主机名与域名、IPC 信号量、PID、mount 挂载点、userdocker pull nginx拉取镜像docker images显示所有镜像docker rmi -f nginx:1.22或者IMAGE ID删除指定镜像docker save -o /opt/nginx1.18.tar nginx:1.22把指定镜像导出opt目录，保存的文件名叫nginx1.18。
2024-08-12 21:18:31
1979
原创 zabbix 监控软件
zabbix 监控软件自带图形化界面，通过网页就可以监控所有服务器的状态事件告警，邮箱通知（噩梦）短信，电话。zabbix是什么？web界面提供的分布式监控以及网络监控功能的开源的企业级软件解决方案监控端 客户端zabbix可以提供各种类型监控模版，保证服务器的正常运行，灵活的通知机制可以让管理员快速定位1、zabbix-server，在server上可选安装zabbix-agent2、收集数据的模式c/s模式（client/server）客户端到服务端展示数据和配置数据 B/S模式（browes/serv
2024-08-08 16:49:41
639
原创 ceph分布式存储系统
object数量太多了，在一个集群当中，object的数量太多，遍历和寻址速度都很慢，PG，就是归置组，placcment group 管理object 通过crush算法映射到PG当中，一个pg里面可以包含多个object。4、managers 也是作为守护进程运行，跟踪集群的运行时间的指标和ceph集群的状态：存储的利用率，性能指标和系统的负载。crush算法，算法来实现数据的寻址，数据完整性的校验和一致性。ceph的集群进行逻辑划分，设置ceph存储集群的权限，副本数，pg的数量和算法的规则。
2024-08-08 00:04:07
812
原创 rsync远程同步
rsync远程同步上行 客户端同步到服务器下行 服务端同步到客户端scp开源的快速备份工具，一般是系统自带的可以在不同主机直接同步整个目录树（目录）在远程同步的任务中,负责发起rsync的叫做发起端，也就是服务端，负责响应请求，就是客户端rsync的特点1、支持考本文件，链接文件等等2、可以同步整个目录3、可以支持保留源文件或者目录的权限等等4、可以实现增量同步同步方式1、完整备份2、增量备份常用的选项：1、-a 归档模式，保留权限2、-v 显示同步的详细过程。
2024-08-06 16:39:57
354
原创 zookeeper集群+Kafka集群
zookeeper是一个开源的，为分布式架构提供协调服务的APACHE的项目保存元数据zookeeper的工作机制观察者模式设计的分布式服务器管理架构负责存储和管理元数据，记录集群的变化。保存集群变化的信息。zookeeper的特点：1、在集群中分为领导者和追随者，组成的集群。2、只要半数以上的节点正常工作，整个zookeeper就可以正常工作。zookeeper在部署时一般选择奇数台。3、全局数据一致，每个zookeeper不论领导者还是追随者，在访问他们的数据时都是一致的。
2024-08-05 17:06:00
683
原创 ELK日志系统
ELK是一套完整的日志集中处理方案。E：ElasticSearck ES 分布式索引型非关系数据库 存储logstash输出的日志 全文检索引擎，保存的格式是json格式L：logstash 基于java语言开发的，数据收集引擎。日志的收集，可以对数据进行过滤，分析，汇总，以标准格式输出K：Kiabana 是es的可视化工具。对es存储的数据进行可视化展示，分析和检索。ELK F KF。
2024-08-04 22:25:42
599
原创 redis集群三种模式
redis 集群 高可用redis集群三种模式主从复制 奇数台 3 一主两从哨兵模式 3 一主两从cluser 集群 6 3 3 3 9。
2024-07-31 17:05:25
1064
原创 redis的高可用及性能管理和雪崩
redis的高可用redis当中，高可用概念更宽泛一些。除了正常服务以外，数据量的扩容，数据安全。实现高可用的方式：1、持久化 最简单的高可用方法，主要功能就是备份数据。把内存当中的数据保存到硬盘当中。2、主从复制3、在主从复制的基础上，部署哨兵模式。4、redis集群。
2024-07-30 22:38:07
840
原创 redis
redis 缓存中间件 缓存数据库nginx web服务php 转发动态请求tomcat web页面，也可以转发动态请求springboot 自带tomcatredis 也是一个数据库 不单单是一个缓存工具redis 非关系型数据库 nosql not only sql 不仅仅是sql键值对形式key valuetest1=10数据的类型不是定义好的类型redis简介：redis 远程字典服务器键值对开源的，c语言写的nosql数据库。
2024-07-29 21:23:37
708
原创 mysql MHA
node组件就是用来监控MySQL的状态的。MHA NODE 数据节点，每台mysql和管理服务器都要安装 监控服务器状态以及收集数据。主和备不是优先确定的，主从复制的时候确定了主，备是在MHA的过程中确定。 高可用模式下的故障切换，基于主从复制。可以单独部署在一台独立的服务器，也可以部署多个。vip地址，根据vip地址所在的主机，确定主备。实现主备之间切换，主发生故障，切换到备。单点故障和主从复制不能切换的问题。MHA的 manager 管理节点。3、半同步的方式，实现数据的完整性。
2024-07-24 23:09:24
315
原创 mysql的主从复制和读写分离
异步模式 主库在更新完事务之后会立即把结果返回给从服务器，并不关心从库是否接收到，以及从库是否处理成功。主库在更新完事务之后，立即把结果返回从库，所有的从库执行完毕之后才能继续下一个同步。控制innodb缓冲池的大小，增大可以提高数据的性能，但是占用的是系统内存，配置的时候要注意合理化时间。代理服务器收到客户端的请求之后通过客户端的sql语句来进行判断，读转到从，写转到主。实现是基于mysql的二进制日志，根据主库的二进制文件的标志位，实现主和从的同步。每次提交都会刷新事务日志，确保事务的持久性。
2024-07-23 16:47:47
494
原创 mysql高阶语句
表和列的别名：因为在实际工作中，表的名字和列的名字可能会很长，书写起来不太方便，多次声明表和列时完整的展示太复杂，设置别名可以使书写简化了，可读性增加了，简洁明了。视图和表之间的区别： 1、存储方式，表是实际的数据行，视图不存储数据，仅仅是查询结果的虚拟表 2、数据更新，更新表可以直接更新视图表下的数据。子查询：内查询，嵌套查询,select语句当中又嵌套了一个select 嵌套的select才是子查询，先执行子查询的语句，外部的select再根据子条件的结果进行过滤查找。视图表是多表数据的集合体。
2024-07-22 23:02:56
469
原创 mysql存储引擎和备份
STATEMENT基于sql语句：只是记录用户操作的sql语句，高并发的情况之下，记录操作的sql语句的顺序可能会出错。CSV：逗号分割数据的存储引擎，数据文件.csv文件保存的，execl.保存的文件就是一个普通的文本文件。根据数据库文件当中保存的sql语句，表结构，等等，以特定的格式和命令对文件的内容进行还原。存储引擎也属于mysql当中的组件，实际上操作的，执行的就是数据的读写I/O。概念：存储引擎，就是一种数据库存储数据的机制，索引的技巧，锁定水平。可以备份库，也可以备份库里面的表。
2024-07-21 22:55:00
371
原创 mysql的索引 事务和存储
幻读：一个事务对一个表的数据进行了修改，另外一个事务也修改了表中数据，前一个事务会发现修改的结果不正确，类似于出现于幻觉。2、更新一个包含索引的表比没有索引的表需要花费更多的时间，表需要更新，索引也要更新，所以速度要慢很多。I：lsolation 隔离性 ---- 在并发环境中，不同的事务同时操作相同的数据时，每个事务都有自。4、串行读，相当于锁表，完全串行化的读，一个事务在使用，其他事务的读写都会阻塞(没人用)1、表的主键和外键必须有索引，主键是唯一的，外键是关联主表的，查询时可以快速定位。
2024-07-17 16:56:17
521
原创 mysql约束条件和用户管理
约束条件和用户管理约束条件：主键主键约束 primary key用于标识表中的主键列的值，而且这个值是全表当中唯一的，而且值不能为null*一个表只能有一个主键外键：用来建立表与表之间关系，确保外键中的值与另一个表的主键值匹配。保证数据引用的完整性。多表联查，不要超过三张。超过三张，会降低查询效率。非空约束：保证列中的值不含null值唯一性约束：确保列中的所有值都是唯一的，类似主键，但是一个表可以有多个唯一约束。
2024-07-16 23:27:18
947
原创 mysql数据库的概念和基础命令
缺点：键值对形式存储，数据逻辑比较复杂，数据是保存在缓存（内存）当中（redis），如果以外重启数据都会丢失。varchar在保存字符串时，多少就保存多少，在保存的字符串结尾默认有一个隐藏的结束符，会多占一个字节。读写速度：char的读写性能要高于varchar，char是连续的磁盘空间，保存的内容是连续的。命名规范：库名，表名，列的名字，都必须以字母开头，后面可以数字。varchar：可变长度的字符类型，存储的是可变长度的字符串。关系型的优点：表的结构清晰，逻辑容易整理，记录的数据比较完整。
2024-07-15 19:46:35
513
原创 keepalive+nginx实现主备切换
查看/opt/keepalive/keepalive.conf的配置文件，检查两边的id是否相同，vip地址，两边的优先级是否不同，虚拟路由名称是否不同。vip地址主备之间的切换，主在工作时，vip地址只在主上，主停止工作，vip飘移到备服务器。4、防火墙的策略，iptables的策略，屏蔽了组播的地址广播。主和备无法确定各自的身份，同时出现了vip地址，两边都起来了，但是两边都无法使用。在主备的优先级不变的情况下，主恢复工作，vip会飘回到主服务器。支持负载均衡算法，虽然不带缓存，但是可以支持会话保存。
2024-07-12 16:49:50
801
原创 lvs的DR模式和keepalive的脑裂
DR模式下，lvs也是维护一个虚拟的ip地址，所有的请求都是发送到这个vip，既然是走二层转发，当客户端的请求到达调度之后，根据负载均衡的算法选在一个RS，修改vip服务器的mac变成RS的mac地址，RS处理完请求之后，根据报文当中客户端的源mac地址直接把响应发送到客户端即可，不需要走调度器了。不参与集群的运转，只有当主调度器出现故障时，备才会承担主调度器的工作，主调度器恢复功能之后，主继续成为集群的入口，备继续出于冗余状态（取决于优先级）3、故障切换，主挂了，备来继续工作，主恢复了，备继续等待。
2024-07-10 15:33:03
806
原创 lvs集群
章文嵩发起的开源项目，阿里。linux的内核层面实现负载均衡的软件。主要作用：将多个后端服务器组成一个高可用，高性能的服务器集群，通过负载均衡的算法将客户端的请求分发到后端的服务器上。来实现高可用和负载均衡。阿里的SLBsever loab balance lvs+keeplive实现的。集群和分布式：系统的拓展方式：垂直扩展：向上扩展，增强 ，性能更强的计算机。瓶颈，计算机本身设备的限制，硬件本身的性能瓶颈。水平扩展：向外扩展，增加设备。
2024-07-09 17:15:48
1679
原创 tomcat的优化
XX:PremSize=1024m 设置非堆内存的初始值，持久代内存的大小，默认是物理内存的1/4，建议设置成jvm内存的一半非堆内存是不会被java的垃圾回收机制处理的。默认是-1，不限制。acceptCount：当所有可用的处理请求的线程数都被使用时，可以接入请求的最大队列长度，超过了这个数字的请求将不予处理，默认100个。关闭，false，提高处理速度。开启压缩之后，可以有效的减少页面的大小（文本无效，图片，音频，视频）一般可以减少三分之一，节省带宽,默认off。关闭，false，提高处理速度。
2024-07-08 21:35:48
898
原创 nginx的正向代理和反向代理
在第一次访问网站之时，就会计算出这个hash值，会把请求分到一个服务器，但是下一次客户端如果使用相同的ip地址再次访问，就不再分配到其他的服务器。如果说客户端进来之后，不停的轮换服务器，反而会加重服务器的负担，固定在一台服务器上，降低了代理服务器的压力，同时也节约了资源。流量的分配不一定是按照权重比来的，权重高的被转发的概率大，权重低的相对较小。如果每次请求的uri都一样，就会被分配到同一个服务器。7层就是应用层，使用的是http协议，可以对请求进行解析和处理，7层代理走的是用户态，应用协议和程序功能。
2024-07-07 22:24:21
342
原创 nginx的重定向（rewrite）
location = 完整路径=1.jpg > location ^- >location - location-* > location /部分起始位置 > location /在重定向的过程中，使用了last方式进行重定向，但是，没有结束语，陷入了死循环，nginx会自动循环10次，超过10次没有结束，就会停止，然后报错500。proxy_set_header X-Real-IP $ remote_addr加上这一字段，客户端的真实ip地址就会传递给后端服务器。
2024-07-04 17:30:23
532
原创 Nginx的优化和防盗链
客户端发送一个完整请求的超时时间，80秒之内没有发送一个完整的请求头，nginx返回码408（request time out）客户 端和服务端建立连接之后，发送请求体的超时时间，客户端在80s内没有发送任何内容，nginx返回408。表示有两个进程，这里和cpu数挂钩，不绑定cpu的话，进程可能会在两个cpu之间来回切换使用。time_wait所占用的系统资源很小，数量比较少，完全可以忽略不急，但是太多了，就有一定的影响。压缩比例1-9，数字越小，压缩的比率越小，数字越大，压缩的比率就越高，速度越慢。
2024-07-03 21:30:08
295
原创 nginx.conf的配置文件
工作进程数，设置成服务器内核数的2倍（一般不超过8个，超过8个会降低性能4个 1-2个）转发和处理http请求，设置代理（正向代理，反向代理），缓存，定义日志格式，重定向配置。alias只能写在http模块当中sever模块的location模块里面。三个数字，从左往右：已处理的连接数，成功建立连接的次数 已经处理的请求数。处理进程的过程必然涉及配置文件和展示页面，也就是涉及打开文件的数量。root可以写在sever模块，也可以写在location模块里。root的工作目录，访问的url/xy102。
2024-07-02 17:01:34
346
原创 web基础与HTTP协议
网站建设的基础，早起的网站都是静态页面，没有后台数据库，没有其他程序，也无法交互的页面。静态页面的url地址是固定的，内容相对稳定，容易被搜索引擎检索。缓存可以把用户的一些行为和操作，保存下来，下一次访问，可以保留这些状态，不需要和web服务器进行额外的通信，提高了访问的效率。集群建立在分布式的基础之上，把多台计算机或者是服务器连接在一起，作为一个整体，形成一个单一的计算资源。
2024-07-01 17:06:59
2107
原创 备份和还原
stai和dntasnat：源地址转换内网---外网 内网ip转换成可以访问外网的ip内网的多个主机可以使用一个有效的公网ip地址访问外部网络DNAT：目的地址转发外部用户，可以通过一个公网地址访问服务内部的私网服务。私网的ip和公网ip做一个映射。-t nat 指定为nat表-s 指定原ip-o 指定输出网络设备-j 控制类型 SNAT--to 指定整个网络192.168.233.0/24从ens36出去时，做源地址转换，转换成10.0.0.10DNAT。
2024-06-27 16:49:15
934
原创 安全技术和防火墙
安全技术入侵检测系统：特点是不阻断网络访问，主要是提供报警和事后监督。不主动介入，默默的看着你（监控）入侵防御系统：透明模式工作，数据包，网络监控，服务攻击，蠕虫，系统漏洞等等进行准确的分析和判断。在判定为攻击行为后会立即阻断。主动防御（所有的数据在进入本机之前，必须要通过的设备或者是软件）防火墙：隔离，工作在网络主机的边缘。对网络或者主机的数据包基于一定的规则进行检查。匹配到的规则方法，拒绝（数据包将会丢弃）。只开放允许访问的策略。（白名单机制，拒绝所有，允许个别）
2024-06-26 16:10:13
794
原创 shell脚本免交互
免交互：交互：我们发出指令控制程序的运行，程序在接收到指令之后按照指令的效果做出对应的反应。免交互：间接的，通过第三方的方式把指令传送给程序，不用直接的下达指令。Here Document 免交互：这是命令行格式，也可以写在脚本当中。通过I/O重定向的方式将命令列表传送给交互式程序或命令。是标准输入的一种替代品。代替了人工的输入方式。
2024-06-26 00:53:08
347
原创 文本三剑客之首awk
RS 行分割符，可以根据RS的设置把文件内容切成多个记录，也可以改变行的分隔符，默认是\n，回车，换行。awk的工作原理：根据指令信息，逐行的读取文本内容，然后按照条件进行格式化输出。awk默认的分隔符：空格，tab键，多个空格自动压缩成一个。FS FS和F是一样的，都是指定分隔符，-F: FS=":"BEGIN{...}预先的条件，执行awk命令前的初始化操作。NF 处理行的字段个数，$NF: 当前行的最后一段。End{...}处理完之后的操作，一般都是打印。$n=="字符串" 该字段等于这个字符串。
2024-06-25 00:07:33
389
原创 Linux文本三剑客sed
root@test1 opt]# echo 德州扑克搞着了 | sed -r 's/(.)(.)(.)(.)(.)(.)(.)/\5\6\7\1\2\3\4/' 搞着了德州扑克。-n：仅显示script处理后的结果（不加-n，sed会有2个输出结果，加了-n之后就会把默认输出屏蔽，只显示一个结果）-f：在脚本当中定义好了操作符，然后根据脚本内容的操作符对文件进行操作。sed -e '操作符 ' -e '操作符' 文件1 文件2。
2024-06-23 21:13:29
602
原创 正则表达式
{n}配前面的字符=n次，可以小于n，但是不能大于n，而且前面的字符必须要连续出现。-s 把字符集1的部分替换成字符集2的部分，把连续重复出现的字符压缩成一个字符。\<或者\b 词首锚定，匹配单词的左侧（连续的数字，字母，下划线都算单词内部）正则表达式匹配的是文本内容，linux的文本三剑客 都是针对文本内容。*匹配前面的字符任意次，0也可以。-c 保留字符集1的字符，其他的字符用字符集2进行替换。-d 仅显示连续重复的行（不包括非连续出现的·内容）-c 统计连续重复·的行的次数，合并连续重复的行。
2024-06-21 01:03:50
1048
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人