- 博客(102)
- 收藏
- 关注
原创 Docker私有仓库与Harbor部署使用
Harbor 是 VMware 公司开源的企业级 Docker Registry 项目,其目标是帮助用户迅速搭建一个企业级的 Docker Registry 服务。Harbor以 Docker 公司开源的 Registry 为基础,提供了图形管理 UI 、基于角色的访问控制(Role Based AccessControl) 、AD/LDAP 集成、以及审计日志(Auditlogging) 等企业用户需求的功能,同时还原生支持中文。
2024-05-06 19:34:03
1328
原创 Docker consul的容器服务更新与发现
服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的,不保障高可用性,也不考虑服务的压力承载,服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构,起初的解决手段是在服务前端负载均衡,这样前端必须要知道所有后端服务的网络位置,并配置在配置文件中。如果需要调用后端服务A-N,就需要配置N个服务的网络位置,配置很麻烦后端服务的网络位置变化,都需要改变每个调用者的配置既然有这些问题,那么服务注册与发现就是解决这些问题的。
2024-05-05 16:34:02
705
原创 Docker-Compose部署服务
我们知道使用一个Dockerfile模板文件可以定义一个单独的应用容器,如果需要定义多个容器就需要服务编排。服务编排有很多中技术方案,今天给大家介绍Docker官方产品Docker-Compose。Dockerfile可以让用户管理一个单独的应用容器;而Compose则允许用户在一个模板(YAML格式)中定义一组相关联的应用容器(被称为一个project,即项目),例如一个Web服务容器再加上后端的数据库服务容器(LNMP)等。
2024-05-05 16:30:41
1083
原创 Docker的数据管理、网络通信和dockerfile
数据卷是一个供容器使用的特殊目录,位于容器中。可将宿主机的目录挂载到数据卷上,对数据卷的修改操作立刻可见,并且更新数据不会影响镜像,从而实现数据在宿主机与容器之间的迁移。数据卷的使用类似于Linux下对目录进行的mount操作。Docker镜像是一个特殊的文件系统,除了提供容器运行时所需的程序、库、资源、配置等文件外,还包含了一些为运行准备的一些配置参数(如匿名卷、环境变量、用户等)。镜像不包含任何动态数据,其内容在构建之后也不会被改变。镜像的定期实际上就是定期每一层所添加的配置、文件。
2024-05-04 15:17:08
1333
原创 Docker网络与资源控制
直接使用bridge模式,是无法支持指定IP运行docker的,例如执行以下命令就会报错可以先自定义网络,再使用指定IP运行dockerdocker:为执行ifconfig -a命令时,显示的网卡名,如果不使用--opt参数指定此名称,那你在使用ifconfig -a命令查看网络信息时,看到的是类似br-110eb56a0b22这样的名字,这显然不怎么好记。mynetwork:为执行docker network list命令时,显示的bridge网络模式名称。
2024-04-27 14:09:08
609
原创 Docker镜像和容器操作
docker容器默认会把容器内部第一个进程,也就是pid=1的程序作为docker容器是否正在运行的依据,如果docker容器中pid=1的进程挂了,那么docker容器便会只会退出,也就是说docker容器中必须有一个前台进程,否则认为容器已经挂掉。在迁移过程中,可以使用“docker export”命令将已经创建好的容器导出为文件,无论这个容器是处于运行状态还是停止状态均可导出。容器所运行的程序不能结束。注意:容器是一个与其中运行的shell命令共存亡的终端,命令运行容器运行,命令结束容器退出。
2024-04-27 13:57:52
1320
原创 Docker容器:docker基础
云端华为云 谷歌云 腾讯云 阿里云 亚马逊 百度云 移动云 天翼云 西部数码云国内云 华为云 阿里云 腾讯云(私有云)国外云 谷歌 亚马逊云计算的服务模式是分几层的,分别是PaaS:PLatform(平台)-as-a-Service;SaaS:Software(软件)-as-a-Service基础设施即服务(IaaS, Infrastructure as a Service)定义:IaaS是云计算的基础层级,它向用户提供虚拟化的计算资源,如虚拟机、存储空间、网络和操作系统。
2024-04-23 17:19:28
1119
1
原创 zabbix分布式监控系统
zabbix:是一款开源免费的,自动化发现服务与网络设备的分布式监控,可以监视应用层服务并以web前端页面集中管理并展示。zabbix 能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix 由 2 部分构成,zabbix server 与可选组件 zabbix agent。通过 C/S 模式采集数据,通过 B/S 模式在 Web 端展示和配置。
2024-04-15 22:07:47
2119
原创 ELFK的部署
这是一种更加完善和灵活的架构,适合处理复杂的日志数据在这种模式下,filebeat (beats)负贵收日志文件,并将其发送到ogstash进行处理。logtash可以对日志数据进行更多的过滤、转换和增强的操作 ,并将其发送到Elasticsearch进行索引。kibana则可以用来查看和分析日志数据。
2024-04-14 14:13:44
841
原创 ELK企业级日志分析系统
ELK平台是一套完整的日志集中处理解决方案,将ElasticSearch、Logstash和Kibana三个开源工具配合使用,完成更强大的用户对日志的查询、排序、统计需求一款强大的数据处理工具可实现数据传输、格式处理、格式化输出数据输入、数据加工(如过滤,改写等)以及数据输出一个针对Elasticsearch的开源分析及可视化平台搜索、查看存储在Elasticsearch索引中的数据通过各种图表进行高级数据分析及展示。
2024-04-11 00:16:56
1193
原创 GFS分布式文件系统
GlusterFS是一个开源的分布式文件系统。它由存储服务器、客户端以及NFS/Samba存储网关(可选,根据需要选择使用)组成。系统中无元数据服务器(保存数据的地方)组件,这有助于提升整个系统的性能、可靠性和稳定性。
2024-04-08 18:37:28
791
原创 rsync远程同步
rsync(Remote Sync,远程同步) 是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限,且采用优化的同步算法,传输前执行压缩,因此非常适用于异地备份、镜像服务器等应用。在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限。
2024-04-07 23:17:44
1000
原创 非关系型数据库(缓存数据库)redis的集群
以3个节点组成的集群为例:节点A性能最差,包含0-2000号哈希值节点B性能中等,包含2001-7000号哈希值节点C性能最强,包含7001-16383号哈希值。
2024-04-07 22:47:34
1301
原创 非关系型数据库(缓存数据库)redis的高可用主从复制与哨兵
主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。
2024-04-06 16:52:54
1203
原创 非关系型数据库(缓存数据库)redis的性能管理
缓存问题产生原因解决方案缓存雪崩大量缓存失效,导致数据库过载1. 分散缓存失效时间2. 多级缓存3. 缓存高可用4. 服务降级限流缓存穿透查询不存在的数据,导致数据库过载1. 布隆过滤器2. 空值缓存缓存击穿热点数据失效,导致数据库过载1. 热点数据永不过期2. 使用互斥锁。
2024-04-06 01:47:23
1243
原创 非关系型数据库(缓存数据库)redis的高可用(持久化)
周期性的将内存中的数据保存在磁盘中RDB执行过程内存中------>写入到磁盘中保存的方式结果数据------>写入磁盘中保存数据对象内存------>写入磁盘后,会进行压缩,来减小"*.rdb"的磁盘占用空间量触发方式手动触发自动触发 save m n(假设save 900 60 则表示900s内60条语句执行,则触发RDB持久化)
2024-04-02 22:08:26
999
原创 非关系型数据库(缓存数据库)redis的基础认知与安装
随着互联网技术的发展,对于数据存储和处理的效率要求越来越高。Redis,作为一种高性能、开源的内存键值存储系统,凭借其独特的优势,在众多数据库中脱颖而出,成为许多大型网站和应用首选的缓存及数据存储解决方案。
2024-04-02 19:11:11
1621
原创 MYSQL数据库的故障排除与优化
一.MySQL单实例故障排查故障现象1ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/data/mysql/mysql.sock' (2)问题分析:以上情况一般都是数据库未启动或者数据库端口被防火墙拦截导致。解决方法:启动数据库或者防火墙开放数据库监听端口故障现象 2ERROR 1045 (28000): Access denied for user 'root'@'localho
2024-04-01 22:10:42
1804
原创 关系型数据库mysql(10)MHA的高可用
MHA(MasterHigh Availability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。MHA 的出现就是解决MySQL 单点的问题。MySQL故障切换过程中,MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换的过程中最大程度上保证数据的一致性,以达到真正意义上的高可用。
2024-04-01 00:40:32
817
原创 关系型数据库mysql(9)主从复制和读写分离
主从复制,是用来建立一个和主数据库完全一样的数据库环境,称为从数据库。在赋值过程中,一个服务器充当主服务器,而另外一台服务器充当从服务器。当一台从服务器连接到主服务器时,从服务器会通知主服务器从服务器的日志文件中读取最后一次成功更新的位置。然后从服务器会接收从哪个时刻起发生的任何更新,然后锁住并等到主服务器通知新的更新主从复制核心部分 两个日志 三个线程。
2024-03-31 17:12:19
753
原创 关系型数据库mysql(8)sql高级语句②
修改表不能修改以函数、符合函数方式计算出来的字段视图的存在是为了查询更加方便,为了增强安全性存储过程是一组为了完成特定功能的SQL语句集合。两个点 第一 触发器(定时任务) 第二个判断存储过程这个功能是从5.0版本才开始支持的,它可以加快数据库的处理速度,增强数据库在实际应用中的灵活性。存储过程在使用过程中是将常用或者复杂的工作预先使用SQL语句写好并用一个指定的名称存储起来,这个过程经编译和优化后存储在数据库服务器中。当需要使用该存储过程时,只需要调用它即可。
2024-03-28 19:16:55
1311
原创 关系型数据库mysql(7)sql高级语句①
在生产环境中,我们删除数据时,最好先查,是否是我们要删除的数据,避免事故发生,我们可以通过group by语句配合聚合函数对sql语句查询出来的结果进行分组。去掉desc,就是默认先按hobbid降序,然后相同的,按升序的id排序。我们的表结构默认字段算一行表示为0。所以用limit时要-1。当第一个字段有相同的数据情况下,可以根据第二个字段进行排序。我们还可以结合order by,对于做了限制的查询做排序。结合order by把计算出的个数进行升降序排列。还可以结合where语句(添加条件),去筛选。
2024-03-26 18:47:12
1100
原创 关系型数据库mysql(6)备份与恢复
完全备份差异备份增量备份执行顺序每次完全备份会备份之前完全备份的数据,会出现重复数据每次执行差异备份会备份之前每次的差异备份每一次增量备份的数据都是备份上一次增量备份后新增的数据占用磁盘空间占用大量的磁盘空间占用少量额外的磁盘空间占用极少量的磁盘空间数据恢复把完全备份的文件导入即可恢复速度很快先恢复完全备份数据,再导入差异备份数据先恢复完全备份数据,再恢复增量备份数据(需要按照次序进恢复)关闭Mysqld服务使用tar命令进行打包data目录恢复直接解压即可。
2024-03-25 22:51:06
1313
原创 关系型数据库mysql(5)存储引擎
MyISAM不支持事务,也不支持外键,只支持全文索引,数据文件和索引文件是分开保存的访问速度快对事务完整性没有要求外键:关联两个表,将子表和主表做关联;对事务完整性没有要求:无论存储什么事务都能接收。MyISAM在磁盘上存储成三个文件.frm文件存储表定义数据文件的扩展名为.MYD(MYData)索引文件的扩展名是.MYI(MYIndex)创建表的时候会自动生成一个frm结尾的文件表级锁定形式,数据在更新时锁定整个表当一个人在操作数据库操作数据的时候,所有人都不可以操作数据表;
2024-03-24 20:20:20
755
原创 关系型数据库mysql(4)事务
MySQL 事务主要用于处理操作量大,复杂度高的数据。比如说,在人员管理系统中, 要删除一个人员,即需要删除人员的基本资料,又需要删除和该人员相关的信息,如信箱, 文章等等。这样,这些数据库操作语句就构成一个事务事务是一种机制、一个操作序列,包含了一组数据库操作命令,并且把所有的命令作为一个整体一起向系统提交或撤销操作请求,即这一组数据库命令要么都执行,要么都不执行。事务是一个不可分割的工作逻辑单元,在数据库系统上执行并发操作时,事务是最小的控制单元。
2024-03-24 19:31:17
1219
原创 关系型数据库mysql(3)索引
索引虽可以提升数据库查询的速度,但并不是任何情况下都适合创建索引。因为索引本身会消耗系统资源,在有索引的情况下,数据库会先进行索引查询,然后定位到具体的数据行,如果索引使用不当,反而会增加数据库的负担。对于 MyISAM 引擎而言,索引文件和数据文件是分离的,索引文件用于保存数据记录的地址。从逻辑划分来看,索引的运用主要有五种,分别为:普通索引,唯一索引,主键索引,组合索引和全文索引(模糊索引)show index from 表名\G;show keys from 表名\G;5、主键、外键、唯一键。
2024-03-21 23:29:11
1217
原创 关系型数据库mysql(2)SQL语句
Structured Query Language的缩写,即结构化查询语言关系型数据库的标准语言用于维护管理数据库包括数据查询,数据更新,访问控制,对象管理等功能查看数据库show databases查看数据表show tables查看表结构describe tablename或desc tablename。
2024-03-20 23:38:44
1408
原创 关系型数据库mysql(1)基础认知和安装
数据库----》库----》表----数据库分关系型数据库和非关系型数据库前者存于硬盘,更方便的去查询数据,后者存于内存,更多用于高并发的情况下,能处理海量的数据。
2024-03-19 18:30:42
1056
原创 自动化运维工具Ansible
Ansible是基于模块工作的,只是提供了一种运行框架,本身没有完成任务的能力,真正操作的是Anisble的模块。每个模块都是独立的、实现了批量系统配置、批量程序部署、批量运行命令等功能。命令含义仅显示ipv4的信息仅显示磁盘设备信息显示是什么系统,例:centos,suse等仅显示系统版本显示系统类型,例:32位,还是64位仅显示eth0的信息仅显示主机名仅显示内核版本显示lvm相关信息显示系统总内存显示可用系统内存详细显示内存情况显示总的swap内存。
2024-03-14 14:11:16
1359
原创 Linux系统---Haproxy高性能负载均衡软件
四层代理Nginx七层代理HAProxyNginx硬件深信服 http://www.sangfor.com.cn/北京灵州 http://www.lingzhou.com.cn/cpzx/llfzjh/HAProxy是法国开发者威利塔罗(Willy Tarreau)在2000年使用C语言开发的一个开源软件,是一款具备高并发(一万以上)、高性能的TCP和HTTP负载均衡器,支持基于cookie的持久性,自动故障切换,支持正则表达式及web状态统计,目前最新TLS版本为2.2。
2024-03-13 12:16:06
1145
原创 Keepalived工具的基本介绍(原理:VRRP协议)
keepalived基于VRRP协议的软件实现,原生设计目的为了高可用 ipvs服务ipvs,IP虚拟服务器(IP Virtual Server,简写为IPVS)。是运行在LVS下的提供负载均衡功能的一种技术。基于vrrp协议完成地址流动为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)为ipvs集群的各RS(后端的Real Server)做健康状态检测基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务。
2024-03-10 16:17:35
1050
原创 部署LVS+Keepalived高可用群集(抢占模式,非抢占模式,延迟模式)
-开启主服务器后,主服务器会抢占,因为主服务器优先级高,又会变成主服务器,192.168.80.100。#注意:要关闭 VIP抢占,必须将各 keepalived 服务器state配置为BACKUP。主keepalived:192.168.80.100 lvs。默认模式使用的 抢占式,上面的实验使用的就是抢占模式。--关闭主服务器时,是192.168.80.101。此时虚拟VIP在备用服务器,且依旧可以访问网站。主节点会抢占回来,会造成两次网络动荡。关闭主服务器,我们也可以抓包来看变化。
2024-03-10 16:13:34
1067
原创 linux系统---selinux
安全增强型 Linux(Security-Enhanced Linux)简称 SELinux,它是一个 Linux 内核模块,也是 Linux 的一个安全子系统。SELinux 主要由美国国家安全局开发。2.6 及以上版本的 Linux 内核都已经集成了 SELinux 模块。SELinux 的结构及配置非常复杂,而且有大量概念性的东西,要学精难度较大。很多 Linux 系统管理员嫌麻烦都把 SELinux 关闭了。禁用Administrator与Guest用户。
2024-03-07 16:49:26
1146
原创 DR模式下LVS负载均衡聚集部署实验
Web 服务器2:192.168.80.12。nfs 服务器: 192.168.80.10。隔一段时间刷新一下,发现两个页面来回切换。服务器1:192.168.80.11。客户端:192.168.80.100。
2024-03-07 14:25:58
384
原创 DR模式下部署LVS负载均衡集群的详细原理
这里假设CIP的mac地址为:00-50-56-C0-00-08 ,DIR的ens33的mac地址为:00-50-56-C0-00-01, RIP1的mac地址为: D0-50-99-18-18-15。因为“负载调度机”转发时并不会改写数据包的目的IP,所以“节点服务器”收到的数据包的目的IP仍是“负载调度器”的虚拟服务IP。否则“节点服务器”会直接丢弃该数据包!因为“节点服务器”收到的请求数据包的源IP是客户端的IP,所以理所当然“节点服务器”的响应会直接回给客户端,而不会再经过“负载调度机”。
2024-03-07 13:54:51
840
原创 NAT模式下部署LVS负载均衡
通过使用 NFS 协议,客户机可以像访问本地目录一样访问远程服务器中的共享资源。对于大多数负载均衡 群集来说,使用 NFS 协议来共享数据存储是比较常见的做法,NFS 也是 NAS 存储设备必然支 持的一种协议。NFS 服务的实现依赖于 RPC(Remote Process Call,远端过程调用)机制,以完成远程 到本地的映射过程。在 CentOS 7 系统中,需要安装 nfs-utils、rpcbind 软件包来提供 NFS 共享服务,前者用于 NFS 共享发布和访问,后者用于 RPC 支持。
2024-03-06 14:46:57
433
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人