wuhao930715的博客

目录一、实验环境二、部署zookeeper三、部署kafka四、部署EFK一、部署Elasticsearch二、部署elasticsearch-head三、部署kibana四、部署logstash五、部署Filebeat五、验证一、实验环境在这里插入代码片二、部署zookeeper在这里插入代码片三、部署kafka在这里插入代码片四、部署EFK一、部署Elasticsearch在这里插入代码片二、部署elasticsearch-head在这里插入代码片三、部署kibana

目录一、概述一、组成二、步骤三、ES一、接近实时(NRT)二、集群(cluster)三、节点(node)四、索引(index)五、类型(type)六、文档(document)七、分片和副本(shards & replicas)四、logstash一、作用二、组件（独立部署的原因）三、主机分类五、Kibana功能一、概述一、组成1、ES(Elasticsearch)：对格式化的数据存储和索引。2、Logstash(收集日志)：到应用服务器上拿取log,并进行格式转换后输出到ES中。通过inpu

目录一、概述二、特点一、分布式特点二、GFS特点三、术语四、GFS工作过程一、写二、读五、如何提高GFS工作效率六、卷分类一、概述1、开源的分布式文件系统2、由存储服务器（块block服务器）、客户端及NFS/Samba存储网关组成3、无元数据服务器4、模块化、堆栈式建构5、通过模块的组合，实现复杂的功能二、特点一、分布式特点1、扩展性和高性能2、高可用性二、GFS特点1、全局同一命名空间（共享资源）2、弹性管理卷（RAID）3、基于标准协议（客户端和存储服务器之间交互需要借助网

目录一、rsync（同步）一、概述二、常用命令二、inotify（实时监控）概述三、服务组合过程四、实验一、rsync二、rsync+inotify一、rsync（同步）一、概述1、rsync是linux系统下的数据镜像备份工具。Remote Sync是快速增量备份工具：可以远程同步，支持本地复制。2、可以不改变原有的数据属性信息，实现数据的备份迁移特性。3、因delta-transfer算法（二进制比较算法）受欢迎。4、使用c|s架构，端口号为873二、常用命令常用选项含义

目录一、概述二、分类一、概述1、Redis集群是一个提供在多个Redisi顽节点间共享数据的程序集。2、Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误。3、Redis集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令。二、分类...

目录一、Redis高可用一、持久化二、主从复制三、哨兵四、集群(ciuster)(分布式)二、Redis持久化一、RDB持久化触发条件一、手动触发二、自动触发二、AOF持久化三、RDB和AOF区别四、Redis性能管理一、查看Redis内存使用二、内存碎片率查看三、内存交换四、内回收key一、Redis高可用在Redis中，实现高可用的技术主要包括持久化、主从复制、哨兵和集群。一、持久化持久化是最简单的高可用方法(有时甚至不被归为高可用的手段)，主要作用是数据备份，即将数据存储在硬盘，保证数据不会因

目录一、string概述一、SET/GET/APPEND/STRLEN实例二、List数据类型概述一、LPUSH/L.PUSHX/LRANGE三、Hash数据类型(散列类型)概述一、1、HSET /HGET /HDEL/HEXISTS/HLEN/HSETNX四、set数据类型(无序集合)概述一、SADD/ SMEMBERS/SCARD/ SISMEMBER五、sorted set数据类型(zset、有序集合)概述二、ZADD/ZCARD/ZCOUNT/ZREM/ ZINCRBY/ZSCORE/ZRANGE/

目录一、sql与nosql的区别一、数据存储方式不同二、扩展方式不同一、sql与nosql的区别一、数据存储方式不同1、关系型和非关系型数据库的主要差异是数据存储的方式。关系型数据天然就是表格式的，因此存储在数据表的行和列中。数据表可以彼此关联协作存储，也很容易提取数据。2、非关系型数据不适合存储在数据表的行和列中，而是大块组合在一起。非关系型数据通常存储在数据集中，就像文档、键值对或者图结构。你的数据及其特性是选择数据存储和提取方式的首要影响因素。3、关系型:依赖于关系模型E-R图，同时以表格式

目录一、概述一、web代理优点二、squid一、类型二、实例一、squid服务安装二、web服务器三、传统代理四、透明代理五、ACL访问控制六、日志分析七、反向代理一、概述一、web代理优点1、提高web访问速度2、隐藏客户机的真实IP二、squid一、类型1、传统代理：适用于Internet，需在客户机指定代理服务器的地址和端口。2、透明代理：客户机不需指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将web访问重定向给代理服务器处理。3、反向代理：反向代理服务器中缓存了该请求的

目录一、概述一、主要优点二、主要使用的算法二、实例Haproxy服务器web服务器一、概述1、LvS在企业应用中抗负载能力很强,但存在不足。①LVS不支持正则处理，不能实现动静分离。②对于大型网站,[LVS的实施配置复杂，维护成本相对较高。2、Haproxy是一款可提供高可用性、负载均衡及基于TCP和HTTF应用的代理的软件。①适用于负载大的Web站点。②运行在硬件上可支持数以万计的并发连接的连接请求。一、主要优点1、Haproxy在负载均衡速度和并发处理上是优于Nginx。2、Hapr

目录一、DR特性二、Keepalived一、概述二、实现原理剖析二、实例lvs服务器（主/备）web服务器（两台web服务器）模拟主lvs服务器宕机一、DR特性1、Director Server和Real Server必须在同一个物理网络中。2、Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。3、Director Server作为群集的访问入口，但不作为网关使用。所有的请求报文经由Director Server，但回复响应报文不能经

目录一、集群一、含义二、问题解决方法三、分类一、负载均衡集群二、高可用集群三、高性能运算集群二、负载均衡集群、一、结构二、工作模式三、算法三、一、集群一、含义1、Cluster，集群、群集2、由多台主机构成，但对外只表现为一个整体二、问题互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器力不从心。解决方法1、使用价格昂贵的小型机、大型机（成本高）2、使用普通服务器构建服务群集（①普通集群②分布式集群）三、分类从功能上分类：①负载均衡集群②

目录实例MySQL服务器配置配置主从同步配置软连接提权mysql从服务器MHA安装node组件实例设备ipmysql-master 192.168.238.150mysql-slave1 192.168.238.100mysql-slave2 192.168.238.99MHA-manager 192.168.238.133MySQL服务器配置配置主从同步配置软连接#三台mysql服务器[root@master ~]# ln -s /usr/local/mysql/bin/mysql

目录一、主从复制一、MySQL的复制类型二、主从复制机制/策略三、核心/工作过程一、主从复制一、MySQL的复制类型1、基于语句的复制2、基于行的复制3、混合类型的复制二、主从复制机制/策略1、全同步：全部完成2、半同步：至少一个完成3、异步：master完成就行（默认）三、核心/工作过程日志：1、二进制日志2、中继日志线程：1、dump线程：监听二进制日志，同时通知salve io线程2、io线程：①向master请求更新②将更新内容同步到本地中继日志3、sql线程：

目录一、数据库函数一、数学函数一、数据库函数一、数学函数数据库内存储的记录，经常要进行一系列的算术操作，所以 MysQL支持很多数学函数。数学函数描述abs (x)返回x的绝对值rand ()返回o到1 的随机数mod (x,y)返回x除以y以后的余数power (x, y)返回x的y次方round (x)返回离x最近的整数round (x , y)保留x 的y位小数四舍五入后的值sqrt (x)返回×的平方根truncat

目录一、正则表达式实例二、运算符一、算术运算符二、比较运算符一、正则表达式匹配描述^匹配文本的开始字符$匹配文本的结束字符.匹配任何单个字符*匹配零个或多个在它前面的字符%匹配所有+匹配前面的字符1次或多次?匹配前一个字符0次或一次a|b匹配a或b[…]匹配字符集合中的任意一个字符[^…]匹配不在括号中的任何字符{n}匹配前面的字符串 n 次{n,m}匹配前面的字符串至少 n 次，至多 m 次

目录一、查询一、按关键字排序二、区间判断及查询不重复记录三、distinct 查询不重复记录四、对结果进行分组五、限制结果条目(limit)六、设置别名(as)七、通配符二、子查询一、查询一、按关键字排序1、使用ORDER BY语句来实现排序排序2、可针对一个或多个字段3、ASC:升序，默认排序方式，可以省略4、DESC:降序#创建实验表mysql> create table wz (id int,name varchar(10) primary key not null ,score

目录一、日志二、数据备份的重要性三、数据备份类型一、物理备份二、逻辑备份四、备份方式五、实例一、冷备一、日志MySQL 的日志默认保存位置为 /usr/local/mysql/data日志类型与作用：1.redo 重做日志：达到事务一致性（每次重启会重做）作用：确保日志的持久性，防止在发生故障，脏页未写入磁盘。重启数据库会进行redo log执行重做，达到事务一致性2.undo 回滚日志作用：保证数据的原子性，记录事务发生之前的一个版本，用于回滚，innodb事务可重复读和读取已提交 隔离级别就

目录一、临时表二、用户授权一、临时表1、临时表，无法使用show tables查看2、临时表退出数据库即删除，也可用命令手动删除3、临时表无法创建外键mysql> create temporary table ls (id int(4) primary key auto_increment,name int(18) not null);mysql> show tables;+--------------+| Tables_in_py |+--------------+| hs

目录索引一、概述二、作用三、副作用索引一、概述1、索引是一个排序的列表，在这个列表中存储着索引的值和包含这个值的数据所在行的物理地址2、索引是表中一列或者若干列值排序的方法二、作用1、索引加快对表中记录的查找或排序2、通过创建唯一(键)性索引，可以保证数据表中每一行数据的唯一性3、可以加快表与表之间的连接三、副作用1、索引需要占用额外的磁盘空间2、在插入和修改数据时要花费更多的时间，因为索引也要随之变动...

目录MySQL概述数据库类型关系型数据库（sql）非关系型数据库（nosql）时序数据库（TSDB）MySQL概述数据1、描述事物的符号记录2、包括数字，文字、图形、图像、声音、档案记录等3、以“记录”形式按统一的格式进行存储作用：持久化保存、高可靠、高可用、数据的快速提取表1、每行为一条记录，每列为字段，组合成表2、用来存储具体数据数据库1、表的集合，是存储数据的仓库2、以一定的组织方式存储的相互有关的数据集合数据库管理系统数据库管理系统是实现对数据库资源有效组织、管理和存取的

目录一、Tomcat概述二、Tomcat的工作模式三、Tomcat处理请求的过程四、安装Tomcat一、安装jdk二、安装Tomcat三、优化一、优化Tomcat启动速度二、虚拟主机三、Tomcat运行优化四、Nginx与Tomcat一、动静分离反向代理检测真实ip一、Tomcat概述Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。tomcat核心组件有三个：Web容器（Web服

目录一、rewrite跳转概述一、一、rewrite跳转概述①rewrite 功能就是：使用 nginx 提供的全局变量或自己设置的变量，结合正则表达式和标记位实现 URL（我们访问的完整域名+路径） 重写以及重定向②支持URL重写、支持if条件判断(通过布尔值判断，成立为true，不成立为false)，不支持else③循环最多10次，超过后Nginx将返回一、...

目录一、隐藏版本号二、修改源码三、修改用户和组一、隐藏版本号在生产环境中如果版本号泄露，在被人恶意攻击时，会根据版本号，查找该版本存在的漏洞，直接攻击服务器。[root@localhost ~]# curl -I http://192.168.238.150[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf[root@localhost ~]# systemctl restart nginx[root@localhost ~]

LNMP部署配置Nginx[root@localhost ~]# yum -y install gcc gcc-c++ pcre-devel zlib-devel make[root@localhost ~]# useradd -M -s /sbin/nologin nginx[root@localhost opt]# tar xzvf nginx-1.15.9.tar.gz [root@localhost opt]# cd nginx-1.15.9/[root@localhost nginx-

目录一、概述特点二、安装Nginx一、访问统计状态二、访问控制一、概述二、location设置三、控制空户端访问三、虚拟主机一、配置基于不同域名二、配置基于不同端口三、配置基于不同ip一、概述Nginx 是开源、高性能、高可靠的 Web 和反向代理服务器，而且支持热部署，几乎可以做到 7*24 小时不间断运行，即使运行几个月也不需要重新启动，还能在不间断服务的情况下对软件版本进行热更新。特点1、高并发（30000到50000）、高性能。2、模块化架构使得它的扩展性非常好。3、异步非阻塞的事件驱动

目录Apache虚拟主机一、概述二、基于域名配置基于域名三、基于ip配置基于ip四、基于端口设置基于端口五、日志分割Apache虚拟主机一、概述1、Apache虚拟主机是通过在Apache服务器上搭建多个虚拟空间，实现一个服务器提供多种服务站点(访问Apache服务器上不同目录)。2、Apache虚拟主机可以充分利用服务器硬件资源，从而实现大大的降低网站的搭建和运行成本。3、通过虚拟主机的方式，实现以不同的网卡，不同ip，提供多个服务(三种方式：基于域名、基于ip、基于端口，也可以混合搭建)。二

目录实例一、配置httpd服务实例一、配置httpd服务[root@lamp ~]# tar xf apr-1.6.2.tar.gz[root@lamp ~]# tar xf apr-util-1.6.0.tar.gz[root@lamp ~]# tar xf httpd-2.4.29.tar.bz2[root@lamp ~]# mv apr-1.6.2 httpd-2.4.29/srclib/apr[root@lamp ~]# mv apr-util-1.6.0 httpd-2.4.29/s

目录一、web基础一、web概述二、Web1.0 vs Web2.0三、静态页面静态页面定义静态页面特点四、动态页面动态页面定义动态页面特点二、网页访问(HTTP/HTTPS)一、网页基本概念二、HTML三、HTTP协议概述简介常用版本四、cookie和session五、HTTP方法GETPOST六、HTTP状态码生产环境常见的HTTP状态码一、web基础一、web概述Web (World Wide Web) 即全球广域网，也称为万维网，一种分布式图形信息系统，建立在Internet.上的一种网络服务