weixin_45649763的博客

@[toc]]实验环境:172.25.2.3 ser3 nn172.25.2.4 ser4 nn(新开的节点)172.25.2.5 ser5 dn172.25.2.6 ser6 dn172.25.2.7 ser7 dn在ser3上[yxx@ser3 ~]$ rm -fr /tmp/*[yxx@ser3 ~]$ logout [root@ser3 ~]# systemctl start nfs[root@ser3 ~]# showmount -eExport list

文章目录MapReduce的工作原理MapReduce的工作原理https://www.cnblogs.com/liuwei6/p/6708116.html在ser3上1.编写配置文件[yxx@ser3 hadoop]$ vim etc/hadoop/mapred-site.xml<configuration> <property> <name>mapreduce.framework.name</name>

文章目录完全分布式的部署nfs的实现对master(ser3)进行设置测试存储结点(dn)的热添加完全分布式的部署实验背景：172.25.2.3 ser3 namenode172.25.2.4 ser4 dadanode172.25.2.5 ser5 datanode172.25.2.6 ser6 datanode关闭几台主机的火墙,selinxnfs的实现如何让新加的结点，同步之前结点的数据?1.首先关闭ser3上之前的伪分布式[yxx@ser3 hadoop]$ sbin/st

文章目录单机版的部署伪分布式的部署单机版的部署官方文档:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html软件下载https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/实验环境:172.25.2.3 ser3 实验步骤:1.在ser3上创建普通用户[root@ser3 ~]# useradd

文章目录环境的构建环境的构建官方文档:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html软件下载https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

文章目录pacemaker的安装和设置基本为集群配置fence为集群添加vip资源为集群添加共享存储为集群中添加mfsservice当mfsmaster被意外终止时pacemaker的安装和设置基本实验背景:172.25.2.7 ser7 mfsmaster172.25.2.12 ser11 mfsmaster172.25.2.8 ser8 mfschunkserver172.25.2.9 ser9 mfschunkserver172.25.2.250 真机 客户端实验目的:实现mfs

文章目录什么是storage class什么是label实验过程什么是storage class在moosefs中，storage class允许指定文件的chunks存放在哪些chunkservers上。storage class使用label进行表达。为了与早起的版本的goal功能兼容，moosefs 3.0以上会自动在系统中建立1～9 storage class。goal工具将默认在对应的storage class下进行工作。什么是labellabel是可以被分配给chunkserve

文章目录对客户端删除的文件进行恢复master对内存的设置恢复意外挂掉的mfsmaster服务本文在mfs分布式文件系统（一）的基础下进行编写。对客户端删除的文件进行恢复1.在客户端删除客户端mfs目录中的文件2.创建元数据目录查看mount3.进入回收站3.找到之前删除的文件4.对数据进行恢复5.恢复成功注意：master对内存的设置实验中master在ser7:恢复意外挂掉的mfsmaster服务在正常关闭的时候，/var/lib/mfs目录中会产生metadata.m

文章目录分布式文件系统简介MFS简介MFS的组成MFS的工作过程MFS读取数据的处理过程MFS写入数据的处理过程分布式文件系统简介分布式文件系统（Distributed File Systemm）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的（分布在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹

文章目录xpack简介实验步骤ES集群的设置Kibana端Logstash 端测试xpack简介在配置好es集群之后，可以选择开启安全认证功能。X-Pack 提供以下几个级别保护elastic集群1）用户验证2）授权和基于角色的访问控制3）节点/客户端认证和信道加密4）审计实验步骤实验目的:为es集群开启 xpack安全认证，并在logstash和Kibana开启相应的用户认证。实验背景:172.25.2.7 ser7 es端172.25.2.8 ser8 es端172.25

文章目录kibana简介安装与配置创建索引匹配基于ES索引创建可视化创建仪表盘创建垂直条形图(访问量排行榜)创建饼图（访问量比例)开发者apikibana简介kibana，elasticsearch项目的产品之一。官网地址：https://www.elastic.co/products/kibana 。它是数据可视化工具，提供网页与人交互，将查询语句交给ES处理并将结果可视化。官方标语为：Explore & Visualize Your Data，探索与可视化你的数据。Kibana 核心产

文章目录Logstash简介Logstash安装与配置file 输出插件标准输入到标准输出标准输入到文件elasticsearch输出插件标准输入到es主机file输入插件把文件内容输出到es主机logstash如何区分设备、文件名、文件的不同版本syslog输入插件多行过滤插件多行过滤插件过滤远程主机的日志grok过滤插件apache服务日志过滤实战Logstash简介Logstash是一个开源的服务器端数据处理管道，它的主要作用是做数据采集。logstash拥有200多个插件，能够同时从多个来源采

文章目录elasticsearch节点角色elasticsearch优化节点划分节点需求实验elasticsearch节点角色Master：主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。Data Node:主要负责集群中数据的索引和检索，一般压力比较大。Coordinating Node：(协调节点）原来的Client

文章目录ELK是什么Elasticsearch简介Logstash简介ELK是什么ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。ELK Stack成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点：• 处理方式灵活。Elasticsearch 是实时全文索引，不需要像 s

文章目录jenkins+ansible的使用参数化构建过程jenkins+ansible的使用实验任务:添加ansible交付任务：Jenkins服务器提前部署好到目标主机的ssh免密，并安装ansible软件包。由于是以jenkins用户调用ansible命令，所以需要设置jenkins用户到目标主机的免密。新建playbook代码仓库实验环境:172.25.2.7 ser6 jenkins 和ansible主机172.25.2.8 ser8 gitlab仓库172.25.2.

文章目录Jenkins使用tls方式连接docker构建主机(https)测试ssh 插件Jenkins使用tls方式连接docker构建主机(https)实验环境:172.25.2.7 jenkins主机172.25.2.8 gitlab仓库172.25.2.2 harbor仓库172.25.2.9 新添加的主机 (docker服务端）关闭selinux和firwalld1.在docker服务端,生成key和ca证书。# openssl genrsa -aes256 -out ca-k

文章目录Jenkins自动构建docker镜像，并上传至harbor仓库Jenkins自动构建docker镜像，并上传至harbor仓库实验环境:172.25.2.7 ser6 jekins主机172.25.2.8 ser8 gitlab代码库172.25.2.2 ser2 harbor仓库关闭几台主机的selinux,firewalld1.为jenkins添加docker插件选择此插件并安装在项目test1的配置中增加构建后的步骤2.harbor仓库的启动（之前已经搭建好）

文章目录CI/CD是什么jenkins是什么jenkins的特性jenkins的安装CI/CD是什么CI(Continuous integration，中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了新代码之后，立刻进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。CD(Continuous Delivery， 中文意思持续交付)是在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境(类生产环境)中。比如，我们完成单元测试后，可以把代码

文章目录git的部署及使用git的部署及使用1.安装git(超简单)yum install git -y 2.获取 Git 仓库通常有两种方式,在这里我们先采用第一种方法，后面再演示第二种。将尚未进行版本控制的本地目录转换为 Git 仓库。从其它服务器克隆 一个已存在的 Git 仓库。比如： git clone 3.初始化版本库(把本地目录转化为git仓库)$ mkdir demo$ git init Initialized empty Git repository in /hom

文章目录什么是版本控制系统版本控制系统的分类本地版本控制系统集中化的版本控制系统分布式版本控制系统git是什么git 的特点git和其他版本控制器的差异直接记录快照，而非差异比较近乎所有操作都是本地执行Git 保证完整性Git 一般只添加数据git的三种状态基本的 Git 工作流程什么是版本控制系统概念版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。你可以对任何类型的文件进行版本控制。版本控制（Revision control）是一种在开发的过程中用于管理我们对文件、目

文章目录概述编译支持加密功能使用预共享密钥(PSK)概述Zabbix版本从3.0之后，开始支持Zabbix server, Zabbix proxy, Zabbix agent, zabbix_sender and zabbix_get之间的通信加密，加密方式有预共享密钥(PSK)和证书加密。加密配置是可选项，一些proxies和agents可以使用证书认证加密通信，另外一些可以使用PSK加密...

文章目录什么是zabbix proxy实验步骤基础概念汇总实验环境redhat7.5环境 （低版本的redhat系统可能解决不了php的依赖性)server4 172.25.0.4 zabbix-server端server2 172.25.0.2 zabbix-agent端server3 172.25.0.3 zabbix-agent端关闭火墙,selinux等什么是z...

文章目录实验过程实验环境redhat7.5环境 （低版本的redhat系统可能解决不了php的依赖性)server4 172.25.0.4 zabbix-server端server2 172.25.0.2 zabbix-agent端server3 172.25.0.3 zabbix-agent端关闭火墙,selinux等实验过程1.在server2上安装tomcat,...

文章目录zabbix+ qqmail 报警实现步骤zabbix+ 睿象云报警 实现步骤实验环境redhat7.5环境 （低版本的redhat系统可能解决不了php的依赖性)server4 172.25.0.4 zabbix-server端server2 172.25.0.2 zabbix-agent端server3 172.25.0.3 zabbix-agent端关闭火墙,...

文章目录zabbix监控server4(agent-server）的mysql实验环境redhat7.5环境 （低版本的redhat系统可能解决不了php的依赖性)server4 172.25.0.4 zabbix-server端server2 172.25.0.2 zabbix-agent端server3 172.25.0.3 zabbix-agent端关闭火墙,seli...

文章目录如何为zabbix自定义监控项?实验环境redhat7.5环境 （低版本的redhat系统可能解决不了php的依赖性)server4 172.25.0.4 zabbix-server端server2 172.25.0.2 zabbix-agent端server3 172.25.0.3 zabbix-agent端关闭火墙,selinux等如何为zabbix自定义监...

文章目录什么是API具体操作验证身份，获取身份令牌检索现有的主机删除agent创建agent实验环境redhat7.5环境 （低版本的redhat系统可能解决不了php的依赖性)server4 172.25.0.4 server4 zabbix-server端server2 172.25.0.2 server2 zabbix-agent端口server3 172.25.0.3 ...

文章目录zabbix监控配置(server端)自动发现agent端的自动注册实验环境：redhat7.5环境 （低版本的redhat系统可能解决不了php的依赖性)server4 172.25.0.4 server4 zabbix-server端server2 172.25.0.2 server2 zabbix-agent端口关闭火墙,selinux等zabbix监控配置(s...

文章目录zabbix的安装部署zabbix的安装部署实验环境：redhat7.5环境 （低版本的redhat系统可能解决不了php的依赖性)server4 172.25.0.4 zabbix server端server2 172.25.1.在server4中，安装软件的顺序不能错。2.安装zabbix-database,在这里选择用mariadb做数据库3.对数据库做初始化...

文章目录zabbix是什么zabbix的架构zabbix的优缺点zabbix的监控流程zabbix常见进程zabbix监控环境中基本概念几个开源运维监控框架对比zabbix是什么zabbix（[`zæbiks]）是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix至少由2部分构成，zabbix server与可选组件zabbix agent。它具备主...

三、Nginx、LVS及HAProxy负载均衡软件的优缺点负载均衡 （Load Balancing） 建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力，同时能够提高网络的灵活性和可用性。Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件。一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。...

文章目录错误重定向301永久重定向读写分离的实现实验背景：172.25.2.10 server1 haproxy反向代理端172.25.2.11 serevr2 后端web1172.25.2.254 serevr3 后端web2172.25.2.254 真机测试关闭selinux和firewalld ，后面几个关于haproxy的实验，都在此环境下错误重定向测试时,代...

文章目录动静分离什么是动态、静态请求实现步骤实验背景：172.25.2.10 server1 haproxy反向代理端172.25.2.11 serevr2 后端web1172.25.2.254 serevr3 后端web2172.25.2.254 真机测试关闭selinux和firewalld ，后面几个关于haproxy的实验，都在此环境下动静分离将动态请求和静态...

文章目录Haproxy是什么负载均衡的区别四层负载均衡是什么七层负载均衡是什么七层负载均衡和四层负载的不同点HAProxy的搭建步骤Haproxy是什么HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。负载均衡的区别四层就是基于IP+端口的负载均衡,例如lvs。七层就是基于URL等应用层信息的负载均衡还有基于MAC地址的二层负载均衡基于IP地址...

文章目录会话保持是什么cookie和session是什么实现步骤会话保持是什么会话保持是指在负载均衡器上的一种机制，可以识别客户端与服务器之间交互过程的关连性，在作负载均衡的同时还保证一系列相关连的访问请求都会分配到一台机器上。即在一次会话过程中发起的多个请求都会落到同一台机器上。cookie和session是什么把用户的数据交给流动的客户端(浏览器)来保存，是不安全，不可靠的。实现...

文章目录tomcat简介tomcat的安装nginx实现tomcat的负载均衡tomcat简介Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场合下被普遍使用，是开发和调试JSP 程序的首选。对于一个初学者来说，可以这样认为，当在一台机器上配置好Apache 服务器，可利用它响应HTML（标准通用标记语言下的一个应用）...

在之前，我们对lnmp架构中的php进行了加速提升，我们使用了memcache，那么如何进一步提升访问网站的速度呢？我们可以对nginx进行加速提升，使nginx也支持memcache 第一步，nginx-fastcgi-php nginx得到数据给客户端，我们可以给nginx也复制一份数据，保存一份在自己的memcache中,再下一次有相同的请求时，nginx直接将自己缓存中的资源给用户。但...

文章目录memcache是什么为什么使用memcachememcache和memcached的区别memcache的工作步骤memcache+php的实现步骤在之前搭建的lnmp架构中，nginx没有办法解析动态的内容，必须通过fastcgi调用外部的php,如果是静态资源，php直接运行代码，返回给用户，如果是动态资源，php连接数据库。再把结果返回给nginx.试想一下，同一个php的页面...

lnmp动态实现的步骤用户通过访问php（套接字文件）动态页面向nginx（套接字文件）服务器发送请求，nginx服务器发现是动态资源，就会去加载数据库，然后向后台的数据库写入数据。实验环境...

文章目录mysql模块php模块nginx模块实验背景：前提，关闭selinux和防火墙虚拟机server1（172.25.8.1） 搭建lnmp架构真机（172.25.8.250） 测试mysql模块mysql源码编译时要求虚拟机的硬盘大小不能小于20G，否则后边的编译过程可能会出问题,而且会很漫长，为了提升速度我们应该增加CPU核数和内存。1.在官网和paks.org获得一...