Sun__s的博客

一、hadoop简介Hadoop起源于Google的三大论文：GFS：Google的分布式文件系统Google File SystemMapReduce：Google的MapReduce开源分布式并行计算框架BigTable：一个大型的分布式数据库演变关系：GFS—->HDFSGoogle MapReduce—->Hadoop MapReduceBigTable—->HBaseHadoop名字不是一个缩写，是Hadoop之父Doug Cutting儿子毛绒玩具象命

环境搭建[root@server1 ~]# curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo这里注意需要把gpg检测关掉[root@server1 ~]# yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli -y[root@server1 ~]# systemctl start moosefs-mast

[root@server2 ~]# rpm -ivh jdk-8u171-linux-x64.rpm[root@server2 ~]# rpm -ivh jenkins-2.283-1.1.noarch.rpm[root@server2 ~]# cd /var/lib/jenkins/[root@server2 jenkins]# systemctl start jenkins[root@server2 jenkins]# vim hudson.model.UpdateCenter.xml[roo

Metrics-Server是集群核心监控数据的聚合器，用来替换之前的heapster。容器相关的 Metrics 主要来自于 kubelet 内置的 cAdvisor 服务，有了Metrics-Server之后，用户就可以通过标准的 Kubernetes API 来访问到这些监控数据。Metrics API 只可以查询当前的度量数据，并不保存历史数据。Metrics API URI 为 /apis/metrics.k8s.io/，在 k8s.io/metrics 维护。必须部署 metrics-s

kibana简介Kibana 核心产品搭载了一批经典功能:柱状图、线状图、饼图、旭日图,等等。将地理数据融入任何地图精选的时序性 UI,对您Elasticsearch 中的数据执行高级时间序列分析。利用 Graph 功能分析数据间的关系Kibana 开发工具为开发人员提供了多种强大方法来帮助其与Elastic Stack 进行交互。kibana安装与配置kibana下载https://elasticsearch.cn/download/kibana配置:[root@server

logstash简介• Logstash是一个开源的服务器端数据处理管道。• logstash拥有200多个插件,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(大多都是 Elasticsearch。)• Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器。输入:采集各种样式、大小和来源的数据• Logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件。• 能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数

elasticsearch简介Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎：一个分布式的实时文档存储，每个字段 可以被索引与搜索一个分布式实时分析搜索引擎能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据基础模块cluster：管理集群状态，维护集群层面的配置信息。alloction：封装了分片分配相关的功能

一、metallb部署参考网址：官方网站为什么使用metallb？Kubernetes不提供网络负载均衡器的实现（LoadBalancer类型的服务）用于裸机集群。Kubernetes附带的Network LB的实现都是调用各种IaaS平台（GCP，AWS，Azure等）的粘合代码。如果您未在受支持的IaaS平台（GCP，AWS，Azure等）上运行，则LoadBalancers在创建时将无限期保持“待处理”状态。裸机集群运营商只剩下两个较小的工具，即“ NodePort”和“ externalIP

一、Kubernetes简介在Docker 作为高级容器引擎快速发展的同时，在Google内部，容器技术已经应用了很多年，Borg系统运行管理着成千上万的容器应用。Kubernetes项目来源于Borg，可以说是集结了Borg设计思想的精华，并且吸收了Borg系统中的经验和教训。Kubernetes对计算资源进行了更高层次的抽象，通过将容器进行细致的组合，将最终的应用服务交给用户。Kubernetes的好处：隐藏资源管理和错误处理，用户仅需要关注应用的开发。服务高可用、高可靠。可将

链接: docker-machine 提取码: 6itu[root@server1 ~]# mv docker-machine-Linux-x86_64-0.16.1 /usr/local/bin/docker-machine[root@server1 ~]# chmod +x /usr/local/bin/docker-machine[root@server1 ~]# ssh-keygen[root@server1 ~]# ssh-copy-id server2:[root@server1

一、理解Docker安全Docker容器的安全性，很大程度上依赖于Linux系统自身，评估Docker的安全性时，主要考虑以下几个方面：Linux内核的命名空间机制提供的容器隔离安全Linux控制组机制对容器资源的控制能力安全。Linux内核的能力机制所带来的操作权限安全Docker程序（特别是服务端）本身的抗攻击性。其他安全增强机制对容器安全性的影响。命名空间隔离的安全当docker run启动一个容器时，Docker将在后台为容器创建一个独立的命名空间。命名空间提供了最基础也最直接的隔

一、Docker数据卷管理为什么要用数据卷docker分层文件系统性能差生命周期与容器相同docker数据卷mount到主机中，绕开分层文件系统和主机磁盘性能相同，容器删除后依然保留仅限本地磁盘，不能随容器迁移docker提供了两种卷：bind mountdocker managed volume[root@server2 ~]# docker run -it --rm -v /data1:/data1 -v /data2:/data2:ro -v /etc/yum.repos.d/

实验环境：[root@server1 harbor]# docker-compose stop ## 把仓库停掉一、Docker原生网络docker的镜像是令人称道的地方，但网络功能还是相对薄弱的部分。docker安装后会自动创建3种网络：bridge、host、none这里我们使用server2做实验。可以使用以下命令查看：[root@server2 ~]# docker network ls1.桥接网络[root@server2 ~]# y

一、docker仓库1.简介Docker 仓库是用来包含镜像的位置，Docker提供一个注册服务器（Register）来保存多个仓库，每个仓库又可以包含多个具备不同tag的镜像。Docker运行中使用的默认仓库是 Docker Hub 公共仓库。2.registry工作原理4.搭建私有仓库[root@server1 nginx]# docker pull registry[root@server1 nginx]# docker images registry[root@server1 ngin

一、docker简介Docker是管理容器的引擎。Docker为应用打包、部署平台，而非单纯的虚拟化技术1.VM vs Container2.传统虚拟机和容器的技术对比3.容器是如何工作的二、容器配置链接：官方站点阿里云开源镜像站1.搭建docker仓库[root@server1 ~]# cd /etc/yum.repos.d/[root@server1 yum.repos.d]# vim docker.repo[docker]name=docker-cebaseurl=h

一、简介SaltStack 官方提供有REST API格式的 salt-api 项目，将使Salt与第三方系统集成变得尤为简单。官方提供了三种api模块:rest_cherrypyrest_tornadorest_wsgi官方链接下载api[root@server1 ~]# yum -y install salt-api.noarch二、salt-api配置1.生成证书[root@server1 ~]# cd /etc/pki/tls/private/[root@server1 p

一、简介saltstack是一个配置管理系统，能够维护预定义状态的远程节点。saltstack是一个分布式远程执行系统，用来在远程节点上执行命令和查询数据。saltstack是运维人员提高工作效率、规范业务配置与操作的利器。Salt的核心功能使命令发送到远程系统是并行的而不是串行的使用安全加密的协议使用最小最快的网络载荷提供简单的编程接口Salt同样引入了更加细致化的领域控制系统来远程执行，使得系统成为目标不止可以通过主机名，还可以通过系统属性。SaltStack 采用 C/S模式，

一、简介zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能，它可以运行在Linux，Solaris，HP-UX

一、介绍中文官网Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LR

一、Codis简介 Codis是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务.二、特性自动平衡使用非常简单图形化的面板和管理工具支持绝大多

一、mysql编译安装mysql源码包下载这里用到的是mysql-boost-5.7.31.tar.gz[root@server1 ~]# tar zxf mysql-boost-5.7.31.tar.gzcmake升级:(3.5版本以上)cmake下载这里用到的cmake3.3.6[root@server1 ~]# yum install cmake3-data-3.6.1-2.el7.noarch.rpm cmake3-3.6.1-2.el7.x86_64.rpm -y[root

@nginx+php#php源码编译软件下载：https://www.php.net/ (这里使用的时php-7.4.6版本)如果系统已经装了php请先卸载，以免与源码编译冲突[root@server1 ~]# yum install bzip2 -y[root@server1 ~]# tar jxf php-7.4.6.tar.bz2[root@server1 ~]# cd php-7.4.6/[root@server1 php-7.4.6]# ./configure --prefix=/u

一、服务下载配置[root@server1 ~]# tar zfx nginx-1.18.0.tar.gz [root@server1 ~]# cd nginx-1.18.0/[root@server1 nginx-1.18.0]# yum install gcc[root@server1 nginx-1.18.0]# yum install pcre-devel -y[root@server1 nginx-1.18.0]# yum install openssl-devel -y[root

一、haproxyhaproxy 是一款提供高可用性、负载均衡以及基于TCP（第四层）和HTTP（第七层）应用的代理软件，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的 并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。实验环境：虚拟机配置可以参考上篇文章server1

一、LVS 介绍 目前LVS已经被集成到Linux内核模块中。LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器，该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实...