
Linux运维进阶
AmourHai
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Haproxy(2)——动静分离和读写分离
搭建环境实验环境:rhel7.5主机信息作用server1(172.25.8.1)haproxyserver2(172.25.8.2)读的功能server3(172.25.8.3)写的功能真机测试#1 Haproxy设置黑名单当某主机被添加到黑名单里面的时候,报错让他转移到其他的页面连接[root@server1 ~]# vim /etc...原创 2019-11-07 20:12:50 · 540 阅读 · 0 评论 -
企业级Hadoop大数据平台实战(4)——搭建hdfs和yarn模块
搭建环境实验环境:RHEL7.5 selinux and iptables is disabledHadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件软件版本:hadoop-3.2.1.tar.gz jdk-8u181-linux-x64.tar.gz#将server5和server9调成2G内存,并且是namenode客户端:server6/7/...原创 2019-11-07 20:12:38 · 429 阅读 · 0 评论 -
企业级Hadoop大数据平台实战(3)——Hadoop分布式的实现
#1 搭建实验环境实验环境:rhel7.5主机信息作用server5(172.25.8.5)Namenode(master)server6(172.25.8.6)Datanode(slave)server7(172.25.8.7)Datanode(slave)真机(172.25.8.250)测试Hadoop篇章的第二篇实现了单机版的hadoo...原创 2019-11-07 20:12:26 · 608 阅读 · 0 评论 -
企业级Hadoop大数据平台实战(2)——Hadoop单机版和伪分布式的实现
1.基础知识Hadoop的架构核心,Hadoop主要有两个层次,即:加工/计算层(MapReduce)和存储层(Hadoop分布式文件系统)除了上面提到的两个核心组件,Hadoop的框架还包括以下两个模块:Hadoop通用:这是Java库和其他Hadoop组件所需的实用工具Hadoop YARN :这是作业调度和集群资源管理的框架Hadoop Streaming 是一个实用程序,它允许...原创 2019-11-07 20:10:25 · 255 阅读 · 0 评论 -
企业级Hadoop大数据平台实战(1)——基础知识说明
#1 hadoop定义Hadoop是一个由Apache基金会所开发的分布式系统基础架构用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFSHDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上而且它提供高吞吐量(...原创 2019-11-07 20:10:14 · 926 阅读 · 0 评论 -
Git版本管理系统实战(5)——gitlab 忘记了root密码,无法登陆gitlab
gitlab重置root的密码环境:gitlab 忘记了root密码,无法登陆gitlab解决:gitlab-ctl start 保证gitlab处于启动状态,&保证redis处于启动状态gitlab-rails console production 进入gitlab串口环境下irb(main):001:0>user = User.where(id: 1).first 定位...原创 2019-11-07 20:09:39 · 847 阅读 · 0 评论 -
ELK(4)——环境部署及ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台
3台虚拟机内存:2G,cpu:2#6.6版本#ELK stack:是软件集合elksticsearch\logstash\kibana的集合,都是开源软件#这是集群cluster,若为单机节点,直接起;一个master 两个:worker node搭建实验环境3台虚拟机内存:2G,cpu:2主机信息作用server1(172.25.8.1)master节点...原创 2019-11-07 20:06:14 · 706 阅读 · 0 评论 -
ELK(3)——Logstash6.x 入门
简介Logstash是一个开源的服务器端数据处理管道,可以同时从多个源获取数据。面对海量的日志量,rsyslog和sed,awk等日志收集,处理工具已经显的力不从心。logstash是一个整合型的框架,可以用以日志的收集,存储,索引构建(一般这个功能被ES取代)。工作机制logstash的服务器端从redis/kafka/rabbitmq等(broker)消息队列获取数据。一条数据一条数据...原创 2019-11-07 20:05:37 · 224 阅读 · 0 评论 -
ELK(2)——ElasticSearch节点(角色)类型node.master和node.data
一般地,ElasticSearch集群中每个节点都有成为主节点的资格,也都存储数据,还可以提供查询服务。这些功能是由两个属性控制的(node.master和node.data)。默认情况下这两个属性的值都是true。在生产环境下,如果不修改ElasticSearch节点的角色信息,在高数据量,高并发的场景下集群容易出现脑裂等问题,下面详细介绍一下这两个属性的含义以及不同组合可以达到的效果。一、...原创 2019-11-07 20:05:06 · 744 阅读 · 0 评论 -
ELK(1)——基础理论知识
系统概要我们常说的ELK日志收集系统,完整的应该称为:ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称,它们都是开源软件,目前称为:Elastic Stack,其是ELK Stack 在 5.0 版本加入 Beats 套件后的新称呼。新增得FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上...原创 2019-11-07 20:04:47 · 280 阅读 · 0 评论 -
MFS分布式文件系统实战(5)——mfs重新启动后,将资源恢复成启动状态
#1 将server2重新挂载#打开server3的存储共享#重启server1的iscsid服务登陆#将其资源组设置成自启动服务#打开集群服务#打开server4的服务#打开fence服务...原创 2019-11-07 20:03:44 · 235 阅读 · 0 评论 -
MFS分布式文件系统实战(4)——MFS高可用(pacemaker+corosync+vmfence+mfsmaster)
1.什么是pacemaker?Pacemaker是一个集群资源管理器。它利用集群基础构件(OpenAIS 、heartbeat或corosync)提供的消息和成员管理能力来探测并从节点或资源级别的故障中恢复,以实现群集服务(亦称资源)的最大可用性。它可以做几乎任何规模的集群,并带有一个强大的依赖模式,让管理员能够准确地表达群集资源之间的关系(包括顺序和位置)。几乎任何可以编写的脚本,都可...原创 2019-11-07 20:03:28 · 781 阅读 · 0 评论 -
MFS分布式文件系统实战(3)———MooseFS异常关闭,重新启动服务会导致失败
问题:关闭电脑后,重新打开,发现mfsmaster服务无法启动问题原因:因为异常关闭mfsmaster后,导致imfsmaster和moosefs-chunkservers数据不同步,以至于导致的mfsmaster服务无法启动;解决办法1:#1查看日志,报错信息:输入:vim /var/log/messages报错信息:cat’t find metadata.mfs - try usi...原创 2019-11-07 20:01:25 · 1167 阅读 · 0 评论 -
MFS分布式文件系统实战(2)——搭建基本的MFS系统(client端+master端+chunk端)
1.搭建实验环境实验环境:rhel7.3主机信息作用sevrer1(172.25.8.1)mfs master节点sevrer2(172.25.8.2)mfs chunk节点sevrer3(172.25.8.3)mfs chunk节点真机(172.25.8.250)mfs client客户端9421 # 对外的连接端口9420 ...原创 2019-11-07 20:01:16 · 527 阅读 · 0 评论 -
MFS分布式文件系统实战(1)——基础知识
1.MFS概述MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源常规特征对标准的文件操作来说,mfs用起来跟其它的类unix系统类似:1、分层次的结构(目录树)2、存储POSIX文件属性(权限、最后访问和修改时间)3、支持特殊文件(块和字符设备、管道以及套接字)4、符号连接和硬连接5、对文件系统的访问可以通过IP...原创 2019-11-07 20:01:02 · 190 阅读 · 0 评论 -
Git版本管理系统实战(4)——gitlab(搭建私有仓库)
github是搭建共有仓库1.gitlab的简介GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务安装方法是参考GitLab在GitHub上的Wiki页面2.git、gitlab、github的区别和SVN类似,Git是一个版本控制系统(Version Control System,VCS)不同的是SVN为集中式版本控制系统,为...原创 2019-11-07 20:00:35 · 660 阅读 · 0 评论 -
Git版本管理系统实战(3)——Git本地仓库的搭建与使用
搭建实验环境实验环境:redhat7.5主机信息作用内存:cpuserver1(172.25.8.1)搭建git仓库4G:4server2(172.25.8.2)2G:2(1)准备两台新的虚拟机[root@foundation8 images]# qemu-img create -f qcow2 -b rhel7.5-1.qcow2 redhat1 ...原创 2019-11-07 20:00:22 · 306 阅读 · 0 评论 -
Git版本管理系统实战(2)——Git命令详解
Git常用命令详解命令名称含义git add将工作区的从修改提交到暂存区git commit将暂存区的修改提交到当前分支git reset回退到某一版本git stash保存某次修改git pull从远程更新代码git push将本地代码更新到远程分支上git reflog查看历史命令git status...原创 2019-11-07 20:00:05 · 246 阅读 · 0 评论 -
Git版本管理系统实战(1)——基础理论知识
1.什么是git?GIT (分布式版本控制系统)Git是一个开源的分布式版本控制系统,可以有效、高速地处理从很小到非常大的项目版本管理。Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。Torvalds 开始着手开发 Git 是为了作为一种过渡方案来替代 BitKe。开源的最先进的分布式版本控制系统,没有之一用以高效、高速的...原创 2019-11-07 19:59:51 · 221 阅读 · 0 评论 -
SaltSack自动化运维(15)——SaltStack中的API接口
1.API接口(salt-api介绍)原创 2019-11-07 19:59:31 · 176 阅读 · 0 评论 -
原创 SaltSack自动化运维(14)——在saltstack工具中添加自己想要的模块
saltstack这个自动化运维工具中具有大量的模块和方法实现自动化运维其实就是调用工具中的模块和方法来实现自动化部署原创 2019-11-07 19:59:20 · 169 阅读 · 0 评论 -
SaltSack自动化运维(13)——ssh模块(免客户端方式的部署和实施)
1.Salt SSH 介绍原创 2019-11-07 19:58:12 · 148 阅读 · 0 评论 -
SaltSack自动化运维(12)——saltstack建立top-master主机:实现大规模的集群管理(topmaster+(syndic+master)+minion1+minion2)
1.为什么要使用topmaster?原创 2019-11-07 19:58:00 · 170 阅读 · 0 评论 -
SaltSack自动化运维(11)——将推送数据保存在数据库中的两种方式
方式一:在master节点和minion节点均部署数据库原创 2019-11-07 19:57:49 · 126 阅读 · 0 评论 -
SaltSack自动化运维(10)——引用变量的多种方式
前言原创 2019-11-07 19:57:37 · 153 阅读 · 0 评论 -
SaltSack自动化运维(9)——实现高可用(apache+nginx+keepalived)
前言原创 2019-11-07 19:57:15 · 178 阅读 · 0 评论 -
SaltSack自动化运维(8)——grains(静态数据)+pillar(动态参数)的详细说明
1.基本概念原创 2019-11-07 19:57:03 · 138 阅读 · 0 评论 -
LNMP架构之动态缓存(nginx +tomcat+memcache)
以下所有的实操是在rhel7.3上关于tomcatTomcat是Apache软件基金会(Apache Software Foundation)的Jakarta项目中的一个核心项目,由Apache、Sun和其他一些公司及个人共同开发而成。Tomcat是一个轻量级应用服务器。java程序写的网站用tomcat+jdk来运行。tomcat是一个中间件,真正起作用的,解析java脚本的是jdk...原创 2019-11-07 19:55:53 · 138 阅读 · 0 评论 -
zabbix监控apache
以下所有的实操都是在rhel7.3上zabbix简介zabbix([`zæbiks])是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成,zabbix server与可选组件zabbix agent。zabbi...原创 2019-11-07 19:55:40 · 508 阅读 · 0 评论 -
zabbix监控之zabbix-agent被动变为主动,搭建Proxy代理
1.Agent被动变为主动:原创 2019-11-07 19:55:18 · 122 阅读 · 0 评论 -
redis的集群部署
redis简介:redis 是一个高性能的 key-value 数据库。 redis 的出现,很大程度补偿了memcached 这类 keyvalue 存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了 Python,Ruby,Erlang,PHP 客户端,使用很方便。Redis 的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”);...原创 2019-11-07 19:55:02 · 130 阅读 · 0 评论 -
redis的主从复制
以下的所有实操都是在redhat7.3上配置环境server1172.25.70.1masterserver2172.25.70.2slaveserver3172.25.70.3slave1.配置一主二从环境在server1上[root@server1 redis-5.0.3]# mkdir redis[root@server1 redis-5...原创 2019-11-07 19:52:42 · 157 阅读 · 0 评论 -
转载————超详细!使用 LVS 实现负载均衡原理及安装配置详解
负载均衡集群是 load balance 集群的简写,翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy,商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。一、负载均衡LVS基本介绍LB集群的架构和原理很简单,就是当用户的请求过来时,会直接分发到Director Server上,然后它把用户的请求根据设置好的调...原创 2019-11-07 19:44:46 · 233 阅读 · 0 评论 -
企业版Docker<4>——如何通过阿里云的镜像加速器快速拉取镜像到本地
以下所有的实操都是在rhel7.5上1.为什么要使用阿里云的镜像加速器?构建容器的镜像全部在下面这个网站里面,但是这个站点在国外,对于我们来说使用很不方便,下载非常慢国内的阿里云上有自己已经拉取过来的镜像可以供我们直接使用但是如果我们使用的镜像aliyun上面没有,那么我们也可以借助阿里云镜像加速器来拉取镜像国内从 Docker Hub 拉取镜像有时会遇到困难,此时可以配置镜像加速器...原创 2019-10-18 04:49:57 · 299 阅读 · 0 评论 -
企业版Docker<13>——Docker容器通信(实现容器与外网通信)
docker(12)和docker(11)已经介绍过原生网络和自定义网络前言建议使用自定义的网桥来控制那些容器可以相互通信,还可以自动DNS解析容器名称到IP地址Docker提供了创建这些网络的默认网络驱动程序,你可以创建一个新的Bridge网络,Overlay或Macvlan网络你还可以创建一个网络插件或远程网络进行完整的自定义和控制你可以根据需要创建任意数量的网络,并且可以在任何给...原创 2019-10-18 04:41:08 · 271 阅读 · 0 评论 -
SaltSack自动化运维(7)——配置nginx的自动化部署(从基本部署到各项优化)
1.为什么要配置nginx的自动化部署?nginx在实际生产环境当中意义巨大,因此自动化部署nginx是必须要会的!!!2.具体过程如下已经做过apache的自动化部署了,今天接着来学习nginx打开4台虚拟机的服务[root@server5 salt]# mkdir nginx[root@server5 salt]# mkdir pkgs[root@server5 sal...原创 2019-10-18 04:56:44 · 181 阅读 · 0 评论 -
SaltSack自动化运维(6)——SaltStack配置文件详解
1.master配置文件详解saltstack大部分配置都已经指定了默认值,只需要根据实际需求进行修改就行 vim /etc/salt/master2. minion配置文件详解vim /etc/salt/minion...原创 2019-10-18 04:56:35 · 164 阅读 · 0 评论 -
SaltSack自动化运维(5)——SaltStack命令详解
1.salt命令详解man salt或者salt -h 都可以查看salt命令使用方法salt -hUsage: salt [options] '<target>' <function> [arguments]Options(选项):--version : 查看saltstack软件的版本号。--versions-report : 查看saltstack软件以及...原创 2019-10-18 04:56:23 · 334 阅读 · 0 评论 -
SaltSack自动化运维(4)——配置简单的自动化部署(安装httpd和haproxy)
以下所有的实验来都是在redhat7.3上当修改salt-minionid操作不当时,会导致master端grains.get会获取两个客户端。 每个都无法进行操作。这是由于salt的密钥缓存机制引起的。之前使用saltstack添加的主机默认使用了hostname作为salt-minion id,而主机名如果没有做规范和规划,是比较难区分属于什么业务或者机器的。我们需要修改salt-min...原创 2019-10-18 04:56:12 · 173 阅读 · 0 评论 -
ansible自动化运维(4)——Ansible实现远程创建用户并对密码进行加密设置
以下所有的实验来都是在redhat7.3上(1)查看主机信息(2)编写最基本的创建用户的yml文件(3)开始为server6主机创建用户(4)在server6上查看用户(5)再次编辑yml文件,加入密码并且加密(6)查看server6用户是否被进行加密,下图显示已加密(7)再次编辑,执行并且查看(8)为了实现高效添加,引用文件变量创建一个专门存放用户名和...原创 2019-10-18 04:55:51 · 524 阅读 · 0 评论