运维
关注
分享
扫一扫
文章平均质量分 95
韦晓阳
忘川，相忘回首已成川
展开
-
Redis Cluster搭建和开机自启设置
一、前言 redis最开始使用主从模式做集群，若master宕机需要手动配置slave转为master；后来为了高可用提出来哨兵模式，该模式下有一个哨兵监视master和slave，若master宕机可自动将slave转为master，但它也有一个问题，就是不能动态扩充；所以在3.x提出cluster集群模式。redis从3.0开始支持集群功能。redis集群采用无中心节点方式实现，无需proxy代理，客户端直接与redis集群的每个节点连接，根据同样的hash算法计算出key对应的s...原创 2021-03-31 09:35:47 · 1052 阅读 · 0 评论 -
Ambari 配置邮箱告警
Ambari 配置告警配置Manage Notifications创建告警通知配置告警原创 2018-08-23 08:56:40 · 604 阅读 · 0 评论 -
Ambari配置namenode HA
NameNode High Availability配置在Ambari ui中, 选择Services > HDFS > Summary. 点击 Service Actions, 点击 Enable NameNode HA. 在Get Started 页面中, 输入一个 Nameservice ID然后点 Next.HA配置完后，就不用NameNode全域名而是用Na...原创 2018-08-23 08:53:07 · 2493 阅读 · 0 评论 -
CenOS7下Ambari版本更新
一 、准备1、备份ambari server数据库进入postgres，pg_dump ambari>ambari.sqlpg_dump ambarirca>ambarirca.sql 备份文件在yun5:/var/ambariBack下备份好ambari.properties配置文件(/etc/ambari-server/conf/ambari.prope...原创 2018-08-23 08:50:45 · 655 阅读 · 0 评论 -
Zookeeper的CancelledKeyException异常问题
项目中用到storm+kafka+zookeeper，在实际应用中zk和kafka常出问题，这里记录下在使用zk过程中的问题。注：zk版本是3.4.8，kafka是0.8.2.0。zk、storm和kafka都是运行在同一个集群的三台机器上。CancelledKeyException在开发环境测试的时候，一直没有问题，后来原样移植到测试环境下，zk总是出异常，导致kafka和storm...转载 2018-09-11 09:04:59 · 4317 阅读 · 1 评论 -
win10下安装thrift插件
linux下thrift安装和rhbase安装：https://blog.youkuaiyun.com/qq_21153619/article/details/822507251、概述Thrift最初由Facebook开发的，后来提交给了Apache基金会将Thrift作为一个开源项目。当时facebook开发使用它是为了解决系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特...原创 2018-09-10 10:35:48 · 2486 阅读 · 1 评论 -
Ambari服务邮箱告警
1、登录ambari管理页面，找到Manage Notifications选项2、创建告警3、配置告警4、163邮箱授权码设置5、修改邮件标题（若没特殊需求，可忽略）下载 alert-templates.xml https://raw.githubusercontent.com/apache/ambari/branch-2.5/ambari-serve...原创 2018-11-05 16:50:41 · 1210 阅读 · 0 评论 -
Linux下ntp时间服务器搭建
环境准备系统：CenOS7.5 虚拟机：172.8.10.140-147 主：172.8.10.140 从：172.8.10.141-147一、确认ntp的安装1、确认是否已安装ntprpm -qa|grep -i ntp2、删除已安装ntprpm -ev xxx --nodeps #强制性卸载xx服务rpm -ev fontpackages-filesy...原创 2018-12-14 10:22:14 · 1425 阅读 · 1 评论 -
linux下pip和pip3安装
1、pip#执行wget命令提示 -bash: wget: command not found yum -y install wget#安装pipwget https://bootstrap.pypa.io/get-pip.pypython get-pip.py#查看pip版本pip -V如果出现错误Traceback (most recent cal...原创 2018-11-29 14:01:10 · 70357 阅读 · 1 评论 -
linux下python2与python3并存
ambari底层的协议是走python2的，但是storm和spark运行python脚本的时候，需要python3的方法，所有这时候就需要python2与python3并存。1、查看Python2的版本ambari默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5。使用 python -V 查看python版本然使用 which ...原创 2018-11-29 17:24:48 · 19580 阅读 · 0 评论 -
Ambari SmartSense原理
Hortonworks SmartSense工具（HST）用于收集群集诊断数据，用于协助支持案例故障排除和SmartSense分析。HST使用中央服务器守护程序和分布式的被动HST代理集。HST代理进程不是长期服务，仅在需要特定数据捕获任务时启动。一旦HST代理捕获了所请求的数据，该过程就会停止。HST代理捕获的所有数据都将发送到中央HST服务器，以合并为单个可下载的捆绑文件。然后...原创 2018-11-12 17:04:36 · 10144 阅读 · 3 评论 -
Ambari Metrics 原理
Ambari Metrics System 简称为 AMS，它主要为系统管理员提供了集群性能的监察功能。Metrics 一般分为 Cluster、Host 以及 Service 三个层级。Cluster 和 Host 级主要负责监察集群机器相关的性能，而 Service 级别则负责 Host Component 的性能。AMS 涉及的模块如下图所示：图 1. Ambari M...原创 2018-11-12 16:56:49 · 1208 阅读 · 0 评论 -
ambari心跳丢失Heartbeat Lost或者无法确认主机confirm hosts
第一种情况，心跳丢失：原因1：server或者agent更换ip或域名，导致服务无法检测修改ip或域名：vim /etc/ambari-agent/conf/ambari-agent.ini重启服务：ambari-agent restart原因2：openSSL兼容性有问题解决方法如下。第二种情况：ambari安装时无法确认主机confirm hosts...原创 2018-11-12 16:07:30 · 6782 阅读 · 1 评论 -
CentOS7下sqoop搭建
CentOS下sqoop安装1.在官网找到适合 hadoop2.X 的sqoop进行下载2.输入 mkdir /usr/local/sqoop 建立sqoop目录3.将下载好的tar包放到该目录4.进入该目录，输入解压命令，解压tar包5.输入 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop1.4.6 修改文件名，这里不...原创 2018-08-20 10:15:43 · 2613 阅读 · 1 评论 -
CentOS7搭建spark2.1.0集群搭建
CentOS7搭建spark2.1.0完全分布式这里搭建的是3个节点的完全分布式，即1个master，2个worker，分别如下：CentOS-master master 192.168.11.128CentOS-node1 worker 192.168.11.131CentOS-node2 worker 192.168..11.132 1.三个...原创 2018-08-20 10:01:33 · 1467 阅读 · 0 评论 -
CenOS7下Hive集群搭建
CentOS下hive（数据仓库工具）安装采取服务端与客户端分离模式在master上安装服务端在node1上安装客户端一、服务端安装1.输入 mkdir /usr/local/hive ，建立一个hive的目录2.将hive的tar包上传到建好的目录3.进入hive目录，输入 tar -zxvf apache-hive-0.13.0-bin.tar.gz 解压hi...原创 2018-08-15 09:56:47 · 7646 阅读 · 0 评论 -
CentOS7下Hbase1.2.4伪分布式搭建
CentOS下Hbase安装1.输入 http://hbase.apache.org/book.html#basic.prerequisites 进入Hbase官网查看应该使用的版本，因为hadoop不同版本，对Hbase的支持不同2.输入 mkdir /usr/local/hbase 建一个目录3.将hbase的tar包放到该目录下4.进入该目录，输入解压命令，解压该...原创 2018-08-15 09:50:36 · 1037 阅读 · 0 评论 -
CentOS7下Hbase1.2.4集群搭建
CentOS下Hbase完全分布式安装1. 在做这之前，也是需要修改hosts文件、主机名、系统时间，配置ssh免密登陆，并且安装配置好JDK和hadoop环境2.其他步骤参考Hbase单机版安装，以下总结的是与单机版不同的地方3.输入 mkdir /usr/local/hbase/logs 在hbase目录下新建一个log文件夹，用于存放日志文件4.进入/usr/local/...原创 2018-08-15 09:48:07 · 1054 阅读 · 0 评论 -
CenOS7下Haproxy1.7.8负载均衡搭建
1.首先放置jar包（源代码haproxy-1.7.8.tar.gz）目录 /usr/local/haproxy 2.解压目录 tar -xvf haproxy-1.7.8.tar.gz进入 haproxy-1.7.8 编译 make TARGET=linux2628 PREFIX=/usr/local/haproxy（需安装gcc不然...原创 2018-08-15 08:50:22 · 879 阅读 · 0 评论 -
CenOS7下Flume1.7.0数据采集框架搭建
一、Flume简介1.Flume是什么？是一个分布式框架。 是Cloudera提供的一个高可用的，高可靠的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据。 提供对数据进行简单处理，并写到各种数据接受方（可定制）。2.Flume的优点？采用ad-hoc方案，明显优点如下： 1.可靠的、可伸缩、可管理、可定制、高性能 2.声明式...原创 2018-08-15 08:23:46 · 456 阅读 · 0 评论 -
CenOS7.2下Azkaban2.5.0任务调度集群搭建
azkaban→工作流调度器一、Azkaban概述Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下功能特点：Web用户界面 方便上传工作流 方便设置任务之间的关系 调度工作流 认...原创 2018-08-11 07:59:25 · 584 阅读 · 0 评论 -
Centos7.2安装Ambari2.5.2+HDP2.6.2搭建Hadoop集群
ambari搭建步骤一、 环境准备1、主机准备192.168.1.61 knowyou-master.knowyou.com 192.168.1.62 knowyou-01.knowyou.com 192.168.1.71 knowyou-02.knowyou.com ...原创 2018-08-11 07:52:19 · 1090 阅读 · 0 评论 -
CenOS7下CM&CDH大数据平台搭建
目录 一、CM & CDH简介（***了解***）1.Apache Hadoop 不足之处2.CDH是什么？3.CDH的优点？4.CDH版本介绍（***了解***）5.CDH版本下载地址6.CDH支持的安装方式7.Cloudera Manager（CM）介绍8.为什么要学习CM？9.CM & CDH版本下载二、CM & CDH...原创 2018-08-10 08:43:32 · 4008 阅读 · 1 评论 -
Linux下R环境安装 ----源码编译安装和yum在线安装
R环境的两种安装方式，源码编译安装和yum在线安装第一种：源码编译安装1.首先，从官网上下载3.5.0版本2.下载完后记得解压，我的习惯是解压在/usr/local下面tar -zxvf R-3.5.0.tar.gz3.然后，安装各种依赖环境yum install -y gccyum install -y glibc-headersyum install -y li...原创 2018-08-03 13:55:19 · 3173 阅读 · 0 评论 -
CentOS7下Oracle安装
OracleLinux安装Oracle一、准备工作1.打开终端，输入命令 groupadd oinstall 创建用户组2.输入命令 groupadd dba 创建用户组dba3.输入命令 useradd -g oinstall -g dba -m oracle 创建oracle用户，并加入到oinstall和dba用户组4.输入命令 passwd oracle 设...原创 2018-08-17 09:20:31 · 23613 阅读 · 13 评论 -
CenOS7下Nginx集群搭建
nginx安装文档1.软件环境CentOS7 JDK1.8 redis3.2.82.安装依赖包输入yum -y install pcre-develyum -y install openssl-develyum -y install gccyum -y install lrzszyum -y install openssh-clients或者输入yum...原创 2018-08-17 08:48:44 · 17669 阅读 · 1 评论 -
CentOS7下mysql5.7.15安装
centOS7下mysql5.7.15安装下载rpm包，下载地址 http://dev.mysql.com/downloads/mysql/，选择Linux-Generic版本2.新建 /usr/local/mysql 文件夹，将4个rpm包上传到该目录3.到该目录下，输入命令 rpm -ivh mysql-community-common-5.7.15-1.el7.x86_64...原创 2018-08-17 08:42:34 · 685 阅读 · 0 评论 -
Mysql集群搭建（多实例、主从）
目录1 MySQL多实例一 、MySQL多实例介绍1、什么是MySQL多实例2、MySQL多实例的特点有以下几点3、部署mysql多实例的两种方式4、同一开发环境下安装多个数据库，必须处理以下问题2 mysql多实例搭建一、mysqld_multi搭建1、下载免编译二进制包2、解压和迁移3、关闭iptables4、关闭selinux5、创建mys...原创 2018-08-09 08:33:33 · 156903 阅读 · 12 评论