Sen的博客

利用HAProxy实现impala的负载均衡CDH 官网给出了这个方案，利用 HAProxy 对 Impala Daemon 实现负载均衡, 针对目前的查询量 HAProxy 为单节点部署，若查询量比较大你可以选择将HAProxy 配置成高可用（HAProxy +keepalived）HAProxy的部署安装haproxyyum -y install haproxy配置haproxyvim /etc/haproxy/haproxy.cfg#--------------------------

CDH各组件的配置及优化Oozie-Hue 的配置Oozie 安装好之后，启动web界面会看到如下图：下载Ext Js 依赖：http://archive.cloudera.com/gplextras/misc/wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zipunzip ext-2.2.zipcp -r ext-2.2 /var/lib/oozie/cd /var/lib/oozie/chown -R oozie:oozi

CDH 6.X 的安装部署安装之前你需要了解关于CDH6.X 的一些限制,如Hadoop的主要功能等。本文以6.3.2 为例，官网也给出了详细的安装步骤，这里参考了官网给出的安装方法进行了安装配置基础环境首先你要做基础环境的配置，若果你已经完成可以忽略本段落。免密登录配置root用户的免密登录在master结点上配置单向免密登录纯属个人为了以后操作方便（可以不配置）进入到root用户的根目录下，做如下的操作vim workers,将你的所有结点主机ip及hostname写到workers

Redis 的安装部署一、编译安装今天安装Redis 编译没有通过，白白浪费我半个小时，我很抓狂，这里分享下我的安装方法。下载安装包安装$ wget https://download.redis.io/releases/redis-6.0.9.tar.gz$ tar xzf redis-6.0.9.tar.gz$ cd redis-6.0.9$ make问题一、此时第一步就宣告失败了，原因是载安装包是你需要配置DNS解析，我们配置Google的DNS服务器IPvim /etc/re

CDH 5.15 卸载1、卸载整个集群2、停止 cloudera-scm-agent 和 cloudera-scm-server 服务3、删除原有的文件ssh -n -p$port $UNAME@$ip rm -rf /opt/cloudera*ssh -n -p$port $UNAME@$ip rm -rf /opt/cm*ssh -n -p$port $UNAME@$ip rm -rf /dfs*ssh -n -p$port $UNAME@$ip rm -rf /tmp/*ssh -n

Azkaban 问题总结1、azkaban 服务进程一直删除 temp 目录下的文件，但文件所占空间并没有释放，导致系统磁盘不够用。问题描述运行 df -h 命令看到系统磁盘使用率已达到92%，然后用命令du -sh排查那些目录占用的空间比较多时，并没有发现。运行 lsof | grep deleted 命令后如图：问题解决将 temp 目录改到 数据磁盘目录下修改 executor 结点的配置，重启project.temp.dir=/data9/var/log/azkaban/temp

安装mvn# 下载wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.zip# 解压unzip apache-maven-3.6.3-bin.zip# 配置环境变量export MAVEN_HOME=/opt/mvn/apache-mave...

部署1、在官方网站下载相关安装包： https://jenkins.io/zh/download/wget https://pkg.jenkins.io/redhat-stable/jenkins-2.204.4-1.1.noarch.rpmrpm -ih jenkins-2.204.4-1.1.noarch.rpm安装完成后相关文件路径：#WAR包 /usr/lib/jenkins...

RabbitMQ 安装简介：1、下载rabbitmqwget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.15/rabbitmq-server-3.7.15-1.el7.noarch.rpm2、安装socatyum install socat -y3、下载erlang语言安装包(需...