justlpf的专栏

参考文章：CDH内存调拨过度警告分析1.问题描述Hadoop应用程序或者Yarn的作业随机的出现OutOfMemory(OOM)，在Cloudera Manager界面显示如下警告：ip-172-31-24-169.ap-southeast-1.compute.internal: Memory Overcommit Validation Threshold Suppress...Memory on host ip-172-31-24-169.ap-southeast-1.compute.in

参考文章：CDH 完全卸载脚本CDH集群的安装部署对系统环境的影响非常大，在不重装操作系统的前提下，完全卸载干净是比较困难的。 难点在于需要删除的东西太多，不删干净了非常容易造成安装失败。通过反复尝试，终于写了一个一键式删除CDH脚本，经过测试是可行的。删除脚本文件remove_cloudera.sh内容如下：#!/bin/bash# 停止CM服务service cloudera-scm-server stopservice cloudera-scm-agent stop#

参考文章：CDH| Spark升级目录升级之Spark升级升级过程1 离线包下载2 离线包上传页面操作命令行查看命令升级之Spark升级在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。Cloudera发布Apache Spark 2概述(可以在这里面找到安装方..

问题: cdh安装hive报错: Failed to Validate Hive Metastore schema. 解决方法： 在cdh角色配置页中，将hive的Hive Metastore server配置为master机器即可。

参考文章：CDH常用端口汇总Hadoop：50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口8485 ： JournalNode 的RPC端口8019 ： ZKFC端口10020：historyserver端口Zookeeper:2181 ： 客户端连接zookeeper的端口2888 ： zookeeper集群内通讯使用，Leader监听此端口3888

参考文章：centos7开通SSH免密码登录SSH介绍SSH 为 Secure Shell 的缩写，由 IETF 的网络工作小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH原理：节点A要实现无密码...

参考文章：CDH在yarn上运行程序乱码安装完成CDH后，在yarn上不管是使用hive运行mapreduce还是spark，中文全都会乱码。1. linux的环境变量设置字符集vi /etc/profileexport LANG=zh_CN.UTF-82. 修改mapreduce的环境变量hadoop-env.shexport HADOOP_OPTS="-server -Dfile.encoding=utf-8 -Duser.language=zh"CM界面yarn配

CDH中kafka想要在删除topic时，彻底删除，需要在kafka的配置页中进行如下配置：设置 delete.topic.enable=true设置完成后重启kafka即可。

参考文章：CDH环境安装KUDU1.点击主机下面的Parcel2.点击KUDU对应的下载，下载完后点击分配，激活3.回到首页添加服务4.选择KUDU选择继续5.分配角色6.设置master和Tablet的路径7.配置impala支持KUDU7.1 点击impala7.2 点击配置7.3 找到KUDU服务，选择Kudu然后重启服...

参考：CDH 中配置 Kafka MirrorMaker 实现 Kafka 集群消息同步1. 添加 Kafka MirrorMaker 服务2. 添加 Kafka 源集群和目标集群配置Destination Broker List ：目标集群 Broker列表，需在目标集群先创建需要同步 Topic Source Broker List ：源集群 Broker 列表 To...

一、安装NTPyum -y install ntp二、设置开机启动chkconfig ntpd on三、配置内网NTP Server1、修改ntp.confvi /etc/ntp.conf第一种配置：允许任何IP的客户机都可以进行时间同步 将restrict default kod nomodify notrap nopeer noquery这行修改...

参考文章：apache Impala详细安装（躺过最全的坑）

参考文章：CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0CentOS7安装CDH 第四章：CDH的版本选择和安装方式CentOS7安装CDH5.14.0过程全纪录------------------------------------------------------------------------------------------------CD...

参考文章：CentOS7安装CDH 第六章：CDH的管理-CDH5.12CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作CentOS7安装CDH 第九章：CDH中安装KafkaCentOS7安装CDH 第十章：CDH中安装Spark2CentOS7安装CDH 第十一章：离线升级CDH版...

参考文章：CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0CentOS7安装CDH 第四章：CDH的版本选择和安装方式CentOS7安装CDH5.14.0过程全纪录

参考文章：集群、全文检索、大数据（Hadoop）一、痛点一个产品的出现肯定是为了解决用户的痛点，在大数据领域，我们这些使用Hadoop、Hive、Hbase等的开发者来说就是其用户。如果使用原生的Apache Hadoop，在工作中我总结出了如下痛点（部分）：集群规模很庞大时搭建Hadoop集群复杂度越来越高，工作量很大 规模很大的集群下升级Hadoop版本很费时费力 需要自己保证...

参考文章：CDH，HDP，Apache Hadoop之间的关系一、综述目前Hadoop发行版非常多，有华为发行版、Intel发行版、Cloudera发行版（CDH）等，所有这些发行版均是基于Apache Hadoop衍生出来的，之所以有这么多的版本，完全是由Apache Hadoop的开源协议决定的：任何人可以对其进行修改，并作为开源或商业产品发布/销售。(http://www.apac...