大壮的博客

1.报错如下Encountered exception loading fsimagejava.io.IOException: NameNode is not formatted.上午10点28:19.302分 WARN FSNamesystem Encountered exception loading fsimagejava.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.name

权限不够Invalid config, exiting abnormallyservice/zookeeper/zkserver.sh: lineSevere unrecoverable error, exitingjava.io.FileNotFoundException: /var/lib/zookeeper/version-2/snapshot.0 (Permission denied)等等问题，见招拆招好了。看下报错日志XX:OnOutOfMemoryErr..

现象就是晚上来了，发现抛了一个异常，主机运行状况不佳。删除agent目录下面的cm_guid文件，并重启失败节点的agent服务恢复。cm_guid文件的内容大概是uuid，用于唯一标示agent隶属于哪一个server。如图cd到每台主机的目录/var/lib/cloudera-scm-agent下，把cm_guid文件 删除。然后重启代理服务节点命令： service cloudera-scm-agent restart重启之后即可：...

CDH集群搭建全量文档很快公司申请下来了一批非常牛逼的机器作为新的生产环境，老的节点机器考虑后续回收。。。接下来就要展示本次CDH的开发环境的全部制作情况，如果有任何的疑问，请留言告知我改正，基本上遇到的坑也都在本文档中有所处理，接下来，就是所有文档。同学给的文档 https://blog.cs...

1.这里账户查一下。2.修改配置文件find / -name beeswax选择这个带src的。vim 该文件DOWNLOAD_CELL_LIMIT = Config(key='download_cell_limit',# 表格限制的大小，行数 * 列数。加一个0即可，修改后可下载的行数变成100万default=1...

一、报错问题IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK:权限不够根据YARN的异常日志，可以看到提示的信息为“IO error:/var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: Permission denied”。需要登录N...

1.首先来调整自动创建队列的情况发生，这会让我们失去控制。设置两个yarn集群参数，禁止自动创建资源队列yarn.scheduler.fair.user-as-default-queue false 2. yarn.scheduler.fair.allow-undeclared-pools2.创建动态资源池创建资源池并且将原有资源池进行更改 创建新增用户...

问题CDH 集群，出现 Entropy 不良问题，原因是系统熵值低于 CDH 检测的阀值引起的, 所以解决思路是需要调大系统熵值。解决查询系统熵值大小cat /proc/sys/kernel/random/entropy_avail安装 rng-tools 工具yum install rng-tools修改 /etc/sysconfig/rngd 文件，如...

Sqoop简介Sqoop是一个用于Hadoop和关系型数据库或主机之间的数据传输工具。它可以将数据从关系型数据库import到HDFS，也可以从HDFS export到关系型数据库，通过Hadoop的MapReduce实现。我们现在的需求就是需要sqoop导入，真个库从mysql到hive里面咯。Sqoop命令执行 sqoop help, 可以看到Sqoop支持的命令：Sq...

因为发现有人抄袭我的文章，所以有需要cdh版本做搭建的朋友在下方留言，我提供文档。

实时计算部分代码开发 1.首先我们来说一下cdh搭建flume flume非常的简单，直接cdh就可以集成了，不多赘述 用cdh非常的简单，接下来说一下kafka的集成吧，而kafka 则相对比较麻烦点，需要下载kafka的服务描述jar包 ...

其实也就是需要整合ods层数据内容如下，非常的简单azkaban整合sqoop来抽取mysql数据到hive中来。 1.安装从节点的azkaban（以前有文档，要么就是说区别就是，现在是centos7.6，版本比较新而已） 也比较简单，可以参考我的文档来搭建，非常的简单。。。 https://b...

详细的文档在系列cdh搭建第一篇有详细的介绍，但是相关场景，觉得还是需在本篇做一下补充。。。spark2自定义安装 参考这篇文章 https://blog.youkuaiyun.com/Gavin_chun/article/details/78554277 一、下载 ...

首先准备hive数据，这个例子ok之后，我们要开始数据仓库建设了，我们分4层即可，ods数据准备层、dw数据明细层、dm数据集市、st数据应用层构建数据仓库create database test;show databases;准备数据(employees.txt)1201 Gopal 45000 Technical manager1202 M...