ZH519080的博客

在IDEA中运行Spark SQL读取hdfs文件时报java.io.IOException: (null) entry in command string: null ls -F C:\tmp\hive的错，或者是报 Exception in thread "main" org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir:

YARN的架构图有图可知，ResourceManager（RM）对整个集群的重要就不言而喻了吧。但是由于多种原因可能会造成ResourceManager出现问题，由于单位的集群ResourceManager也出现问题，今天我分析一下ResourceManager的High Availability（高可用性）。ResourceManager的作用：负责协调集群上计算资源的分配，与Nod...

我要养成记录的习惯！！！首先下载（版本zookeeper-3.4.12）-解压zookeeper伪分布式安装就是在同一台机器上安装多个zookeeper（即在同一台机器上有多个QuorumPeerMain进程）。我在同一台机器上安装了3个zookeeper。把解压完成的zookeeper-3.4.12重新命名为zookeeper01 ：        mv zookeeper-...

当遇到某个字段的属性值为空时，可以使用IF、ISNULL函数进行处理。hive的IF函数：IF(expr1,expr2,expr3) - If expr1 is TRUE (expr1 <> 0 and expr1 <> NULL) then IF() returns expr2; otherwise it returns expr3. IF() returns a...

使用sqoop-1.4.6由mysql向hive导入数据：sqoop import --connect "jdbc:mysql://ip:mysql_port/mysql_database_name?useUnicode=true&characterEncoding=UTF-8" --username mysql_user_name --password mysql_user_passwo...

是关于CDH-5.8.3的hadoop-2.6.0生态系统的安装，在很大一部分上可以增加稳定性和协调性，要比单个安装apache 版本的hadoop生态系统要简单方便

对hive查询语句的一些小总结

1、自定义key和value组合键类NewKeyPari public static class NewKeyPari implements WritableComparable{ Long first; Date second; public Long getFirst() { return first; } public void setFirst(Lon

hadoop-2.6.0集群配置，有什么其他问题欢迎交流

1、  在vmware forlinux上安装Centos6.52、  在centos上配置网络信息3、  Centos创建用户“zhuhaichuan”4、  关闭防火墙5、  配置/etc/hosts文件6、  Jdk安装7、  ssh无密码登陆8、  hadoop配置安装9、  hama配置安装        注意：我的jdk安装在root用户中，ssh、

package org.mapreduce;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import

有错误提示file:///的提示信息是想需要本地文件系统（file:///为本地文件系统标识）,代码无法识别HDFS文件系统，需要在Configuration中配置相应的参数。如何来配置Configuration参数？使用hadoop-2.6.0（因为我用的是apache-hadoop-2.6.0版本）的core-site.xml（/HADOOP_HOME/etc/hadoop/）的fs.

今天搭建了一个hadoop2.0(yarn集群平台)，首先在上面测试了一个FileSystem实例程序，代码如下：import java.io.IOException;import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils;import org.apache.hadoop.c