Windows端本地开发Spark应用-new HiveContext报NullPointerException

Windows电脑开发Spark应用时，以local模式运行在本地，通过new HiveContext(sc)报java.lang.NullPointerException

at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)

一、环境相关

1. Windows 10

2. IDEA 2018

3. JDK 1.8

4. Scala 2.10.5

5. Hadoop 2.6

6. Spark 1.6.3

 

二、报错信息

三、分析原因

根据上面报错信息，设置断点，查找原因。

四、解决方案

安装Windows版Hadoop

1. 准备清单

1）hadoop压缩包

下载地址：http://hadoop.apache.org/

2）winutils

下载地址：https://github.com/Lovehp/hadoop_spark_windows

2. 安装步骤

1）将hadoop-2.6.5.tar.gz压缩包解压至指定位置（C:\Software\hadoop-2.6.5），并将改路径配置到系统环境变量

2）将winutils-master.zip解压，找到对应hadoop版本的文件夹，将bin目录下的winutils.exe拷贝到第一步路径下的bin目录下

因为是在windows环境，在运行的时候会模拟linux，需要winutils.exe，winutils.exe的路径代码中默认是从hadoop的安装路径的bin目录下。所以还需要上面的HADOOP_HOME变量。

3）重启电脑

问题解决，enjoy IT！！！