【已解决】关于IDEA中 Driver 出现Exception in thread &quot；main&quot； java.lang.NullPointerException问题

最新推荐文章于 2023-04-12 09:21:58 发布

樱喵喵

最新推荐文章于 2023-04-12 09:21:58 发布

阅读量3.4k

点赞数 3

文章标签： hive 大数据 hdfs hadoop mapreduce

本文链接：https://blog.youkuaiyun.com/qq_53137648/article/details/123638795

版权

在学习Hive过程中遇到MapReduce编程问题，博主详细记录了从编写Mapper、Reducer、Driver到运行报错的整个过程。问题在于Driver中设置输入输出路径时未指定或指定了已存在的路径。解决方案是确保指定的路径在本地不存在，避免文件夹已有的情况。通过调整路径设置，最终成功运行了程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在学习hive过程中，按照mapreduce编程规范，分别编写Mapper，Reducer，Driver，在编写Driver后运行报错了，花了两天，找到了解决方案（裂开.JPG）。

代码：
package com.miao;

import org.apache.hadoop.conf.Configuration;
        import org.apache.hadoop.fs.Path;
        import org.apache.hadoop.io.IntWritable;
        import org.apache.hadoop.io.Text;
        import org.apache.hadoop.mapreduce.Job;
        import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
        import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WCDriver {

    public static void main(String[] args) throws Exception {
        // 1 创建一个配置对象
        Configuration conf = new Configuration();
        // 2 通过配置对象获取一个job对象
        Job job = Job.getInstance(conf);
        // 3 设置job的jar包
        job.setJarByClass(WCDriver.class);
        // 4 设置job的mapper类，reduce类
        job.setMapperClass(WCMapper.class);
        job.setReducerClass(WCReducer.cl