mapreduce运行过程中依赖第三方jar的解决办法

最新推荐文章于 2023-07-05 20:00:00 发布

天地人-神君

最新推荐文章于 2023-07-05 20:00:00 发布

阅读量1.3k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： java hadoop 文章标签： hadoop mapreduce 第三方jar包

本文链接：https://blog.youkuaiyun.com/qq_41833259/article/details/85070181

java 同时被 2 个专栏收录

19 篇文章

订阅专栏

hadoop

2 篇文章

订阅专栏

博主分享了在Hadoop环境中使用MapReduce进行MySQL数据库操作时遇到的问题及解决方案，主要聚焦于如何正确加载MySQL驱动，避免任务执行时的类找不到异常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

楼主是一个hadoop初学者，本着helloword的精神来写mapreduce，将一个表的数据写到另一个表。其中踩过的坑啊......为了不踩同样的坑，楼主将其中的问题及解决办法记录下来。
以下是楼主的代码：

package handler;

import mapper.DBInputMapper;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapred.lib.db.DBInputFormat;
import org.apache.hadoop.mapred.lib.db.DBOutputFormat;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import bean.User;

@SuppressWarnings("all")
public class Main implements Tool{
	
	private Configuration conf;

	public static void main(String[] args) throws Exception {
		int run = ToolRunner.run(new Main(), args);
		System.exit(run);
	}

	@Override
	public Configuration getConf() {
		return this.conf;
	}

	@Override
	public void setConf(Configuration conf) {
		this.conf = conf;
	}

	@Override
	public int run(String[] args) throws Exception {
		Configuration conf = this.getConf();
		DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver","jdbc:mysql://***:3306/cbh", "***", "***");
		Job job = Job.getInstance(conf);
		job.setJarByClass(Main.class);
		job.setMapperClass(DBInputMapper.class);
		job.setMapOutputKeyClass(User.class);
		job.setMapOutputValueClass(NullWritable.class);
		job.setOutputKeyClass(User.class);
		job.setOutputValueClass(NullWritable.class);
		job.setInputFormatClass(DBInputFormat.class);
		job.setOutputFormatClass(DBOutputFormat.class);
		// 列名
		String[] fields = { "id", "phone" };
		// 六个参数分别为：
		// 1.Job;2.Class<? extends DBWritable>
		// 3.表名;4.where条件
		// 5.order by语句;6.列名
		DBInputFormat.setInput(job, User.class, "t_cbh_user", null, "id",
				fields);
		DBOutputFormat.setOutput(job, "t_user_hadoop", fields);
		// FileOutputFormat.setOutputPath(job, new
		// Path("/test/mysql2Mysql"));
		return job.waitForCompletion(true) ? 0 : 1;
	}

}

1、代码在本地正常，提交到集群提示找不到mysql的驱动类。但是此时任务还没执行，还处于提交资源阶段。楼主怀疑是hadoop库里面没有mysql的驱动包。于是楼主在hadoop-env.sh添加以下代码：
`
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/jars/*
`

/jars下是楼主用到的第三方jar包，有mysql的驱动包。再次运行，尼玛，依然是同样的错误，but坑换位置了。再次分析下，发现此次报错时，任务已经执行，楼主顿时茅塞顿开，肯定是任务在yarn框架上运行抛的错。于是楼主加了下面一行代码：

job.addArchiveToClassPath(newPath("hdfs://es:9000/jars/mysql/driver/mysql-connector-java-5.1.41.jar"))

再次运行，成功了！

本着条条道路通罗马的精神，楼主尝试了将
job.addArchiveToClassPath(newPath("hdfs://es:9000/jars/mysql/driver/mysql-connector-java-5.1.41.jar"))
替换为
String[] args = new GenericOptionsParser(conf, allArgs).getRemainingArgs();
采用 -libjars 的方式：

hadoop -jar xxxx.jar handler.Main -libjars /jars/mysql-connector-java-5.1.41.jar

执行，程序依然正常。