hadoop com.mysql.jdbc.driver_MapReduce 程序mysql JDBC驱动类找不到原因及学习hadoop写入数据到Mysql数据库的方法...

报错 ：ClassNotFoundException: com.mysql.jdbc.Driver

需求描述：

hadoop需要动态加载个三方jar包(比如mysql JDBC 驱动包)，是在MR结束后，使用hadoop 的filesystem系统读取HDFS文件，调用JDBC驱动类插入数据库，但是运行时报错找不到驱动类。

第一个方法：加到HADOOP_HOME/lib下不可行，集群需要重启(集群再用，队列有任务进行中)。

第二个方法：job2.addFileToClassPath(file)和DistributedCache.addFileToClassPath()

以及利用hadoop jar xx.jar -libjars $yourpath/mysql-connector-java-5.0.3-bin.jar 这种原理上是一样的，

这种方式加入了Mapreduce的classpath(最后是加载到了每个节点 map container 或reduce container的JVM的classpath中)，MR结束后通过filesystem调用JDBC，是不可行的，我的代码在Diver类中调用，即客户端拿不到这个类。

第三个方法：所有依赖三方包和MR程序打包到一个jar中,打包完接近180MB。jar包太大了。

第四个方法：依赖的第三方jar打包到lib中，本次任务不需要的jar包可以全删掉 (这里注意：工程的jar和集群jar版本不一致可能导致冲突)。可以运行，导出的lib也小。

总结一下：

1.报错Diver类里缺少三方包，扔到lib下(不是鼠标拖进lib目录下,是打包打进去)

2.报错Map或Reduce缺少三方包，分发到集群即可；可以用上面第二个方法中的2个方法 (job.addFileToClassPath()这个方法好像只有hadoop 2.7版本以上才有)或者直接用-libjars $yourpath/your-jar.jar (一定要写在其他参数前面)把三方包分发到集群

other：

后来在网上搜了一下，发现可以直接使用hadoop的DBOutputFormat 和DBInputFormat类来直接对数据库进行操作。

Diver类中的设置项：

conf.set(DBConfiguration.DRIVER_CLASS_PROPERTY,"com.mysql.jdbc.Driver");

conf.set(DBConfiguration.URL_PROPERTY,"jdbc:mysql://x.x.x.x:3306/test");

conf.set(DBConfiguration.USERNAME_PROPERTY,"xxx");

conf.set(DBConfiguration.PASSWORD_PROPERTY,"xxxx");//这三行代码是本机测试用的//conf.set(DBConfiguration.URL_PROPERTY,//"jdbc:mysql://localhost:3306/test");//conf.set(DBConfiguration.PASSWORD_PROPERTY, "xxx");

Job job3 = Job.getInstance(conf,"step3:insertToMySqlDB");

job3.setJarByClass(ECMerchantMapReduceV2.class);

job3.setMapOutputKeyClass(DBOutputKey.class);

job3.setMapOutputValueClass(NullWritable.class);

job3.setMapperClass(ECMerchantThirdMap.class);

job3.setOutputFormatClass(DBOutputFormat.class);

job3.setNumReduceTasks(0);

job3.addFileToClassPath(new Path("/xxxx/mysql-connector-java-5.0.3-bin.jar"));

DBOutputFormat.setOutput(job3,"yourtablename", "column1","column2","column3","column4");

FileInputFormat.addInputPath(job3,new Path(otherArgs[3]));if(!job3.waitForCompletion(true)) return ;

public static class DBOutputKey implements WritableComparable,DBWritable {private String city = "";private String ec="";private String account="";private Date date2=null;

SimpleDateFormat format= new SimpleDateFormat("yyyy-MM-dd");publicDBOutputKey() {

}publicDBOutputKey(String city, String ec, String account, Date date2) {super();this.city =city;this.ec =ec;this.account =account;this.date2 =date2;

}public voidset(String city, String ec, String account, Date date2) {this.city =city;this.ec =ec;this.account =account;this.date2 =date2;

}

@Overridepublic void readFields(DataInput in) throwsIOException {this.city =in.readUTF();this.ec =in.readUTF();this.account =in.readUTF();try{this.date2 = newDate(format.parse(in.readUTF()).getTime());

}catch(ParseException e) {

e.printStackTrace();

}

}

@Overridepublic void write(DataOutput out) throwsIOException {

out.writeUTF(city);

out.writeUTF(ec);

out.writeUTF(account);

out.writeUTF(date2.toString());

}

@Overridepublic intcompareTo(DBOutputKey other) {if (this.city.compareTo(other.city) != 0) {return this.city.compareTo(other.city);

}else if (!this.ec .equals(other.ec) ) {returnec .compareTo(other.ec);

}else if (!this.account.equals(other.account)) {returnaccount.compareTo(other.account);

}else{return 0;

}

}

@OverridepublicString toString() {return ToStringBuilder.reflectionToString(this);

}

//下面这2个方法是DBWritable接口的方法

@Overridepublic void write(PreparedStatement statement) throwsSQLException {

statement.setString(1, city);

statement.setString(2, ec);

statement.setString(3, account);

statement.setDate(4, date2);

}

@Overridepublic void readFields(ResultSet resultSet) throwsSQLException {this.city=resultSet.getString(1);this.ec=resultSet.getString(2);this.account=resultSet.getString(3);this.date2=resultSet.getDate(4);

}

}

注意：

1.DBOutputFormat写入数据库，是按照key输出的，没有value，key要实现WritableComparable和DBWritable接口；

2.数据库表字段有个为Sql.date类型private Date date2=null，readFields(DataInput in)和write(DataOutput out)输入输出流不支持Sql.Date类型，通过文中红色代码部分转换格式，即可使Hadoop序列化的时候支持sql.Date数据类型。

public static class ECMerchantThirdMap extends Mapper{

DBOutputKey dbKey=newDBOutputKey();

SimpleDateFormat format= new SimpleDateFormat("yyyy-MM-dd");

String date;

@Overrideprotected void setup(Mapper.Context context)throwsIOException, InterruptedException {

date=context.getConfiguration().get("eradiusDate");

}public void map(LongWritable ikey, Text ivalue, Context context) throwsIOException, InterruptedException {

String[] strs= ivalue.toString().split("\\s+");if(strs.length!=3) return;

Date date2=null;try{

date2= newDate(format.parse(date).getTime());

}catch(ParseException e) {

e.printStackTrace();

}

dbKey.set(strs[0], strs[1], strs[2], date2);

context.write(dbKey, NullWritable.get());

}

}

Map类直接输出key就可以，不需要reduce类，可以设置reduce数量为0；

在Diver类中job3.addFileToClassPath(new Path("/xxxx/mysql-connector-java-5.0.3-bin.jar"));

测试后发现JDBC驱动包在ECMerchantThirdMap这个类写数据到Mysql数据库时是可以调用的，

而通过job3.addFileToClassPath()方法添加JDBC驱动包，在客户端是无法调用的。

所以该方法是添加jar包到运行Map或Reduce的节点的Classpath中。