java读取Mysql数据库写入hdfs

最新推荐文章于 2025-10-31 14:47:41 发布

原创

最新推荐文章于 2025-10-31 14:47:41 发布 · 4k 阅读

4 ·

CC 4.0 BY-SA版权

该Java程序演示了如何连接到MySQL数据库，从aa表中读取所有列的数据，然后将这些数据写入HDFS文件系统中的一份1.txt文件。通过加载MySQL JDBC驱动，建立数据库连接，执行SQL查询，将结果转换为字符串并编码为UTF-8，最后将内容写入HDFS文件。

package com.Test;

import java.io.ByteArrayInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.UnsupportedEncodingException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.DriverPropertyInfo;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.SQLFeatureNotSupportedException;
import java.sql.Statement;
import java.util.Properties;
import java.util.logging.Logger;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Mysql {

	String url = "jdbc:mysql://192.168.0.44:3306/mysql";
	String user = "root";
	String password = "mysql";

	public static void main(String[] args) throws ClassNotFoundException, SQLException, IOException {

		String driver = "com.mysql.jdbc.D