JDBC扩展---JDBC处理大数据

JDBC扩展---JDBC处理大数据

一 使用目的

在实际开发中，程序需要把大文本或二进制数据保存到数据库。

二 概念

1．大数据也称LOB（Loarg Objects） LOB又称clob 和blob

（1）Clob用于存储大文本 用Text表示

（2）Blob用于存储二进制数据 例如图像。声音 二进制文等

注：对MySQL而言只有blob，而没有clob，mysql存储大文本采用的是Text，Text和blob分别又分为：

（1）TINYTEXT、TEXT、MEDIUMTEXT和LONGTEXT

（2）TINYBLOB、BLOB、MEDIUMBLOB和LONGBLOB

三 代码分析

（1）向数据库中插入大文本，下面是插入数据库的方法

public void insert() {

Connection con = null;

PreparedStatement st = null;

ResultSet rs = null;

try {

//获取连接

con = DBManager.getConnection();

//定义sql语句

String sql = "insert into testclob (resume) value(?)";

//创建预处理对象

st = con.prepareStatement(sql);

//为占位符赋值 ,给输入流对象做参数

//得到指定资源url对象

File f = new File("1.txt");

//系统会自动的读取1.txt文件中的内容并放到流中

st.setCharacterStream(1, new FileReader(f),f.length());

//执行更新语句

int result = st.executeUpdate();

if(result>0){

System.out.println("插入成功");

}else{

System.out.println("插入失败");

}

DBManager.release(con, st, rs);

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (FileNotFoundException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

注：要想向数据库中插入文本，就要用到的是输入流，先指定要向数据库中插入的数据

File f = new File("1.txt");

然后调用下面这个方法把文件写入到流中

st.setCharacterStream(1, new FileReader(f),f.length());

（2）从数据库总读取文件

public void find(){

Connection con = null;

PreparedStatement st = null;

ResultSet rs = null;

try {

//获取连接

con = DBManager.getConnection();

//定义sql语句

String sql = "select resume from testclob where id=1";

//创建预处理对象

st = con.prepareStatement(sql);

//执行更新

rs = st.executeQuery();

if(rs.next()){

//放到流中

Reader reader = rs.getCharacterStream("resume");

//创建缓冲区

char buff[] = new char[1024];

//通过循环的方法读取

int len = 0;

FileWriter writer = new FileWriter("3.txt");

while((len = reader.read(buff))>0){

//读取后放到文件中

writer.write(buff,0,len);

}

writer.close();

reader.close();

}

DBManager.release(con, st, rs);

} catch (SQLException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

注：在读取的时候，可能有人会这样写：

String str = rs.getString("resume");

但是这样只是适合于文本小的，如果是大的文本，则很可能会死机，所有用这个方法的时候要慎重。

四 附加上配置文件 dp.properties 和DBManager.java

db.properties文件

#\u8FDE\u63A5\u8BBE\u7F6E

driverClassName=com.mysql.jdbc.Driver

url=jdbc:mysql://localhost:3306/jdbc

username=root

password=qiao

#<!-- \u521D\u59CB\u5316\u8FDE\u63A5 -->

initialSize=5

#\u6700\u5927\u8FDE\u63A5\u6570\u91CF

maxActive=5

#<!-- \u6700\u5927\u7A7A\u95F2\u8FDE\u63A5 -->

maxIdle=20

#<!-- \u6700\u5C0F\u7A7A\u95F2\u8FDE\u63A5 -->

minIdle=5

#<!-- \u8D85\u65F6\u7B49\u5F85\u65F6\u95F4\u4EE5\u6BEB\u79D2\u4E3A\u5355\u4F4D 60000\u6BEB\u79D2/1000\u7B49\u4E8E60\u79D2 -->

maxWait=3000

#JDBC\u9A71\u52A8\u5EFA\u7ACB\u8FDE\u63A5\u65F6\u9644\u5E26\u7684\u8FDE\u63A5\u5C5E\u6027\u5C5E\u6027\u7684\u683C\u5F0F\u5FC5\u987B\u4E3A\u8FD9\u6837\uFF1A[\u5C5E\u6027\u540D=property;]

#\u6CE8\u610F\uFF1A"user" \u4E0E "password" \u4E24\u4E2A\u5C5E\u6027\u4F1A\u88AB\u660E\u786E\u5730\u4F20\u9012\uFF0C\u56E0\u6B64\u8FD9\u91CC\u4E0D\u9700\u8981\u5305\u542B\u4ED6\u4EEC\u3002

connectionProperties=useUnicode=true;characterEncoding=UTF-8

#\u6307\u5B9A\u7531\u8FDE\u63A5\u6C60\u6240\u521B\u5EFA\u7684\u8FDE\u63A5\u7684\u81EA\u52A8\u63D0\u4EA4\uFF08auto-commit\uFF09\u72B6\u6001\u3002

defaultAutoCommit=true

#driver default \u6307\u5B9A\u7531\u8FDE\u63A5\u6C60\u6240\u521B\u5EFA\u7684\u8FDE\u63A5\u7684\u53EA\u8BFB\uFF08read-only\uFF09\u72B6\u6001\u3002

#\u5982\u679C\u6CA1\u6709\u8BBE\u7F6E\u8BE5\u503C\uFF0C\u5219\u201CsetReadOnly\u201D\u65B9\u6CD5\u5C06\u4E0D\u88AB\u8C03\u7528\u3002\uFF08\u67D0\u4E9B\u9A71\u52A8\u5E76\u4E0D\u652F\u6301\u53EA\u8BFB\u6A21\u5F0F\uFF0C\u5982\uFF1AInformix\uFF09

defaultReadOnly=

#driver default \u6307\u5B9A\u7531\u8FDE\u63A5\u6C60\u6240\u521B\u5EFA\u7684\u8FDE\u63A5\u7684\u4E8B\u52A1\u7EA7\u522B\uFF08TransactionIsolation\uFF09\u3002

#\u53EF\u7528\u503C\u4E3A\u4E0B\u5217\u4E4B\u4E00\uFF1A\uFF08\u8BE6\u60C5\u53EF\u89C1javadoc\u3002\uFF09NONE,READ_UNCOMMITTED, READ_COMMITTED, REPEATABLE_READ, SERIALIZABLE

defaultTransactionIsolation=READ_UNCOMMITTED

DBManager.java

import java.io.InputStream;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

import java.util.Properties;

public class DBManager {

private static String username;

private static String password;

private static String url;

private static String driver;

static{

try{

InputStream in = DBManager.class.getClassLoader().getResourceAsStream("db.properties");

Properties prop = new Properties();

prop.load(in);

driver = prop.getProperty("driverClassName");

url = prop.getProperty("url");

username = prop.getProperty("username");

password = prop.getProperty("password");

Class.forName(driver);

}catch (Exception e) {

throw new ExceptionInInitializerError(e);

}

}

public static Connection getConnection() throws SQLException{

return DriverManager.getConnection(url, username, password);

}

public static void release(Connection conn,Statement st,ResultSet rs){

if(rs!=null){

try{

rs.close();

}catch (Exception e) {e.printStackTrace();}

rs = null;

}

if(st!=null){

try{

st.close();

}catch (Exception e) {e.printStackTrace();}

st = null;

}

if(conn!=null){

try{

conn.close();

}catch (Exception e) {e.printStackTrace();}

conn = null;

}

}

}