基于Webmagic的Java爬虫（五）将爬取的数据保存到mysql数据库中（jdbc）

最新推荐文章于 2024-11-07 14:18:46 发布

原创

最新推荐文章于 2024-11-07 14:18:46 发布 · 4k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#Webmagic #Java爬虫 #Java

本文介绍了使用Java爬虫Webmagic爬取博客园网站的标题和内容，并通过bean+jdbc存储到MySQL数据库的过程。在实践中遇到数据库连接问题，因依赖版本与数据库版本不匹配导致连接失败。解决方法是检查并确保pom.xml中配置的MySQL依赖版本与实际安装的数据库版本一致。

  一、目的：

爬取博客园的网站，将所有的标题和内容爬取下来并通过 bean+jdbc 保存到 mysql 数据库中。

二、步骤：

在 pom.xml 文件中添加 mysql 数据连接依赖。
结构
在 mysql 数据库中创建数据库 test ，并创建表 t_cnblogs。
添加MySQL的工具类

package ang.util;
/**
 * MySQL的工具类
 * @author Ada
 *
 */

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class MySQLDBUtil {
   
   
  
	public static Connection getConnection() {
   
   
		Connection conn = null;
		try {
   
   
			//1.注册驱动
			Class.forName("com.mysql.jdbc.Driver");
			//2.获取连接
			conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/test", "root", "****");	
		} catch (ClassNotFoundException e) {
   
   
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (SQLException e) {
   
   
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		return conn;
	}
	  /**
	   * 关闭连接
	   */
	  public static void close(Connection conn, PreparedStatement ps,ResultSet rs) {
   
   
		  if (rs != null) {
   
   
			  try {
   
   
				rs.close();
			} catch (SQLException e) {
   
   
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		  }
		  if (ps != null) {
   
   
			  try {
   
   
				ps.close();
			} catch (SQLException e) {
   
   
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
		  } 
		  if (conn != null) {
   
   
			  try {
   
   
				conn.close();
			}