java网络爬虫(json+mysql+okhttp3+连接池)的数据挖掘

1、获取数据源

以智联招聘官网为例

从智联官网首页中通过查看源码获取其数据源，通过okhttp获得数据源。

（kHttp是一个优秀的网络请求框架）

2、将网络数据源转换为本地数据

通过json将网络数据转化为本地的数据

（json是一种轻量级的数据交换格式）

3、建立数据库

通过MySQL建立数据库，然后再数据库中建立相关表格，用以存放挖掘的数据。。

4、将数据存入数据库

通过连接池连接数据库，再通过相关sql语句将挖掘到的数据存入到数据库中。

okhttp连接有两种方式，一个是同步一个是异步。这里用到的是同步。

本次数据挖掘用到了C3p0数据库连接池，连接池减少了连接创建时间，加快了数据存入数据库的效率。

使用批处理向数据库添加：

c3po连接池的配置：

 最终采集数据的效果：

源码：

链接：https://pan.baidu.com/s/1BRdK1KeB3ZU-h3mIs1wrng 密码：pt97