【jsoup】使用jsoup爬取智联职业信息

最新推荐文章于 2024-06-21 17:30:48 发布

evan_qb

最新推荐文章于 2024-06-21 17:30:48 发布

阅读量602

点赞数

分类专栏： Java学习 # javaweb

本文链接：https://blog.youkuaiyun.com/Evan_QB/article/details/80015358

版权

首先我们引入jsoup的依赖

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.7.3</version>
</dependency>

然后我们编写爬虫类WebSpider

package cn.qblank.util;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * 用于爬取一些职位信息,输出到某个文件中
 * @author evan_qb
 *
 */
public class WebSpider {
	public static  String getHtml(String url,String encoding) {
		URL uri = null;
		URLConnection conn = null;
		BufferedReader br = null;
		StringBuffer sb =