MinerUrl.java 解析页面后存储URL类

最新推荐文章于 2016-04-25 19:53:21 发布

原创最新推荐文章于 2016-04-25 19:53:21 发布 · 10w+ 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#java #jsoup #网络爬虫

Miner爬虫专栏收录该内容

16 篇文章

订阅专栏

本文介绍了一个用于网页爬取的MinerUrl类，该类负责存储爬取到的URL及其深度信息，是实现深度优先或广度优先网页抓取策略的基础。

MinerUrl.java 解析页面后存储URL类

package com.iteye.injavawetrust.miner;
/**
 * 解析页面后存储URL类
 * @author InJavaWeTrust
 *
 */
public class MinerUrl {
	/**
	 * 当前爬取URL
	 */
	private String url;
	/**
	 * 当前爬取URL深度
	 */
	private int depth;
	public String getUrl() {
		return url;
	}
	public void setUrl(String url) {
		this.url = url;
	}
	public int getDepth() {
		return depth;
	}
	public void setDepth(int depth) {
		this.depth = depth;
	}

}

返回列表