MinerConfig.java 爬取配置类

最新推荐文章于 2021-07-28 17:06:21 发布

原创最新推荐文章于 2021-07-28 17:06:21 发布 · 10w+ 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#java #jsoup #网络爬虫

Miner爬虫专栏收录该内容

16 篇文章

订阅专栏

本文详细介绍了MinerConfig.java类的结构与功能,该类用于配置网页爬虫的关键参数,包括URL关键字、存储方式、爬取深度及各种线程数量等。

MinerConfig.java 爬取配置类

package com.iteye.injavawetrust.miner;

import java.util.List;

/**
 * 爬取配置类
 * @author InJavaWeTrust
 *
 */
public class MinerConfig {
	/**
	 * URL包含关键字
	 */
	public List<String> keys;
	/**
	 * 存储方式 
	 */
	public StoreType storeType;
	/**
	 * 爬取页面最大深度
	 */
	public int maxDepth;
	/**
	 * 下载页面线程数
	 */
	public int minerHtmlThreadNum;
	/**
	 * 分析页面线程数
	 */
	public int miseringThreadNum;
	/**
	 * 存储线程数
	 */
	public int minserStoreThreadNum;
	
	public List<String> getKeys() {
		return keys;
	}
	public void setKeys(List<String> keys) {
		this.keys = keys;
	}
	
	public StoreType getStoreType() {
		return storeType;
	}
	public void setStoreType(StoreType storeType) {
		this.storeType = storeType;
	}
	public int getMaxDepth() {
		return maxDepth;
	}
	public void setMaxDepth(int maxDepth) {
		this.maxDepth = maxDepth;
	}
	public int getMinerHtmlThreadNum() {
		return minerHtmlThreadNum;
	}
	public void setMinerHtmlThreadNum(int minerHtmlThreadNum) {
		this.minerHtmlThreadNum = minerHtmlThreadNum;
	}
	public int getMiseringThreadNum() {
		return miseringThreadNum;
	}
	public void setMiseringThreadNum(int miseringThreadNum) {
		this.miseringThreadNum = miseringThreadNum;
	}
	public int getMinserStoreThreadNum() {
		return minserStoreThreadNum;
	}
	public void setMinserStoreThreadNum(int minserStoreThreadNum) {
		this.minserStoreThreadNum = minserStoreThreadNum;
	}

}

返回列表