3、创建IP代理池

最新推荐文章于 2023-11-28 11:14:59 发布

_深巷的猫

最新推荐文章于 2023-11-28 11:14:59 发布

阅读量560

点赞数

CC 4.0 BY-SA版权

分类专栏： java

本文链接：https://blog.youkuaiyun.com/qq_33665655/article/details/118798443

java 专栏收录该内容

9 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍如何创建一个IP代理池，通过自动获取有效IP地址，实现在爬虫等需要频繁更换代理的场景中，自动化管理代理资源。

当要查找某个网页的代理时，就可以直接通过网址和关键词获得有效的IP地址；

利用自动获取IP，建立一个可用的IP代理池；

放在要不断更换代理的程序上，就可不用手动添加代理了。

package com.test;

import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class GetIPandPort2 {
	public static Properties hhd = new Properties();
	public static void main(String[] args) {
		
		for (int j = 1; j < 10; j++) {
//			String url = "http://www.xiladaili.com/putong/"+j+"/";
			String url = "http://www.xiladaili.com/gaoni/"+j+"/";
//			String url = "http://www.xiladaili.com/http/"+j+"/";
			
//			down(url,"https://www.cnki.net/","中国知网");
			down(url,"http://xjrb.xjrb.com:820

了解本专栏