3.1.6 Jsoup代理服务器

最新推荐文章于 2022-08-19 08:32:50 发布

lwen.steven

最新推荐文章于 2022-08-19 08:32:50 发布

阅读量593

点赞数

CC 4.0 BY-SA版权

分类专栏：从头开始学Java数据采集

未经博主同意，禁止转载。

本文链接：https://blog.youkuaiyun.com/Jgx1214/article/details/107053108

从头开始学Java数据采集专栏收录该内容

48 篇文章

订阅专栏

本文介绍了代理服务器在网络爬虫中的作用，特别是如何使用代理服务器避免IP封禁，提高爬虫效率。文中详细展示了在Jsoup中设置代理服务器的两种方法，并解释了代理服务器的工作原理及其在实际应用中的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在一般情况下，使用浏览器可以直接连接Internet站点获取网络信息，而代理服务器(Proxy Server)是网络上提供转接功能的服务器。代理服务器是介于客户端和Web服务器之间的一台服务器，基于代理服务器，浏览器不再直接从Web服务器获取数据，而是向代理服务器发送请求，信号会先发送到代理服务器，由代理服务器取回浏览器所需要的信息。可以将代理简单理解为中介。
在网络爬虫中，使用代理服务器访问网页内容，能够高度隐藏爬虫的真实IP地址，从而防止网络爬虫被服务器封锁。另外，普通网络爬虫使用固定的IP地址请求时，往往需要随机设置休息时间，而代理服务器却不需要，从而提高了采集的效率。目前，代理服务器可以来源于提供免费代理服务的一些网站，但这些免费代理IP地址的稳定性较差。另外，也可以通过付费的方式获取商业级代理，其提供的代理IP地址可用率较高，稳定性较强。
在Jsoup中，提供了两种方式设置代理服务器，如程序3-10和3-11所示。在设置代理服务器时，需要知道代理服务器的IP地址以及端口。在本案例中，只使用一个代理服务器请求网页，代理服务器的IP地址为“171.221.239.11”，端口为808。在实际应用中，往往需要构建代理池，不断地切换代理服务器去请求URL库。

//程序3-10
public class JsoupConnectProxy {
    public static void main(String[] args) throws IOException {
        //第一种方式设置代理
        Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("171.221.239.11", 808));
        Connection connection = Jsoup.connect("https://www.baidu.com/").proxy(proxy);
        Connection.Response response = connection.method(Connection.Method.GET).execute();
        //获取响应状态码
        int statusCode = response.statusCode();
        System.out.println("响应状态码为:" + statusCode);
    }
}

//程序3-11
public class JsoupConnectProxy {
    public static void main(String[] args) throws IOException {
        //第二种方式设置代理
        Connection connection = Jsoup.connect("https://www.baidu.com/").proxy("171.221.239.11", 808);
        Response response = connection.method(Method.GET).timeout(20*1000).execute();
        //获取响应状态码
        int statusCode = response.statusCode();
        System.out.println("响应状态码为:" + statusCode);
    }
}