关于爬虫爬取图片被防盗链的解决

本文介绍了解决JSoup爬虫遇到防盗链问题的方法。通过设置URLConnection的Referer属性为爬取网站的地址,绕过了一些网站对于防盗链的限制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

由于一些不可描述的原因,在使用jsoup爬取图片时被防盗链了。
解决办法是

URL url = new URL("");
        // 获得连接
        URLConnection connection = url.openConnection();
        connection.setRequestProperty("Referer", "http://www.xxx.com");

因为一些网站在解决盗链问题时是根据Referer的值来判断的,所以在请求头上添加Referer属性就好(可以填爬取网站的地址)。

另外Referer携带的数据 是用来告诉服务器当前请求是从哪个页面请求过来的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值