httpclient爬取数据报错“未将对象引用设置到对象的实例“

本文介绍了一种解决网页爬虫中按钮点击事件请求失败的方法,通过添加Referer头信息,解决了爬虫在获取特定网页数据时遇到的问题。

推荐必看:https://blog.youkuaiyun.com/persistencegoing/article/details/84376427 

 

 All rights reserved.No part of this article may be reproduced or distributed by any means,or stored in a database or retrieval system,without the prior written permission of persistenceGoing author
 

先说一下过程:我爬的网址是http://xxxxxx.aspx,这个网页上面的一个按钮,点击之后获得数据,但是我得到这个按钮点击事件的url之后自己再次请求报错

解决方案:

添加 

  //http://xxxxxx.aspx是我爬取的网页地址

httpGet.setHeader("Referer", "http://xxxxxx.aspx");

然后请求解决问题

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值