PHP Goutte爬虫框架 设置Cookie 绕过验证界面

本文介绍了如何使用Goutte库处理网站请求时遇到的cookie验证问题,通过GuzzleHttp设置Cookie绕过同意页面,实现信息抓取。

注意:利用爬虫获取网站信息只是为了减少人工复制信息带来的工作量,本帖仅用于技术交流

Goutte 的github链接
https://github.com/FriendsOfPHP/Goutte

goutte其实挺简单的,就是新建client,request,然后通过filter获取html中的标签数组

问题和思路
但是今天遇到一个问题是,在请求一个网站时,会跳转到一个页面,要求同意cookie存储,如果不跳过这个页面就无法获取到真实信息,很明显只要在请求中加上cookie就可以绕过此页面,但是无奈找不到goutte的技术文档,起初是想通过goutte的链接点击模拟同意操作,但是该网站通过button做的跳转,我不想去动goutte的源码了,就放弃了这个想法

解决方法:
然后在网上找goutte设置cookie的方法,但是好像都是同一篇文章,利用GuzzleHttp去设置cookie,不知道是因为版本还是什么原因goutte根本找不到setClient的地方,无奈只能去读goutte的源码,我也不知道是我水平有限,没有发现更简洁的入口还是怎么滴,最终只找到一个复杂的方法如下:

$url = 'http://你的请求链接';

//初始化cookie
$cookie 
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值