话说街道任务需要获取google trend数据并按要求分析,当时感觉爬免费数据,估计没啥难度,上网搜了下,嘿!还有大神写好的现成的码,本想着这摸鱼之旅会十分快了,却不知拷过来的代码一运行,一个429频繁访问把我挡了回来…
话说我这第一次访问哪里频繁,于是我感觉是代码没更新,可能出问题了,于是按大神思路先获取token然后获取数据的思路走下来,然后用postman一走通了,这回十成能拿下了,简单easy~
接下来只需要写成代码就好,然后一到自己的写的python爬起来就挂,通通429…绝望啊!!!这postman能成功咋自己跑就挂了呢???后来各种尝试才发现postman的cookie参数是自动设置的,如果去除就会报429,而第二次访问又会重新出现
果然,这个cookie就是从上一次请求返回的响应头里摘取出来的
这时我通过手动收集该cookie数据重新在postman测试,成功!但正当我高兴问题已经迎刃而解之时,绝望的事情来了,同样的参数,同样的链接,同样摘取的方法,postman成功而到自己的程序跑起来却同样报的429…请问有大神遇到过吗???
Google Trend爬虫爬取却一直出现429拒我于千里之外
最新推荐文章于 2025-05-01 20:59:13 发布