- 博客(7)
- 收藏
- 关注
RSS订阅原创 scrapy关于输入了cookies,却还是重定向到了登陆页面的问题
hello，兄弟们我又来解惑了，这次我遇到的问题与标题所写的一样，我是用selenium获取cookie后传给scrapy处理请求，这几天，因为response会重定向到登录页面，这让我费了一把的头发，东问西问，终于在网上找了许多资料，终于找到了解决 的方案。输入了cookies,却还是重定向到了登陆页面，这是因为scrapy为正确处理cookie，需要我们在scrapy中的setting中修改。COOKIES_ENABLED为true,如果能帮到你们我很开心。
2024-11-17 20:14:59
840
原创 scrapy+selenium遇到重定向的问题
最近我想爬取一个网站，需要登录才能爬取里面的消息，接着我就使用了selenium登录，获取cookie，接着交给scrapy.Request请求，然后发现他还是重定向到了登录的页面，这个问题困扰了我好久，大概有一周了吧，今天看了一个帖子才解决。如果这篇文章能帮到你，我很开心为你节约了去除试错的时间，如果还有什么不懂的可以私信我。接着我们处理完cookie后，使用scrapy.Request返回cookie和self.meta。在函数__init__初始函数里设置sele.meta。
2024-11-16 19:03:50
797
原创 selenium提取不了cookie
hello 兄弟们，我又来了，这次我遇到的问题是用selenium提取不出cookie的值，这个问题困扰了我两个钟，最后问AI出的答案。解决办法就是在 cookie前加点时间给页面缓存完成，然后就可以了。
2024-11-07 21:18:21
597
原创 解决pycharm中安装包之后却用不了的问题
这几天，我接触了selenium,然后在pycharm当中下载了selenium,结果可想而知，报错了，然后我在网上查到解决的办法，想着会对大家有帮助，就分享给大家，其他的包也可以这样做。首先输入pip show (你的包名) ，然后就可以看到location了，复制这个location。点击添加内容根，添加到箭头所指的地方就可以了。如果能帮到大家，我很开心。然后再设置上找到如下路径。
2024-11-04 19:53:03
1543
1
原创 用navicat连接宝塔mysql数据库报错
这几天刚接触宝塔，试着用navicat连接宝塔的mysql数据库，看了很多个视频，关闭防火墙还有修改root密码都试过了，结果搞到今天才解决，我的问题是，我是因为把主机当成ip地址了，也就是在控制台输入ifconfig的地址，用户名和密码也搞成root账号的。如果这篇文章能帮到你，我很开心，如果还会报错的话，可以在评论区说明一下你的情况。如果还是报错的话，记得查看阿里云服务器的端口有没开发。端口范围输入你的端口号（也就是在宝塔上面添加的端口号）1. 连接名称：任意起。用户名和密码就填框内的（不是root）
2024-10-30 13:00:39
775
原创 解决无法访问宝塔面板的问题
首先先说明我的情况的，我用的服务器是阿里云的轻量应用服务器。可以通过服务器终端命令行输入 bt。鼠标放到上面后，点击管理规则。如果不知道自己的端口号的话。接着输入命令编号 14。然后复制网址就可以打开了。红线上的就是你的端口号。如果帮到了你，我很开心。端口范围填你的端口号。
2024-10-27 17:16:45
1147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人