week06 12 后端utils cloudAMQP_client.py 安装pika

转载于 2018-09-04 18:30:00 发布 · 77 阅读

·

0

·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/PoeticalJustice/p/9587747.html

本文探讨了利用Pika包处理RabitAMQP的相关技术细节,特别是在网络爬虫应用中如何维持稳定的连接而避免被网站封禁IP。文章强调了在爬取过程中适当使用sleep的重要性，并解释了即便在没有消息传递时也需要与远程AMQP保持心跳以防止断开连接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们回到后端

pika是专门处理RabitAMQP的包

或者你可以直接一步到位

我们不能一直让我们的网络爬虫一直爬信息

一是网络消耗很大（cpu）

二是容易被网站发现被禁ip

self.connection.sleep(seconds)可以保证程序sleep而且链接不断

为何我们不让整个爬虫都执行这个sleep呢

这是因为即使你没有消息要传递你仍然要和远程AMQP保持通信heartbeat

不然他就认为你掉线了

我们来测试

测试通过

转载于:https://www.cnblogs.com/PoeticalJustice/p/9587747.html

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。