超级会员免费看
本文介绍了如何使用Scrapy的合约测试来确保爬虫的稳定性。合约测试包括UrlContract、ReturnContract和ScrapesContract，分别用于检查URL访问、返回数据数量和抓取字段的正确性。通过示例代码详细解释了每个合约的使用方法，并展示了如何运行和查看测试结果，以提升爬虫的健壮性和测试效率。
在开发爬虫的过程中，经常遇到这种情况，比如几个星期之前编写的爬虫可以完美运行，突然有一天经理看不到数据了，这时就把你叫到他的办公室，开始对你训话了。你会有一肚子的不满，因为这段代码你确实加班加点来完成的，并且也通过了测试部门的测试，并且运行了几周时间。但结果是经理不满意，运维部门抱怨，测试人员工作量增加。面对此种情况，你一定会思考一个办法来改变这种情况，否则工作会不顺心，效率提不上去。
要解决上述的困境，可以使用蜘蛛类的合约测试来处理。这个合约测试有点像代码的单元测试，它可以让你快速地知道哪里有运行异常的问题。我们知道一个蜘蛛类主要就几个部分：网络地址是否访问正常、返回的数据是否正常、抓取的数据是否都在存。
针对上面三个问题，scrapy内部提供了三个合约测试函数：
class scrapy.contracts.default.UrlContract
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
