python 爬虫 | for in range()步长的使用

最新推荐文章于 2025-04-17 14:23:02 发布

原创

最新推荐文章于 2025-04-17 14:23:02 发布 · 3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文记录了一次在Python爬虫中使用`for in range()`时因步长设置不当导致的错误。原本目的是在501到601之间爬取网页，每抓取4个网址后休息5秒，但错误的代码导致大量重复抓取。解决方案是在循环中引入步长，防止重复。修改后的代码有效避免了问题，提醒我们在编程时要注意循环步长的合理设置和检查抓取结果的重复情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

记录一个蠢极了的错误，加深记忆。

源代码目的：
已有一个list，存放所有需要爬取的网页的网址。这个list的长度>600
在 $index∈[501,601]index\in[501,601]$ 的区间内，执行爬虫，爬取每个网页的信息。执行爬虫代码的名称叫zhuaqu(index1, index2)
希望每抓取4个网址后，休息5s.