利用Scrapy编写“1024网站种子吞噬爬虫”，送福利

最新推荐文章于 2020-10-24 07:31:17 发布

转载

最新推荐文章于 2020-10-24 07:31:17 发布 · 4.9w 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://juejin.im/post/5be14b28f265da61602c65ed

文章标签：

#爬虫 #python #php

本文介绍了如何使用Scrapy框架编写爬虫，抓取1024网站的帖子标题、预览图和种子文件。通过分析URL结构，解析HTML，获取帖子信息，再通过请求下载种子文件。最终，数据存储到MongoDB，部分结果写入txt文件，种子文件本地保存。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在爬取东西之前，我们需要简单分析一下小草网站的结构。爬虫，是依照URL来爬取的，那么我们首先来分析一下小草的URL吧。

1# 不骑马的日本人板块
2http://bc.ghuws.men/thread0806.php?fid=2&search=&page=2
3# 骑马的日本人板块
4http://bc.ghuws.men/thread0806.php?fid=15&search=&page=2
5# 英语老师板块
6http://bc.ghuws.men/thread0806.php?fid=4&search=&page=2
复制代码

这是挑选了几个不同的板块之间的URL，我们发现，他们就是fid=XX这个数字不同啊。传入不同的page参数，应该就是第几页。这样，我们就能连续的爬取不同page之间的信息了。

爬到页面了，我们接下来就是要找每个页面的post了，这就要涉及到html的知识了。由于这些页面长的都一样，他们的结构也都是差不多的，所以，我们随便选取一个页面，来看看他post的html长什么样子。

1<td class="tal" style="padding-left:8px" id=""> 
2 <h3><a

最低0.47元/天解锁文章

200万优质内容无限畅学