学习用python写爬虫有几天了,下面写一个小爬虫验证下学习成果吧。 本文适合小白食用,各位大佬您就图个乐~
Tip:本文仅供学习与交流,切勿用于非法用途!!!
一、网页分析
爬取贝壳网石家庄二手房信息,先打开链接 https://sjz.ke.com/ershoufang/。 
如果大家在学习中遇到困难,想找一个python学习交流环境,可以加入我们的python圈,裙号930900780,可领取python学习资料,会节约很多时间,减少很多遇到的难题。
不添加筛选条件,发现总共有42817套房子。我们点击第二页,再查看链接变成了https://sjz.ke.com/ershoufang/pg2/。所以,可发现/pg{i},i就是页码。经过体育老师教授的数学,数了一下,一页30个,最多可选100页。
所以最多可爬取3000套房产信息,距离上面给出的4万多差的还很远,于是尝试把pg{i}的那个i人为改变一下,点击回车请求一下。
https://sjz.ke.com/ershoufang/pg200/
https://sjz.ke.com/ershoufang/pg300/
发现这两个请求,返回房产信息数据都一样。都是第100页的信息,于是乎,得出结论。通过贝壳网web端,查看某一条件下的房产信息,最多可以查看

本文介绍了一位Python初学者如何爬取贝壳网石家庄二手房信息,通过分析网页结构,使用requests和PyQuery库进行数据抓取和解析,并存储到JSON文件中。通过多进程加速爬取,总计爬取2399套房源数据,作为学习Python爬虫的实战案例。
最低0.47元/天 解锁文章

被折叠的 条评论
为什么被折叠?



