1. 实战概述
- 本次实战项目旨在通过编写Python爬虫程序,抓取深圳Q房网上的二手房房源信息。我们将分析网页结构,确定房源信息的XPath路径,并实现数据的提取与CSV文件存储。通过本项目,学习如何运用requests库发送HTTP请求,使用lxml.etree解析HTML,以及如何高效地处理和存储爬取的数据。
2. 网站页面分析
- 第1页房源 - https://shenzhen.qfang.com/sale/f1
- 第2页房源 - https://shenzhen.qfang.com/sale/f2
- 发现URL构造规律:
https://shenzhen.qfang.com/sale/f
+页码
- 查看房