Python爬虫爬取链家网上的房源信息练习

最新推荐文章于 2024-12-25 21:51:25 发布

原创

最新推荐文章于 2024-12-25 21:51:25 发布 · 1.1k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #开发语言

本文介绍了如何使用Python爬虫从链家网上抓取房源信息，包括识别网页源代码、正则表达式匹配、数据解析、数据存储到Excel以及爬虫的伪装技巧。

一

原链接：用Python爬虫爬取链家网上的房源信息_shayebuhui_a的博客-优快云博客_python爬取链家

打开链家网页：https://sh.lianjia.com/zufang/ ：用F12以页面中元素进行检查，点击左上角的小箭头，得到相关信息。在这个页面可以通过将鼠标悬浮在相关信息上，可以得到其源代码

我们可以发现网页中包含浦东-川沙-园西小区的源代码为：

<a target="_blank" href="/zufang/pudong/">浦东</a>
<a href="/zufang/jinqiao/" target="_blank">川沙</a>
<a title="园西小区" href="/zufang/c5011000007323/" target="_blank">园西小区</a>

使用正则表达式获取网页信息的语句可以写为：

#区域
findplace1 = re.compile(r'<a href="/zufang/.*" target="_blank">(.*)</a>-<a href="/zufang/.* target="_blank">.*</a>-<a href="/zufang.*" target="_blank" title=".*">.*</a>')  #创建正则表达式对象，表示规则（字符串的模式）
 
findplace2= re.compile(r'<a href="/zufang/.*" target="_blank">.*</a>-<a href="/zufang/.* target="_blank">(.*)</a>-<a href="/zufang.*" target="_blank" title=".*">.*</a>')
 
findplace3 = re.compile(r'<a href="/zufang/.*" target="_blank">.*</a>-<a href="/zufang/.* target="_blank">.*</a>-<a href="/zufang.*" target="_blank" title="