基于python的二手房数据爬取与分析

本次项目对58同城的上海、广州、重庆、杭州和郑州五个城市在售二手房信息进行分析，实施路线为：在58同城网站获取基础信息、使用python爬虫进行数据采集、数据清洗、数据可视化及分析.

数据可视化

数据可视化是将数据以图形或图表的形式呈现出来，以便更直观地理解和分析数据。它将复杂的数据转化为易于理解的视觉元素，帮助人们发现数据中的模式、趋势和关系。常见的数据可视化形式包括柱状图、折线图、饼图、散点图、热力图等。这些图表可以根据数据的特点和需求进行选择和定制，以最好地展示数据的信息。数据可视化的过程通常包括以下几个步骤：

1、在爬虫的基础上选择可视化工具和技术：根据数据的特点和需求选择合适的可视化工具和技术，如 Excel、Python 中的 Matplotlib、Seaborn 等。

2、设计可视化布局和样式：根据数据的内容和目的设计可视化的布局和样式，使图表更具吸引力和可读性。

3、绘制可视化图表：使用选择的可视化工具和技术绘制可视化图表，将数据以图形的形式呈现出来。

4、解释和分析可视化结果：对绘制好的可视化图表进行解释和分析，发现数据中的模式、趋势和关系，并做出相应的决策。

数据获取

3.1.1 分析网页

在爬取 58 同城的二手房源信息之前，我们需要对目标网页进行详细的分析。这有助于我们确定需要提取的数据和数据所在的位置以及如何解析网页内容。

网页节点信息如下：

抓取网页源码

以58同城为例，分析如何爬取二手房源信息。首先找到58同城的URL，其中“{k}”表示城市，“{i}”表示页码，通过改变城市和页码就可以获取到不同城市的所有二手房源信息。

Python通过Requests库的requests.get()向网页发送请求，请求通过后，使用lxml库的etree.HTML()方法将网页内容解析为HTML文档对象。然后，通过Xpath表达式定位到需要提取信息的节点，并使用相应的方法提取出所需的信息，如房屋地址、名称、房间数目、朝向、其他信息、总价、每平方的价钱和建造年份等。

在提取信息时，我们需要需要处理 一些异常情况，如节点信息存在部分为空，这可能导致我们提起到数据不完整或不准确，也可能或造成提取过程中出现报错。此外，数据格式不一致也是一个常见的问题，不同的房源信息可能采用不同的格式进行描述，我们需要对这些格式进行统一处理，以确保数据的一致性和可用性。并且，我们还需要设置合适的请求头headers，其中包括Cookie和User-Agent，模拟正常用户访问行为，减少被网站识别为爬虫的风险。另外还要设置合理的延迟时间，避免过于频繁地发送请求，给网站服务器造成过大的压力。这些设置可以让我们能在爬取数据的过程种避免被网站封禁或者限制访问，也可以保证数据的准确性。

数据爬取结果如下：

数据总量：7787条

 数据存储

在存储文件时，我们选择了CSV模块。CSV是一种简单的文本文件格式，每行表示一条记录，各个字段之间