Python采集二手房源数据信息并做可视化展示

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取

环境使用:

Python
Pycharm

模块使用:

requests  >>> pip install requests  数据请求模块
parsel  >>> pip install parsel 数据解析模块
csv  内置模块 保存csv表格数据

配置全局镜像源命令:

pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/simple

第三方模块安装：

win + R 输入 cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)

爬虫基本实现思路:

一. 数据来源分析

1. 明确需求: 明确采集的网站以及数据内容
    网址: 链家二手房
    数据: 房源信息
2. 抓包分析: 分析采集的数据是可以请求那个链接能够得到...
    - 开发者工具 F12 / 右键点击检查选择network (网络)
    - 刷新网页
    - 通过关键字搜索找到对应数据包
    数据包对应链接: https://cs.lianjia.com/ershoufang/

二. 代码实现步骤

1. 发送请求 -> 模拟浏览器对于url地址发送请求
    发送请求需要参数内容 --> 基本都是来源于浏览器中:
        模拟浏览器: 请求头
        请求网址
        请求方法
2. 获取数据 -> 获取服务器返回响应数据 <整个网页数据>
3. 解析数据 -> 提取我们需要数据内容 <房源信息>
4. 保存数据 -> 保存表格文件中

数据获取代码

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
# 导入数据请求模块 <需要安装>
import requests
# 导入数据解析模块 <需要安装>
import parsel
# 导入csv模块
import csv
# 导入pandas
import pandas as pd

“”"

创建文件对象

“”"

csv_file = open('二手房.csv', mode='w', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(csv_file, fieldnames=[
    '标题',
    '售价',
    '单价',
    '小区',
    '区域',
    '户型',
    '面积',
    '朝向',
    '装修',
    '楼层',
    '年份',
    '建筑结构',
])
csv_writer.writeheader()
content_list = []

“”"

发送请求

“”"

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
# 模拟浏览器: 请求头headers
headers = {
   
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
for page in range(1, 10