Python爬虫+数据分析：采集二手房源数据并做可视化

今天我们来分享一个用Python采集二手房源数据信息并做可视化得源码

软件使用：

• python 3.8 开源 免费的 (统一 3.8)

• jupyter --> pip install jupyter notebook

• Pycharm YYDS python最好用的编辑器 不接受反驳…（也可以使用）

模块使用:

第三方：

• requests >>> 数据请求模块

• parsel >>> 数据解析模块

内置：

• csv 内置模块

第三方模块安装：

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

如果出现爆红， 可能是因为 网络连接超时， 可切换国内镜像源，命令如下：

pip install -i https://pypi.doubanio.com/simple/ requests

代码展示

获取数据：

导入csv模块

import csv

创建文件

f = open('data.csv', mode='w', encoding='utf-8', newline='')

添加字段名

csv_writer = csv.DictWriter(f, fieldnames=[
        '标题',
        '小区',
        '区域',
        '总价',
        '单价',
        '户型',
        '面积',
        '朝向',
        '装修',
        '楼层',
        '年份',
        '建筑结构',
        '详情页'
])

写表头

csv_writer.writeheader()

导入第三方模块, 需要安装

import parsel
import requests

多页采集

for page in range(1, 101):

请求链接

    url = f'https://cs.lianjia.com/ershoufang/pg{page}/'

伪装浏览器 --> headers 请求头

    headers = {
   
        # User-Agent 用户代理 表示浏览器基本身份信息
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'
    }

发送请求

    response = requests.get(url, headers=headers)
    html_data = response.text # <