Python爬取链家北京租房信息！北京租房都租不起啊！

关注

VIP免费原创最新推荐文章于 2026-06-17 16:27:13 发布 482 阅读 AI 写同款· GEO 优化 ›

链家网北京市租房数据分析（一）——基于python的数据清洗本项目主要利用pthon基本语法，对链家网的3000余条整租房源数据做清洗，以便下一步进行具体的分析及可视化。我前期用Jupyer来敲代码，个人觉得比较方便，结果可以直接看到，之后再整合后放到pycharm中运行。阅读详情

一、效果图

二、代码

import re
from fake_useragent import UserAgent
from lxml import etree
import asyncio
import aiohttp
import pandas as pd
 
# 定义一个类 定义使用的变量  定义get方法通过连接池进行网络请求
class LianjiaSpider(object):
 
    def __init__(self):
        self.ua = UserAgent()  # 获取userAgent类
        self.head = {"User-Agent": self.ua.random}
        self._data = list()  # 初始化list
 
    async def get_page_count(self):
        result = await self.get("https://bj.lianjia.com/zufang/pg1")
        page_html = etree.HTML(result)  # 解析网页
        pageCount = page_html.xpath(".//div[@class='content__pg']/@data-totalpage")
        pageCount = list(map(int, pageCount))
        return pageCount[0]
 
    async def get(self, url):  # 异步方法  当方法执行挂起线程执行完毕返回当前执行
        async with ai