爬取链家二手房信息

最新推荐文章于 2024-05-08 16:45:06 发布

原创最新推荐文章于 2024-05-08 16:45:06 发布 · 775 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

爬虫专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一个基于Python的链家二手房信息爬虫项目。该项目通过requests库抓取网页数据，并利用正则表达式解析数据，最后将结果存入MySQL数据库。文章详细展示了爬虫的实现过程，包括数据库配置、爬虫类的设计及主函数流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于爬取到的数据是保存到MySQL数据库中，所以需先在MySQL中创建数据库和表

数据库创建

# 创建数据库
create database lianjiadb charset=utf8;

进入数据库

# 进入创建的数据库
use lianjiadb;

创建表

# 创建表
create table house(
house_area varchar(100) , 
house_info varchar(150), 
house_total_price int,
house_price varchar(50) 
)charset=utf8;

开始爬取

import random
import re
import requests
import pymysql

class LianjiaSpider:
    def __init__(self):
        self.url = 'https://gz.lianjia.com/ershoufang/pg{}'
        self.ua_list = [
            'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
            'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',
            'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'
        ]
        self.db = pymysql.connect('localhost', 'root', '123456', 'lianjiadb', charset='utf8')
        self.cursor = self.db.cursor()

    def get_page(self, page):
        '''获取相应页面'''
        url = self.url.format(page)
        # 随机从 self.ua_list 中获取一个对象，生成 User-Agent 防止反爬
        headers = {'User-Agent': random.choice(self.ua_list)}
        response = requests.get(url, headers=headers)
        response.encoding = 'utf-8'
        # print(response.url)
        # 获取响应后自动解析获取所需数据
        self.parse_page(response)

    def parse_page(self, response):
        '''用正则解析页面获取信息'''
        html = response.text
        # 分析页面编写正则表达式
        r = r'<div class="address">.*?data-el="region">(.*?) </a>(.*?)</div>.*?class="totalPrice"><span>(.*?)</span>.*?data-price=.*?><span>(.*?)</span>'
        # 生成正则表达式对象
        pattern = re.compile(r, re.S)
        house_list = pattern.findall(html)
        #  [("滨江绿园", "| 2室1厅 | 62.17平米 | 东南 | 精装", "203", "单价32653元/平米"),(...)]
        print(type(house_list))
        # 自动执行写入数据库
        self.write_msg(house_list)

    def write_msg(self, house_list):
        '''将获取到的信息写入到数据库'''
        sql = 'insert into house values(%s, %s, %s, %s)'
        # 使用cursor.executemany()进行插入操作，提高效率
        self.cursor.executemany(sql, house_list)
        # 操作数据库后切勿忘记提交
        self.db.commit()

    def main(self):
        page = 1
        self.get_page(page)
        while True:
            ord = input("是否继续下一页(Y/N)：")
            if ord in ['N', 'n']:
                print("谢谢使用，再见！")
                break
            elif ord in ['Y', 'y']:
                page += 1
                self.get_page(page)
            else:
                print("输入错误，请重新输入！")
                continue
        # 全部操作完成后，关闭游标,数据库
        self.cursor.close()
        self.db.close()


if __name__ == '__main__':
    spider = LianjiaSpider()
    spider.main()

执行代码后进入数据库查询

# 进入mysql界面
mysql -uroot -p123456
# 进入到lianjiadb 数据库
use lianjiadb；
# 查询house表中的信息
select * from house；

结果如下：
查询结果