用Python爬取58同城数据并保存到本地

最新推荐文章于 2025-06-16 17:40:47 发布

ntx1023

最新推荐文章于 2025-06-16 17:40:47 发布

阅读量2.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python

本文链接：https://blog.youkuaiyun.com/ntx1023/article/details/79661214

该博客介绍了如何使用Python爬虫技术从58同城网站抓取上海地区二手房房源信息，包括房源标题、价格、平均单价、面积和位置，并将这些信息保存到本地文件‘上海房价信息.txt’中。通过requests库获取网页内容，BeautifulSoup进行解析，正则表达式提取关键数据，最后进行数据清洗和存储。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# _*_ coding:utf-8 _*_
import requests
from bs4 import BeautifulSoup as bs
import re
import os
import gc
import time

headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
def get_info(url):
url_part=[]
area_part=[]
r=requests.get(url,headers=headers).content
soup=bs(r,'html.parser')
house_url=soup.find_all('a',attrs={'tongji_label':'listclick'})
title_part=re.findall('tongji_label="listclick">(.*?) </a>',str(house_url))
for t in house_url:
u=str(t.get('href'))