python爬虫--小猪短租的租房信息

最新推荐文章于 2020-12-16 04:50:50 发布

weixin_30391339

最新推荐文章于 2020-12-16 04:50:50 发布

阅读量180

点赞数

CC 4.0 BY-SA版权

文章标签：爬虫 python

原文链接：http://www.cnblogs.com/november1943/p/5230924.html

本文介绍如何使用Python的requests和BeautifulSoup4库来抓取小猪短租网站上的租房详细信息，包括房源标题、地址、价格、图片等，并通过代码示例展示了数据抓取的具体实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python爬虫--小猪短租的租房信息

利用requests获取网页
利用Beautifulsoup4和lxml解析网页

具体代码如下

from bs4 import BeautifulSoup
import requests

url = 'http://bj.xiaozhu.com/fangzi/1508951935.html'
web_data = requests.get(url)
soup = BeautifulSoup(web_data.text, 'lxml')

title = soup.select('div.pho_info > h4 ')[0].text
address = soup.select('div.pho_info > p ')[0].get('title')
price = soup.select('div.day_l > span')[0].text
first_pic = soup.select('#curBigImage')[0].get('src')
landlord_pic = soup.select('div.member_pic > a > img')[0].get('src')
landlord_name = soup.select('div.w_240 > h6 > a')[0].text
if soup.select('span[class="member_girl_ico"]'):
landlord_gender = 'female'
else:
landlord_gender = 'male'

data = {
'title': title,
'address': address,
'price': price,
'first_pic': first_pic,
'landlord_pic': landlord_pic,
'landlord_name': landlord_name,
'landlord_gender': landlord_gender
}
print(data)

转载于:https://www.cnblogs.com/november1943/p/5230924.html