爬虫系列3:Requests+Xpath 爬取租房网站信息并保存本地

数据保存本地

 

【抓取】:参考前文 爬虫系列1:https://www.cnblogs.com/yizhiamumu/p/9451093.html

【分页】:参考前文 爬虫系列2:https://www.cnblogs.com/yizhiamumu/p/10267721.html

【保存】:参考前文 爬虫系列3:https://www.cnblogs.com/yizhiamumu/p/10270926.html

【动态】:参考前文 爬虫系列4:https://www.cnblogs.com/yizhiamumu/p/10272977.html

 

小猪短租是一个租房网站,上面有很多优质的民宿出租信息,下面我们以成都地区的租房信息为例,来尝试爬取这些数据。

小猪短租(成都)页面:http://cd.xiaozhu.com/

1.爬取租房标题

按照惯例,先来爬下标题试试水,找到标题,复制xpath。

多复制几个房屋的标题 xpath 进行对比:

//[@id="page_list"]/ul/li[1]/div[2]/div/a/span //[@id="page_list"]/ul/li[2]/div[2]/div/a/span //*[@id="page_list"]/ul/li[3]/div[2]/div/a/span 瞬间发现标题的 xpath 只在

  • 后序号变化,于是,秒写出爬取整页标题的 xpath:

 

//*[@id=“page_list”]/ul/li/div[2]/div/a/span

还是固定的套路,让我们尝试把整页的标题爬下来:

小猪在IP限制方面比较严格,代码中务必要加入 sleep() 函数控制爬取的频率

顺着标题的标签网上找,找到整个房屋信息标签, xpath 对比如下:

//[@id=“page_list”]/ul/li #整体 //[@id=“page_list”]/ul/li/div[2]/div/a/span #标题

你应该知道该怎么来改代码了吧,写一个循环:

file=s.xpath(‘//*[@id=“page_list”]/ul/li’)
for div in file:    
  title=div.xpath("./div[2]/div/a/span/text()")[0]



写文件时,我们主要用到 with open() 语句: with open(name,mode,encoding) as filefile.write() # 注意,with open() 后面的语句有一个缩进
  • name:包含文件名称的字符串,比如:‘xiaozhu.txt’;
  • mode:决定了打开文件的模式,只读/写入/追加等;
  • encoding:表示我们要写入数据的编码,一般为 utf-8 或者 gbk ;
  • file:表示我们在代码中对文件的命名。
# http://cd.xiaozhu.com/
# 主题 + 分页 + 保存本地

from lxml import etree
import requests 
import time 

with open('C:/Users/Administrator/Desktop/comment15.txt','w',encoding='utf-8') as f:
    for a in range(1,7):
        url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)
        data = requests.get(url).text
        s=etree.HTML(data)

        titles = s.xpath('//*[@id="page_list"]/ul/li')
        time.sleep(7)

        for div in titles:
            title = div.xpath("./div[2]/div/a/span/text()")[0]
            price = div.xpath("./div/div[1]/span[1]/i/text()")[0]
            scribe = div.xpath("./div[2]/div/em/text()")[0].strip()
            pic = div.xpath("./a/img/@lazy_src")[0]

            print("{} {} {} {}".format(title,price,scribe,pic))
            
            f.write("{} {} {} {}\n".format(title,price,scribe,pic))

 

打印结果预览:

 

温馨浪漫情侣度假—民谣里贝壳帐篷 1580 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,26,19200,1800,1199,8068737f.jpg 含早/成都东站2号地铁-肯派之家13-101 298 独立单间/1张床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,6,4561,1800,1202,9e891d09.jpg 芗吟民宿-《竹坞》成都太古里市井中的隐世桃源 777 整套出租/4室2厅/4张床/宜住8人 https://image.xiaozhustatic1.com/12/51,0,96,19302,1800,1202,f6740069.jpg 37楼夜景超美 樓頂空中花園俯瞰成都 298 整套出租/2室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,16,29629,1800,1200,70a3953b.jpg 【晔艳】东客站-巨屏投影地铁直达太古里m 200 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/51,0,28,18056,1800,1201,404b7ef3.jpg 春熙路/太古里/英伦风两居/地铁直达宽窄巷子 288 整套出租/21/2张床/宜住4https://image.xiaozhustatic1.com/12/16,0,77,34616,1800,1200,0ebc6521.jpg 【几末】空间几何/地铁100米/一居/桐梓林 258 整套出租/11/1张床/宜住2https://image.xiaozhustatic1.com/12/51,0,9,23389,1800,1202,5754c402.jpg 春熙路地铁口&宽窄巷&莫兰迪复古&两居跃层 338 整套出租/2室1厅/2张床/宜住4人 https://image.xiaozhustatic1.com/12/51,0,60,843,1800,1200,168035ac.jpg 新房特惠川师东站三圣乡34号爱情公寓轻奢浪漫 208 整套出租/1室0厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/15,0,27,12717,1800,1200,f21ab62c.jpg 【白鹿】春熙路武侯祠/九眼桥/宽窄巷子套一 159 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/12,0,86,14671,1498,1000,c5c55bb2.jpg 【初醒】成都市中心盐市口春熙路太古里IFS 198 整套出租/1室1厅/1张床/宜住2人 https://image.xiaozhustatic1.com/12/14,0,20,24457,1800,1202,485c365f.jpg 【花韵】舒适大床房/春熙路宽窄巷子文殊院地铁 188 整套出租/10/1张床/宜住2https://image.xiaozhustatic1.com/12/18,0,97,13909,1800,1200,31083987.jpg 【一厘一景】武侯祠锦里&近地铁口&近天府广场 188 整套出租/1室1厅/

转载于:https://www.cnblogs.com/yizhiamumu/p/10270926.html

使用requestsxpath爬取链家租房信息,可以按照以下步骤进行操作: 1. 首先,需要导入requestslxml库,用于发送请求解析HTML页面。可以使用以下代码导入库: ```python import requests from lxml import etree ``` 2. 然后,需要构造请求头URL,发送请求获取HTML页面。可以使用以下代码发送请求: ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } url = 'https://bj.lianjia.com/zufang/' response = requests.get(url, headers=headers) html_str = response.text ``` 3. 接下来,可以使用lxml库的etree模块来解析HTML页面,使用xpath表达式提取所需的房源信息。可以使用以下代码进行解析提取: ```python html = etree.HTML(html_str) house_list = html.xpath('//div\[@class="content__list"\]/div\[@class="content__list--item"\]') for house in house_list: area = house.xpath('.//p\[@class="content__list--item--des"\]/a\[1\]/text()')\[0\] community = house.xpath('.//p\[@class="content__list--item--des"\]/a\[2\]/text()')\[0\] layout = house.xpath('.//p\[@class="content__list--item--des"\]/span\[1\]/text()')\[0\] size = house.xpath('.//p\[@class="content__list--item--des"\]/span\[2\]/text()')\[0\] orientation = house.xpath('.//p\[@class="content__list--item--des"\]/span\[3\]/text()')\[0\] price = house.xpath('.//span\[@class="content__list--item-price"\]/em/text()')\[0\] print(area, community, layout, size, orientation, price) ``` 4. 最后,可以将提取到的房源信息保存到Excel文件中。可以使用pandas库来创建DataFrame对象,使用to_excel方法将数据保存到Excel文件。可以使用以下代码进行保存: ```python import pandas as pd data = pd.DataFrame({ '地区': area_list, '小区名': community_list, '户型': layout_list, '面积': size_list, '朝向': orientation_list, '价格(元/月)': price_list }) data.to_excel('house_info.xlsx', index=False) ``` 以上就是使用requestsxpath爬取链家租房信息的步骤。通过发送请求获取HTML页面,使用xpath表达式提取所需的信息将提取到的信息保存到Excel文件中。 #### 引用[.reference_title] - *1* *2* [利用xpath爬取链家租房房源数据利用pandas保存到Excel文件中](https://blog.youkuaiyun.com/renhongbin614/article/details/104540204)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [爬虫三:用xpath爬取链家网二手房信息](https://blog.youkuaiyun.com/qq_23860475/article/details/103505587)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值