xpath爬取我爱我家杭州地区租房网

最新推荐文章于 2024-01-02 16:34:38 发布
最新推荐文章于 2024-01-02 16:34:38 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lvbu89757/article/details/96497534
版权
本文介绍如何利用XPath爬取我爱我家网站上杭州地区的租房信息。首先分析房源列表页，找到信息所在模块及详情页地址。接着解析详情页获取所需字段，并通过添加固定部分构造完整URL。最后讨论了针对不同地区使用线程进行爬取的可能性，但由于不同城市网页结构差异，需要进一步处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

xpath爬取我爱我家杭州地区租房网

分析房源信息列表页

在这里插入图片描述
网页的请求属于get，然后找我们需要的信息所在的模块
在这里插入图片描述
可以看见我们需要的网页数据在doc模块中，找到这个模块，分析他的请求，在requests请求中模拟这个请求

import requests
这个包是后面的引用
from arearenthouselistpage_5i5j import get5i5jhtml_str
写成函数形式为了更好的使用多线程完成这个爬虫程序，并可以将不同地区区分开来
def rentwhere(threadName,location,area):
	这里是第一页的路径，因为可以看见第一页是没有加页面表示的
    ziru_request_url='https://'+area+'.5i5j.com/zufang/'+location+'/'
    模拟请求头部信息
    ziru_headers_not_page_change={
        'Cookie': '_Jo0OQK=394A86405E728B2E2C333E6CA8A18ACC0BB3A7A9FE20C59CA7E06E6E453EBF603D36AEB18A30FA137670A679327C2C727BFB98D739C1FF2EFE4CE4D9489BE35B0B79FC0DF34BBE505AF02631C467319B15B02631C467319B15B869297F6895F5D91GJ1Z1Jg==; PHPSESSID=h706jmshf4gl3oo07fodgfj7ur; yfx_c_g_u_id_10000001=_ck19071814495010631508206604565; yfx_mr_f_n_10000001=baidu%3A%3Amarket_type_cpc%3A%3A%3A%3Abaidu_ppc%3A%3A%25e7%25a7%259f%25e6%2588%25bf%3A%3A%3A%3A%25E5%2587%25BA%25E7%25A7%259F%25E5%258D%2595%25E9%2597%25B4%3A%3Awww.baidu.com%3A%3A93455795538%3A%3A%3A%3A%25E7%25A7%259F%25E6%2588%25BF-%25E9%2580%259A%25E7%2594%25A8%25E8%25AF%258D%3A%3A%25E6%2588%25BF%25E5%25B1%258B%25E5%2587%25BA%25E7%25A7%259F%3A%3A75%3A%3Apmf_from_adv%3A%3Ahz.5i5j.com%2Fzufang%2F; _ga=GA1.2.2016664089.1563432591; _gid=GA1.2.1340751855.1563432591; domain=hz; baidu_OCPC_pc=9b0365a45d1dd407fcb10009db737436e9719374b2a29e9da9edf86537231394a%3A2%3A%7Bi%3A0%3Bs%3A13%3A%22baidu_OCPC_pc%22%3Bi%3A1%3Bs%3A178%3A%22%22https%3A%5C%2F%5C%2Fhz.5i5j.com%5C%2F%3Fpmf_group%3Dbaidu%26pmf_medium%3Dppzq%26pmf_plan%3D%25E5%25B7%25A6%25E4%25BE%25A7%25E6%25A0%2587%25E9%25A2%2598%26pmf_unit%3D%25E6%25A0%2587%25E9%25A2%2598%26pmf_keyword%3D%25E6%25A0%2587%25E9%25A2%2598%26pmf_account%3D170%22%22%3B%7D; yfx_f_l_v_t_10000001=f_t_1563432589785__r_t_1563432589785__v_t_1563437789447__r_c_0; yfx_mr_n_10000001=baidu%3A%3Amarket_type_ppzq%3A%3A%3A%3Abaidu_ppc%3A%3A%25e6%2588%2591%25e7%2588%25b1%25e6%2588%2591%25e5%25ae%25b6%3A%3A%3A%3A%25E6%25A0%2587%25E9%25A2%2598%3A%3Asp0.baidu.com%3A%3A%3A%3A%3A%3A%25E5%25B7%25A6%25E4%25BE%25A7%25E6%25A0%2587%25E9%25A2%2598%3A%3A%25E6%25A0%2587%25E9%25A2%2598%3A%3A170%3A%3Apmf_from_adv%3A%3Ahz.5i5j.com%2F; yfx_key_10000001=%25e6%2588%2591%25e7%2588%25b1%25e6%2588%2591%25e5%25ae%25b6; isClose=yes; Hm_lvt_94ed3d23572054a86ed341d64b267ec6=1563432591,1563437790; Hm_lpvt_94ed3d23572054a86ed341d64b267ec6=1563437845',
        'Referer': 'https://hz.5i5j.com/?pmf_group=baidu&pmf_medium=ppzq&pmf_plan=%E5%B7%A6%E4%BE%A7%E6%A0%87%E9%A2%98&pmf_unit=%E6%A0%87%E9%A2%98&pmf_keyword=%E6%A0%87%E9%A2%98&pmf_account=170',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.14
最低0.47元/天 解锁文章
xpath匹配 爬取房源信息（我爱我家）
weixin_42958183的博客
08-27 973
# requests包 import requests # xpath包 from lxml import etree # 本地mysql包（mysql_def包下mysql_conn函数） from mysql_def import mysql_conn # 定义url,含分页 %d base_url='https://bj.5i5j.com/zufang/changpingqu/n%d/'...
爬了杭州的租房数据，原来……
猫玛尼的技术之路
12-26 927
大家好，我是“猫玛尼”，一名程序员。   在外打工，大部分人每个月总要花一笔钱在租房上面，一起来看看杭州的租房情况。   数据来源是F天下，该网站，按照百度的说法：“是全球最大的房地产家居网络平台”，数据源靠谱。   一共爬取到15485条出租房源数据，按照区域分布如下：   【数据分析】 一、房源分布 我们可以清晰地看到，几大城区，房源数量基本上都比较接近。上下两城和拱墅...
爬取自如网站杭州市的租房信息
weixin_30677073的博客
05-17 156
爬取自如网站杭州市的租房信息 最近看到自如网的整体网页结构比较简洁，因此尝试获取一下杭州市的租房情况，简单做一个分析。 需要获取的内容如图所示 1.获取网页内容 web_url='http://hz.ziroom.com/z/nl/z2.html?p=1' #对一些需要登录的网站，如果不是从浏览器发出的请求，得不到响应，所以需要将爬虫程序发出的请求伪装成浏览器。 headers ={'Use...
[python爬虫]爬取我爱我家租房信息
Black_God1的博客
08-20 2528
导包 import re,chardet,pymysql from piaot import * from urllib import parse 主函数，输入值ye是页数 def woaijia(name,ye): # 将name值转成url编码 uname=parse.quote(name) # 判断一下是否是第1页，因为第一页和第2页格式不同 if...
利用Python爬取杭州租房信息，发现月薪没有8K还是不要租房了吧
weixin_34289744的博客
11-30 159
前言小编的一个好朋友跑去杭州工作了，跟我吐槽杭州的租房太贵了，房租正在成为摧垮年轻人的“第一根稻草”，在杭州打拼的你，所在的城区房租涨了吗？你是否还能潇洒地说出 “买不起房子，就租嘛”？小编于是就爬取了杭州的租房信息并进行了简单的数据分析，唉，买不起房子，感觉也快租不起房子了。基本环境配置版本：Python3.6 复制代码系统：Windows爬虫部分：import re import time i...
使用xpath爬取猫眼电影榜单
tangjin365的博客
03-06 827
python爬虫学习之xpath的使用！
Python使用xpath爬取网站数据
最新发布
04-03
Python使用xpath爬取网站数据
爬虫——xpath爬取图片
liaojsgtcg的博客
10-12 4617
目录简介XPath定位方法爬取图片 简介 XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。在使用XPath前我们需要大致了解HTML / XHTML；XML / XML 命名空间，的相关知识。 什么是 XPath? XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准 XPath 路径表达式: XPath 使用路径表达式来选取 XML
我爱我家
tianyu的专栏 - Linux site:blog.youkuaiyun.com/wishfly
11-23 1613
第1―2集：发挥余热 第3集：我们的愚人节（蔡明） 第4集：也算失恋（张瞳、乔红、曾国华、史绍辉、蔡明） 第5-6集：亲家母到俺家（韩影、李野萍、吴淑昆） 第7集：骗子（句号、李绪良、吕国宾、张永强、莫岐） 第8集：既然曾经爱过（郭冬临、陈瑾） 第9―10集：灭鼠记（金雅琴、梁左） 第11―12集：无线寻踪（夏力薪、张士瑞、刘斌、林丛） 第13―14
使用xpath爬取个人博客第一页中的文章标题
学无止境
05-09 707
import requests import lxml.html headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'} r = requests.get('https://...
使用 Scrapy 爬取我爱我家二手房网站
NatusVincere
01-02 1086
使用 Scrapy 爬取 5i5j 网站房产数据并存储到 MongoDB
我爱我家（抓取）
总有刁民妄想谋害朕的博客
08-17 884
import requests,re from lxml import etree import mysql_test # 构建代理 proxy = { 'http' : 'http://alice:123456@120.78.166.84:6666', 'https' : 'http://alice:123456@120.78.166.84:6666' } headers={...
爬取我爱我家房源信息
网络爬虫开发
04-04 1658
1、创建项目 scrapy startproject pachong 创建文件 scrapy genspider woaiwojia 2、编辑items.py 自定义要爬取的字段域 class Pachong2Item(scrapy.Item): apartment = scrapy.Field() total_price = scrapy.Field() 编辑se...
利用BeautifulSoup爬取我爱我家的租房数据
微瞰技术的博客
07-18 1545
因为之前对BeautifulSoup一直不是很熟悉，刚好身边的朋友同事在找房子，就想着能不能自己写个爬虫爬一下数据，因此就写了这个爬虫。基本都是边看书边写的，不过也没什么好讲的。直接粘代码了。 # coding=utf-8 import requests from bs4 import BeautifulSoup import pymysql import time db= pymysql.c...
爬取我爱我家租房信息时 问题总结（付代码）
小羽飞的博客
05-12 1332
最近一直在联系爬虫，所以对一些网站抓取信息是遇到了问题，这里总结一下我爱我家的问题 在以往的练习时，xpath是我最常用的方法，这次也不例外 好的，我们开始爬取数据 第一步 ，接口查找 https://bj.5i5j.com/zufang/ 我们需要按照不同区域爬取，增加一点难度 第一个问题，我们在爬取时会第一步就遇到了界面访问不进去的问题 访问进去是一个空界面，或者根本访问不进去...
爬取某爱某家网二手房源信息
网络爬虫开发
03-01 3370
# xpath爬取 # 爬取小区名称、户型、地区、售价、总价 1、导入模块 import requests import csv from lxml import etree 2、创建类 # 创建我爱我家类 class Woaiwojia: 3、类函数定义编写 # 创建页面获取函数 def get_page(self, url): self.url = u...
各音视频格式文件下载地址清单分享
热门推荐
hecong129的专栏
05-26 5万+
https://samples.mplayerhq.hu/allsamples.txt https://samples.mplayerhq.hu/A-codecs/AC3/Broadway-5.1-48khz-448kbit.ac3 . ./00-README ./3D ./3D/00001-2.MTS ./3D/00001-2.MTS.txt ./3D/00001.MTS ./3
爬虫代理池的使用
weixin_43636302的博客
01-04 1439
代理池的作用 用于解决爬虫时访问频率过高封ip的问题 前期准备 1.需要准备一个代理池，可以自己爬取一些IP做一个代理池(简单的做法可以是把IP放到txt文件读取，也可以自己使用开源代理池代码（借用别人做的代理池，不同代码效率有差异，免费代理池一般效率不高） 放一个代理池链接： 链接：https://pan.baidu.com/s/1w6FpNgFXhP3_wWBQOM441Q 提取码：dtsx ...
用xpath爬取链家租房
07-28
要使用xpath爬取链家租房的房源数据，你可以使用Python中的相关库，如requests、bs4和xpath。首先，你需要发送HTTP请求获取网页的HTML内容，可以使用requests库来实现。然后，你可以使用BeautifulSoup库的解析器来解析HTML内容，并使用xpath表达式来提取所需的数据。 在代码中，你可以定义一个主函数，其中包含获取网页、解析HTML、提取数据和保存数据的步骤。你可以使用xpath表达式来选择和提取所需的信息，如房屋所在地区、小区名、户型、面积、朝向和价格等。你还可以使用pandas库将提取的数据保存到Excel文件中。 以下是一个简单的代码示例，用于使用xpath爬取链家租房的房源数据并保存到Excel文件中： ```python import requests from bs4 import BeautifulSoup import pandas as pd import lxml.etree as etree def get_html(url): response = requests.get(url) return response.text def parse_html(html): soup = BeautifulSoup(html, 'html.parser') return soup def extract_data(soup): data = \[\] listings = soup.select('div.content div.leftContent div.content__list--item') for listing in listings: area = listing.select_one('p.content__list--item--des a').text community = listing.select_one('p.content__list--item--des a:nth-of-type(2)').text layout = listing.select_one('p.content__list--item--des span:nth-of-type(1)').text size = listing.select_one('p.content__list--item--des span:nth-of-type(2)').text orientation = listing.select_one('p.content__list--item--des span:nth-of-type(3)').text price = listing.select_one('span.content__list--item-price em').text data.append(\[area, community, layout, size, orientation, price\]) return data def save_to_excel(data, filename): df = pd.DataFrame(data, columns=\['Area', 'Community', 'Layout', 'Size', 'Orientation', 'Price'\]) df.to_excel(filename, index=False) def main(num_pages, filename): base_url = 'https://bj.lianjia.com/zufang/pg{}' all_data = \[\] for page in range(1, num_pages+1): url = base_url.format(page) html = get_html(url) soup = parse_html(html) data = extract_data(soup) all_data.extend(data) save_to_excel(all_data, filename) if __name__ == '__main__': num_pages = int(input('请输入要爬取的页数：')) filename = 'lianjia_rent.xlsx' main(num_pages, filename) ``` 在这个示例中，我们定义了`get_html`函数来发送HTTP请求并获取网页的HTML内容。然后，我们使用BeautifulSoup库的解析器来解析HTML内容，并使用xpath选择器来提取所需的数据。最后，我们使用pandas库将提取的数据保存到Excel文件中。 请注意，这只是一个简单的示例，你可能需要根据具体的网页结构和需求进行适当的修改。另外，为了避免被网站反爬虫机制封禁，你可能需要添加一些反爬虫策略，如设置请求头、使用代理等。 #### 引用[.reference_title] - *1* [利用xpath爬取链家租房房源数据并利用pandas保存到Excel文件中](https://blog.youkuaiyun.com/renhongbin614/article/details/104540204)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [第二章 爬取案例-链家租房数据获取 2021-09-16](https://blog.youkuaiyun.com/qq_21438267/article/details/120337045)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值