python xpath 获取指定页面中指定区域的html代码

本文介绍使用Python的lxml和requests模块从指定网址抓取特定区域HTML代码的方法。通过XPath定位目标元素,并利用etree.tostring()转换为字符串。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

    最近一个朋友问我怎么把一个指定区域的内容转成pdf,网上查了一下python里面有个wkhtmltopdf模块可以将str、file、url转成pdf,我们今天不聊怎么转PDF,聊聊怎么获取页面中指定区域的html源码。用到的模块是lxml和requests这两个模块,没有装的小伙伴可以装一下 pip install  lxml requests  

        主要思想是利用xpath获取到指定区域的Element对象,然后再将Element对象传给etree.tostring(),即可得到指定区域的html代码,看一下需求:

    1、我们要得到 http://www.w3school.com.cn/   w3c首页中的这个位置的html代码:

      

        看一下页面源码是这样的

         

   2、下面开始编码:           

1 from lxml import etree
2 import requests
3 
4 res=requests.get('http://www.w3school.com.cn/')
5 tree=etree.HTML(res.content)
6 div=tree.xpath('//div[@id="d1"]')[0]
7 div_str=etree.tostring(div,encoding='utf-8')
8 print div_str

 

        3、结果如下:

     

       4、成功获取到了指定区域的html代码。

 

 

  

 

转载于:https://www.cnblogs.com/just-do/p/9778941.html

要使用Python爬虫获取链家指定区域二手房价格,可以按照以下步骤进行操作: 1. 确定要抓取的页面URL规律,例如https://bj.lianjia.com/ershoufang/rs/后面的rs/表示区域,可以根据需要替换为指定区域。 2. 使用Python爬虫库,如requests库发送HTTP请求获取页面内容。 3. 使用lxml解析库或BeautifulSoup解析库解析HTML页面,提取需要的数据。 4. 根据页面HTML结构和需要抓取的数据,编写XPath表达式或使用BeautifulSoup的选择器提取相应的数据。 5. 循环遍历每个房源信息,提取房屋总价和单价等信息。 下面是一个示例代码,用于获取链家指定区域二手房价格: ```python import requests from lxml import etree # 指定要抓取的区域 area = 'dongcheng' # 构造URL url = f'https://bj.lianjia.com/ershoufang/rs/{area}/' # 发送HTTP请求获取页面内容 resp = requests.get(url) # 使用lxml解析HTML页面 html = etree.HTML(resp.text) # 使用XPath表达式提取房屋总价和单价等信息 total_prices = html.xpath('//div\[@class="totalPrice"\]/span/text()') unit_prices = html.xpath('//div\[@class="unitPrice"\]/span/text()') # 打印房屋总价和单价等信息 for total_price, unit_price in zip(total_prices, unit_prices): print(f'房屋总价:{total_price},房屋单价:{unit_price}') ``` 请注意,以上代码仅为示例,实际使用时需要根据具体情况进行适当的修改和调整。 #### 引用[.reference_title] - *1* *3* [Python爬虫抓取链家二手房数据](https://blog.youkuaiyun.com/zihong521/article/details/122258219)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [【python爬虫】爬取链家二手房数据](https://blog.youkuaiyun.com/weixin_42108731/article/details/117047877)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值