火车浏览器爬虫常用xpath

本文介绍了在火车浏览器爬虫中使用XPath抓取数据的一些常见情况,包括有标题和时间、无标题和时间的数据存储格式,以及如何处理存在多个索引的标签,特别提到了如何处理下一页按钮的XPath路径。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

火车浏览器爬虫常用xpath

  • 下一页
//a[contains(text(), '下页')]
  • 有标题、有时间:url,title,date,sign,create_date的mysql存储
INSERT INTO xlt_train (url,title,date,sign,create_date) VALUES ('{-var.url_i-}','{-var.title-}','{-var.date-}','{-var.sign-}','{-var.create_date-}')
  • 无标题、无时间:text_summary、publish_institution的数据更新
UPDATE xlt_train SET  text_summary = '{-var.text_summary-}' ,publish_institution = '{-var.publish_institution-}'   WHERE url = '{-var.url_detail-}'

==========================================

  • 有标题、无时间:url,title,sign,create_date的mysql存储
INSERT INTO xlt_train (url,title,sign,create_date) VALUES ('{-var.url_i-}','{-var.title-}','{-var.sign-}','{-var.create_date-}')
  • 无标题、有时间text_summary、publish_institution、date的数据更新
UPDATE xlt_train SET  text_summary = '{-var.text_summary-}' ,publish_institution = '{-var.publish_institution-}' ,date='{-var.date-}'  WHERE url = '{-var.url_detail-}'

=========================================

=================================

  • 若一个标签存在多个索引,那么应该加父级。
 //div[@class="main"]//input[@class="btn_page"]

比如此网站的下一页按钮:http://jsrlzyshbz.jiangsu.gov.cn/col/col51019/index.html

  • 兄弟节点
  //a[@class = 'z-crt']/following-sibling::a[1]
//div[@class="xxgk_lb"]//tbody/tr[5]/following-sibling::*
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值