火车浏览器爬虫常用xpath

最新推荐文章于 2024-02-01 14:21:42 发布

原创最新推荐文章于 2024-02-01 14:21:42 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #xpath

PYTHON 同时被 2 个专栏收录

7 篇文章

订阅专栏

软件使用

4 篇文章

订阅专栏

本文介绍了在火车浏览器爬虫中使用XPath抓取数据的一些常见情况，包括有标题和时间、无标题和时间的数据存储格式，以及如何处理存在多个索引的标签，特别提到了如何处理下一页按钮的XPath路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

火车浏览器爬虫常用xpath

//a[contains(text(), '下页')]

有标题、有时间：url,title,date,sign,create_date的mysql存储

INSERT INTO xlt_train (url,title,date,sign,create_date) VALUES ('{-var.url_i-}','{-var.title-}','{-var.date-}','{-var.sign-}','{-var.create_date-}')

无标题、无时间：text_summary、publish_institution的数据更新

UPDATE xlt_train SET  text_summary = '{-var.text_summary-}' ,publish_institution = '{-var.publish_institution-}'   WHERE url = '{-var.url_detail-}'

==========================================

有标题、无时间：url,title,sign,create_date的mysql存储

INSERT INTO xlt_train (url,title,sign,create_date) VALUES ('{-var.url_i-}','{-var.title-}','{-var.sign-}','{-var.create_date-}')

无标题、有时间text_summary、publish_institution、date的数据更新

UPDATE xlt_train SET  text_summary = '{-var.text_summary-}' ,publish_institution = '{-var.publish_institution-}' ,date='{-var.date-}'  WHERE url = '{-var.url_detail-}'

=========================================

=================================

若一个标签存在多个索引，那么应该加父级。

 //div[@class="main"]//input[@class="btn_page"]

比如此网站的下一页按钮：http://jsrlzyshbz.jiangsu.gov.cn/col/col51019/index.html

兄弟节点

  //a[@class = 'z-crt']/following-sibling::a[1]
//div[@class="xxgk_lb"]//tbody/tr[5]/following-sibling::*