火车浏览器爬虫常用xpath
- 下一页
//a[contains(text(), '下页')]
- 有标题、有时间:url,title,date,sign,create_date的mysql存储
INSERT INTO xlt_train (url,title,date,sign,create_date) VALUES ('{-var.url_i-}','{-var.title-}','{-var.date-}','{-var.sign-}','{-var.create_date-}')
- 无标题、无时间:text_summary、publish_institution的数据更新
UPDATE xlt_train SET text_summary = '{-var.text_summary-}' ,publish_institution = '{-var.publish_institution-}' WHERE url = '{-var.url_detail-}'
==========================================
- 有标题、无时间:url,title,sign,create_date的mysql存储
INSERT INTO xlt_train (url,title,sign,create_date) VALUES ('{-var.url_i-}','{-var.title-}','{-var.sign-}','{-var.create_date-}')
- 无标题、有时间text_summary、publish_institution、date的数据更新
UPDATE xlt_train SET text_summary = '{-var.text_summary-}' ,publish_institution = '{-var.publish_institution-}' ,date='{-var.date-}' WHERE url = '{-var.url_detail-}'
=========================================
=================================
- 若一个标签存在多个索引,那么应该加父级。
//div[@class="main"]//input[@class="btn_page"]
比如此网站的下一页按钮:http://jsrlzyshbz.jiangsu.gov.cn/col/col51019/index.html
- 兄弟节点
//a[@class = 'z-crt']/following-sibling::a[1]
//div[@class="xxgk_lb"]//tbody/tr[5]/following-sibling::*