Python pandas分页爬取网页的表格导出excel文件
我们利用模拟浏览器爬取一个网页上的表格,但是它有很多页,这就需要我们不断点击下一页来获取新的表格继续爬取。
如图所示,我们无法确定一个动态更新数据的表格的具体页数,因为他会随着数据变化而增加或减少。
a1 = driver.find_element_by_xpath('/html/body/div/div/div[2]/div/div[2]/nav/ul/li[last()-1]/a').text
a1 = int(str(a1))
上述代码用来获取当前页数数字,li[last()-1] 代表获取倒数
原创
2020-09-19 15:12:47 ·
3236 阅读 ·
1 评论