Python 爬虫使用pyppeteer 网页进行向下翻页操作

本文介绍了如何在Python爬虫中使用pyppeteer库来实现网页向下翻页,即滚动到底部的操作。尝试了三种方法,最终找到一种可行的解决方案,它基于puppeteer库的page.scroll()功能。

pyppeteer是Python接口的puppeteer,用来操作chrome浏览器,比传统的selenium 更好用。

我想把网页拖到底部,scroll page down,在网上找各种方法。

第一种如下:
Is there a way to scroll to end of page in pyppeteer · Issue #205 · miyakogi/pyppeteer

await page.evaluate("""{window.scrollBy(0, document.body.scrollHeight);}""")

可惜对我没用。


第二种如下:
python 3.x - Is there a way to scroll to end of page in pyppeteer - Stack Overflow

await page.hover(".class name")

对我也没用。


第三种方法如下:
page.scroll()? · Issue #305 · puppeteer/puppeteer

await page.evaluate('_ => {window.scrollBy(0, window.innerHeight);}')  

对我有用。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值