Pyppeteer使用过程中的问题记录

最近要爬取jd商品评论，看了网上大部分文章，都是只介绍了爬取方法，但没有明说能爬取多少。我相信其中大部分都是只能爬取几百条数据，就爬不到内容了。被jd反爬了，虽然还能访问商品页，但评论是看不到了。

我试了几个方法，从aiohttp-->selenium-->pyppeteer。最终还是采用了pyppeteer，原因是相对于selenium，最关键的一点是pyppeteer支持异步。

捣鼓了几天时间，终于是顺畅的跑起来了，获取数据量3万左右。