pyppeteer实现某宝登陆以及获取搜索结果

实现自动登陆某宝，以及通过搜索关键词获取结果，发现之前使用的selenium无法完成登陆的滑动验证，查找了一些资料应该是可以实现的，但是简单尝试了下没有成功，于是发现了今天说到的主角pyppeteer，使用pyppeteer滑动验证参考网上很多文章，以下代码也来源于网络，只对部分细节进行了修改，并且记录了pyppeteer使用过程中遇到的一些问题，该文章仅用作自己的学习笔记，避免时间过长忘记。

首先创建运行实例：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

import asyncio
from pyppeteer.launcher import launch

async def main(username, pwd, url): 
    # 若启动时无法自动下载chrome.exe，可手动下载(需科学上网打开https://download-chromium.appspot.com/)然后指定路径运行，如：
    # browser = await launch({'headless': False, 'args': ['--no-sandbox'], 'dumpio': True, executablePath: r'[path]\chrome.exe'})
    browser = await launch({
   'headless': False, 'args': ['--no-sandbox'],'dumpio':True})  # 'dumpio':True 浏览器就不会卡住了
    page = await browser.newPage()   # 启动个新的浏览器页面
    await page.setUserAgent(
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36')
	await page.goto(url)

if __name__ == '__main__':
    username = 'xxxxxx'  # 用户名
    pwd = 'xxxxxx'  # 密码
    url = 'www.baidu.com'
    loop = asyncio.get_event_loop()  # 协程，开启个无限循环的程序流程，把一些函数注册到事件循环上。当满足事件发生的时候，调用相应的协程函数。
    m = main(username, pwd, url)
    loop.run_until_complete(m)  # 将协程注册到事件循环，并启动事件循环

主要需要修改浏览器的window.navigator.webdriver、window.navigator.languages等值。

打开正常的浏览器可以看到：

window.navigator.webdriver的值为undefined，而通过pyppeteer控制打开的浏览器该值为True，当被检测到该值为True的时候，则滑动会一直失败，所以我们需要修改该属性。需要注意，在测试的过程中发现登陆成功后页面的该属性又会变成True，所以在每次重新加载页面后要重新设置该属性的值。

async def page_evaluate(page):
    # 替换淘宝在检测浏览时采集的一些参数
    await page.evaluate('''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => undefined } }) }''')
    await page.evaluate('''() =>{ window.navigator.chrome = { runtime: {},  }; }''')
    await page.evaluate('''() =>{ Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en'] }); }''')
    await page.evaluate('''() =>{ Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''')

完整代码：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

import asyncio
import time
import random
from pyppeteer.launcher import launch   # 控制模拟浏览器用
from retrying import retry      # 设置重试次数用的


async def main(username, pwd, url): # 定义main协程函数，
	# dumpio:True 浏览器就不会卡住了
    browser = await launch({
   'headless': False, 'args': [<