最近在做爬虫,主要使用过了selenium包,但是发现selenium包直接调用本地浏览器,启动的是一个全新的(与手动打开的不一致),很多网站可以检测到,为了避免这个坑,给碰到相同问题的同伴提供思路,写下此文,希望对大家有所帮助。
1.打开谷歌浏览器;
2.在搜索框直接输入chrome://version/,找到“个人资料路径”;

注意:不要复制Default。
3.代码
from selenium import webdriver
option = webdriver.ChromeOptions()
option.add_argument(r'--user-data-dir=C:\Users\Liu\AppData\Local\Google\Chrome\User Data')
option.add_experimental_option('excludeSwitches', ['enable-automation'])
driver = webdriver.Chrome(options=option)
此时启动的浏览器和本地直接打开浏览器内容一致,可以跳过部分网站对selenium的检测机制。
本文介绍如何通过设置`--user-data-dir`参数,使用selenium启动谷歌浏览器时模仿用户行为,避免网站识别为自动化工具。步骤包括查找个人资料路径并应用相应选项。
13万+

被折叠的 条评论
为什么被折叠?



