在使用GoogleChrome的headless模式时，由于user-agent中包含HeadlessChrome，可能导致被识别为bot。通过在options中添加--headless参数和自定义user-agent，可以避免这种情况，使它表现得更像普通浏览器。
使用最新的Google Chrome时：
当您使用正常标题的google-chrome浏览器时，以下user-agent正在使用：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36
其中，当您使用google-chrome-headless浏览器时，以下user-agent正在使用：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/95.0.4638.69 Safari/537.36
附加的Headless参数/属性作为bot被拦截。
修改后：
options.add_argument('--headless')
options.add_argument("user-agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'")
完美解决
作者：帆哥
链接：https://www.zhihu.com/question/390628859/answer/2297484413
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
