chrome托管模式及远程托管

本文介绍了如何利用Chrome的托管模式进行爬虫数据抓取,通过手动打开网站登录,然后设置chrome的远程调试端口进行托管,避免被识别。在Python中使用selenium结合chrome选项进行调试。当面临本地调试成功但远程失败的问题时,通过nginx反向代理实现远程托管,详细配置了nginx的相关设置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

0. 通过selenium chrome爬取数据大多网站会失败,直接通过chromedriver会被识别;目前可通过先手动打开网站登录,再托管运行js代码***托管后刷新页面会被识别

1. 启动chrome浏览器 google-chrome --remote-debugging-port=19222 --user-data-dir="/home/ubuntu/jg" --no-sandbox

# --remote-debugging-address=0.0.0.0 在headless模式下可用

2. 调试 (python)

chrome_options = Options()

chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:19222") # 前面设置的端口号

browser = webdriver.Chrome(executable_path=r'D:\driver\chromedriver.exe', options=chrome_options) # executable执行webdriver驱动的文件

3. 本地调试成功,远程调试失败。测试通过nginx反向代理可实现远程托管。

server {

listen 9222;

server_name chromeserver;

location / {

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值