使用 Puppeteer 绕过 Captcha：实现商家数据自动化采集

背景/引言

大众点评作为中国领先的本地生活服务平台，不仅是消费者获取商家信息和用户评价的重要工具，同时也是商家推广的关键渠道。通过优质的内容呈现和精准的用户推荐，大众点评能够为商家带来显著的流量提升和品牌曝光，成为商业竞争中不可忽视的资源。

对于技术从业者，采集大众点评的商家数据可以用于市场动态研究、用户行为分析以及商家推广策略制定。然而，大众点评的控制机制（如 Captcha 验证）使自动化采集变得困难重重。为应对这些挑战，本文将介绍如何使用 Puppeteer，通过代理 IP、用户伪装等技术，轻松绕过 Captcha，实现对商家信息的高效采集。

---

技术实现

1. 工具与技术概述

• Puppeteer：一个强大的无头浏览器自动化工具，支持模拟用户操作，轻松处理动态页面和复杂交互。
• 代理 IP：通过隐藏真实 IP，规避访问限制，提升爬虫稳定性。
• 用户伪装技术：通过设置 User-Agent 和 Cookies 模拟真实用户行为，降低被识别的风险。

2. 关键步骤

• 配置 Puppeteer 和代理 IP。
• 设置用户伪装参数（User-Agent 和 Cookie）。
• 模拟人类操作（滚动、延迟访问等），避免触发 Captcha。
• 提取目标页面的商家信息数据。

---

实例代码

以下是完整实现代码，以采集大众点评商家信息为例，结合爬虫代理实现稳定的网络访问。

const puppeteer = require('puppeteer');

// 代理信息配置（以亿牛云爬虫代理为例 www.16yun.cn）
const proxyConfig = {
   
   
    host: 'proxy.16yun.cn', // 代理服务器地址
    port: '12345',              // 代理端口号
    username: 'your_username',  // 代理用户名
    password: 'your_password'   // 代理密码
};

// 目标 URL
const targetUrl = 'https://www.dianping.com/search/keyword/1/0_商家关键字';

(async () => {
   
   
    // 启动 Puppeteer，配置代理
    const browser = await puppeteer.launch({
   
   
        headless: false,