Stagehand验证码处理：AI识别与自动填写
项目地址: https://gitcode.com/GitHub_Trending/stag/stagehand 概述
在现代Web自动化中，验证码（CAPTCHA，全自动区分计算机和人类的公开图灵测试）是自动化脚本面临的主要障碍之一。Stagehand作为AI驱动的浏览器自动化框架，提供了强大的验证码处理能力，让开发者能够优雅地解决这一挑战。
本文将深入探讨Stagehand的验证码处理机制，涵盖从基础配置到高级AI识别策略的完整解决方案。
验证码类型与挑战
常见验证码类型
| 验证码类型 | 特点 | 处理难度 |
|---|---|---|
| 文本验证码 | 扭曲文字识别 | ⭐⭐ |
| 图像验证码 | 选择特定图像 | ⭐⭐⭐ |
| reCAPTCHA v2 | "我不是机器人"复选框 | ⭐⭐⭐⭐ |
| reCAPTCHA v3 | 无感验证 | ⭐⭐⭐⭐⭐ |
| hCaptcha | 类似reCAPTCHA的替代方案 | ⭐⭐⭐⭐ |
Stagehand的验证码处理策略
Stagehand采用多层验证码处理策略：
Browserbase集成验证码解决方案
基础配置
Stagehand通过Browserbase提供内置的验证码解决功能：
import { Stagehand } from "@browserbasehq/stagehand";
const stagehand = new Stagehand({
env: "BROWSERBASE",
browserbaseSessionCreateParams: {
browserSettings: {
solveCaptchas: true, // 启用自动验证码解决
blockAds: true,
viewport: { width: 1920, height: 1080 }
}
}
});
await stagehand.init();
高级配置选项
const stagehand = new Stagehand({
env: "BROWSERBASE",
apiKey: process.env.BROWSERBASE_API_KEY,
projectId: process.env.BROWSERBASE_PROJECT_ID,
browserbaseSessionCreateParams: {
proxies: true,
region: "us-west-2",
timeout: 3600,
browserSettings: {
advancedStealth: false,
blockAds: true,
solveCaptchas: true, // 核心验证码解决功能
recordSession: false,
viewport: {
width: 1920,
height: 1080
},
fingerprint: {
browsers: ["chrome"],
devices: ["desktop"],
operatingSystems: ["windows"],
locales: ["en-US"]
}
}
}
});
AI驱动的验证码识别
使用Computer Use模型处理复杂验证码
Stagehand集成了OpenAI和Anthropic的Computer Use模型，能够处理复杂的图像验证码：
// 配置AI代理处理验证码
const agent = stagehand.agent({
provider: "openai",
model: "computer-use-preview",
});
// 处理图像验证码场景
async function handleImageCaptcha() {
const page = stagehand.page;
// 导航到目标页面
await page.goto("https://example.com/login");
// 使用AI识别并处理验证码
const result = await agent.execute(`
识别页面上的验证码并完成验证。
如果是图像验证码，选择所有包含指定对象的图像。
如果是文本验证码，识别并输入正确的文本。
`);
console.log("验证码处理结果:", result);
}
自定义验证码处理逻辑
// 自定义验证码处理器
class CustomCaptchaHandler {
constructor(private stagehand: Stagehand) {}
async solveTextCaptcha(): Promise<string> {
const page = this.stagehand.page;
// 提取验证码图像
const captchaImage = await page.extract({
instruction: "提取验证码图像的base64编码",
schema: z.object({
imageData: z.string().describe("验证码图像的base64数据")
})
});
// 调用OCR服务或AI模型识别
const recognizedText = await this.recognizeText(captchaImage.imageData);
return recognizedText;
}
async solveImageCaptcha(): Promise<void> {
const agent = this.stagehand.agent({
provider: "anthropic",
model: "claude-3-opus-20240229"
});
await agent.execute(`
分析页面上的图像验证码，选择所有包含"交通灯"的图像。
确保选择正确数量的图像后提交验证。
`);
}
private async recognizeText(imageData: string): Promise<string> {
// 这里可以集成第三方OCR服务
// 例如: Google Cloud Vision, AWS Textract等
return "识别出的文本";
}
}
验证码处理最佳实践
1. 多层验证码处理策略
async function handleCaptchaWithFallback() {
try {
// 第一层: Browserbase自动解决
await attemptAutomatedSolve();
// 第二层: AI模型处理
await attemptAISolve();
// 第三层: 人工干预备用方案
await fallbackToManual();
} catch (error) {
console.error("验证码处理失败:", error);
await handleCaptchaFailure();
}
}
2. 验证码检测与重试机制
// 验证码检测函数
async function detectCaptcha(page: any): Promise<boolean> {
const captchaIndicators = [
"iframe[src*='recaptcha']",
"div[class*='captcha']",
"img[src*='captcha']",
"text中含有'验证码'或'CAPTCHA'"
];
for (const selector of captchaIndicators) {
const elements = await page.$$(selector);
if (elements.length > 0) {
return true;
}
}
return false;
}
// 带重试的验证码处理
async function withCaptchaRetry<T>(
operation: () => Promise<T>,
maxRetries = 3
): Promise<T> {
for (let attempt = 1; attempt <= maxRetries; attempt++) {
try {
return await operation();
} catch (error) {
if (await detectCaptcha(stagehand.page)) {
console.log(`检测到验证码，尝试第${attempt}次解决`);
await handleCaptcha();
continue;
}
throw error;
}
}
throw new Error("验证码处理达到最大重试次数");
}
3. 性能优化与成本控制
// 验证码处理性能监控
class CaptchaPerformanceMonitor {
private attempts: number = 0;
private successes: number = 0;
private totalTime: number = 0;
async trackPerformance<T>(operation: () => Promise<T>): Promise<T> {
const startTime = Date.now();
this.attempts++;
try {
const result = await operation();
const duration = Date.now() - startTime;
this.successes++;
this.totalTime += duration;
console.log(`验证码处理成功，耗时: ${duration}ms`);
return result;
} catch (error) {
const duration = Date.now() - startTime;
this.totalTime += duration;
console.error(`验证码处理失败，耗时: ${duration}ms`, error);
throw error;
}
}
getStats() {
return {
attempts: this.attempts,
successes: this.successes,
successRate: this.attempts > 0 ? (this.successes / this.attempts) * 100 : 0,
averageTime: this.attempts > 0 ? this.totalTime / this.attempts : 0
};
}
}
实战案例：自动化登录系统
完整的验证码处理流程
async function automatedLoginWithCaptcha(
username: string,
password: string,
loginUrl: string
) {
const page = stagehand.page;
const captchaMonitor = new CaptchaPerformanceMonitor();
try {
// 导航到登录页面
await page.goto(loginUrl);
// 填写用户名和密码
await page.act(`在用户名输入框中输入: ${username}`);
await page.act(`在密码输入框中输入: ${password}`);
// 处理可能出现的验证码
const loginResult = await captchaMonitor.trackPerformance(async () => {
if (await detectCaptcha(page)) {
console.log("检测到验证码，开始处理...");
await handleCaptcha();
}
// 点击登录按钮
await page.act("点击登录按钮");
// 验证登录是否成功
const loginStatus = await page.extract({
instruction: "检查登录是否成功，提取欢迎信息或错误消息",
schema: z.object({
success: z.boolean().describe("登录是否成功"),
message: z.string().optional().describe("欢迎信息或错误消息")
})
});
return loginStatus;
});
console.log("登录结果:", loginResult);
console.log("验证码处理统计:", captchaMonitor.getStats());
return loginResult;
} catch (error) {
console.error("自动化登录失败:", error);
throw error;
}
}
故障排除与调试
常见问题解决方案
| 问题类型 | 症状 | 解决方案 |
|---|---|---|
| 验证码识别失败 | AI模型无法正确识别 | 增加重试次数，使用更高级的模型 |
| Browserbase服务不可用 | 连接超时或认证失败 | 检查API密钥，联系Browserbase支持 |
| 网络延迟 | 验证码加载缓慢 | 增加超时时间，优化网络配置 |
| 验证码类型变更 | 网站更新验证码机制 | 更新检测逻辑，适配新类型 |
调试技巧
// 启用详细日志记录
const stagehand = new Stagehand({
env: "BROWSERBASE",
logging: {
level: "debug",
captureScreenshots: true,
recordSession: true
}
});
// 验证码处理调试函数
async function debugCaptchaProcess() {
const page = stagehand.page;
// 截图记录验证码状态
await page.screenshot({ path: 'captcha-debug.png' });
// 提取页面HTML用于分析
const pageContent = await page.content();
console.log("页面内容:", pageContent.substring(0, 500));
// 检查所有iframe（reCAPTCHA通常位于iframe中）
const iframes = await page.$$('iframe');
console.log(`发现 ${iframes.length} 个iframe`);
}
总结
Stagehand提供了强大的验证码处理能力，通过Browserbase集成、AI模型驱动和自定义处理逻辑的组合，能够有效应对各种类型的验证码挑战。关键优势包括：
- 自动化程度高: Browserbase内置验证码解决功能
- AI智能识别: 集成顶级Computer Use模型处理复杂验证码
- 灵活可扩展: 支持自定义验证码处理逻辑
- 性能监控: 完整的统计和性能跟踪机制
- 故障恢复: 多层重试和降级策略
通过本文介绍的策略和技术，开发者可以构建健壮的自动化系统，有效处理Web自动化中的验证码障碍，提升自动化流程的成功率和可靠性。
记住，验证码处理需要平衡自动化效率和合规性，确保在遵守网站使用条款的前提下进行自动化操作。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
