
验证码能否检测 AI 代理?
如今,AI 系统在许多任务上表现与人类相当甚至超越人类,但认知过程与人类有明显差异,可利用这种差异检测 AI 代理和在线机器人。本文是对近期提交给机器学习会议论文的约 1000 字概述。
验证码失效了吗?
有人认为“如今的验证码已经失效了”,因为 AI 能轻松识别静态网格中的交通信号灯。但答案既对也不对。对是因为视觉语言模型能识别烟囱、消防栓和交通信号灯等图像,早在 2010 年代初,深度学习就“解决”了验证码式的图像分类问题。不对是因为 AI 完成验证码的方式与人类不同,人类和 AI 在错误模式等特征上存在差异,在连续点击模式、方向变化和过度选择行为等方面有统计学上的显著差异。
图灵测试与 CogCAPTCHA30
图灵测试由艾伦·图灵于 1950 年提出,为机器智能提供评判标准。但它只是基于行为的妥协标准,并非衡量人类与机器智能的终极标准。遵循图灵思路,设计了 CogCAPTCHA30,它比图灵测试更深入,从探究“输出”转向“过程”,将原始验证码与 29 个经典认知心理学任务结合,形成 30 个任务的测试集。
“过程图灵测试”的提出
验证码实验表明,人类和代理在表现水平上可能相似,但过程不同。测量“输出等效性”和“过程等效性”发现两者无相关性。经典图灵测试衡量机器输出是否与人类难以区分,而提出的“过程图灵测试”衡量机器处理过程是否与人类难以区分。
引发的两个问题
研究结果引发两个问题:哪些语言模型与人类相似?区分人类和代理过程的对抗鲁棒性如何?比较人类与最先进的前沿模型(OpenAI 的 GPT、Anthropic 的 Claude、Google DeepMind 的 Gemini)以及 Qwen、Centaur 之间的差异,发现最先进的前沿模型与人类的处理过程特征相似度较低,较小的开源模型 Qwen 更像人类,Centaur 在与人类处理过程特征空间的相似度方面优于其他模型。
对抗鲁棒性的探讨
区分人类和代理的过程的对抗鲁棒性有待观察。对 Qwen2.5 Instruct 模型进行微调,当给予完整信息时,人类和代理之间的差距消失;部分特征空间被排除时,差距再次出现;代理需要跨任务泛化时,差距完全恢复。这表明当 AI 无法完全获取判别器和特征集时,“过程图灵测试”是鲁棒的。
“过程图灵测试”的挑战
“过程图灵测试”带来的挑战是,AI 是否能够持续复制人类的所有认知心理。与密码、验证码等一次性检查相比,“过程图灵测试”在人类验证方面更上一层楼,模拟人类的认知心理极具挑战性。
关于作者
Mayank Agrawal、Milena Rmus 和 Mathew Hardy 在 Roundtable Technologies Inc. 工作,正在为网络构建无形身份验证系统——Proof of Human。此前,他们分别在普林斯顿大学(Mayank 和 Matt)和加州大学伯克利分校(Milena)完成了认知科学博士学位。
661



被折叠的 条评论
为什么被折叠?



