
【诈骗初现:研究员的意外遭遇】
安全研究员马修·“齐古拉”·戈尔 - 科尔马尼克在分析欺诈性交友应用多拉时,收到来自詹妮弗的通话邀请。詹妮弗资料显示她是 41 岁射手座女性,红头发、蓝眼睛且身上有穿孔,喜欢音乐、恐怖电影、夜生活和运动。然而接听电话后,戈尔 - 科尔马尼克未看到詹妮弗,只看到晃动挂毯和奇怪杂音。通话结束,“詹妮弗”称他声音好听,可当时他麦克风未连接。
【调查起因:Anthropic 的发现】
戈尔 - 科尔马尼克深入研究多拉等应用,源于分享的可能存在交友诈骗的应用列表。6 月 5 日,人工智能公司 Anthropic 让威胁情报研究员克里斯·克朗博在公开网络安全会议“Sleuthcon”演讲。该公司发现大语言模型 Claude 异常活动,察觉一个欺诈性交友应用网络,一个预付费账户每天超 10 万次 API 请求。
【诈骗网络:应用特征与运作】
克朗博在演讲中介绍约 28 个交友应用组成的网络,对话大多由自主 AI 角色主导,大部分聊天无人参与。Anthropic 公布调查结果,但当时许多应用仍在美国主流应用商店上架。这些应用声称帮人找聊天对象,如多拉称是为各年龄段设计的交友应用,能让人结识志同道合的人;罗米称帮助发现、结识并与真实的人聊天;多尼宣传开启真实的陪伴,帮助与附近单身人士建立联系。
诈骗运作方式为,用户多是 35 至 40 岁男性,与自认为是真实女性的对象匹配,实际每四个匹配对象中仅一个是受雇零工人员。零工人员通过视频真人验证或关注社交媒体账号,从预设回复中选一个回应,能证明是人类,AI 角色只能解释无法视频聊天或通话的原因。Anthropic 报告指出,无真人时后端组件会伪造点赞、访客和预录制“视频”,跟踪怀疑与机器人聊天的用户。
【背后供应商与诈骗生态】
这背后涉及多家 AI 供应商,Claude 被滥用于运行自主对话角色,非 Anthropic 的小型模型为零工人员提供回复建议、进行面部吸引力评分和照片/语音审核,图像编辑模型生成头像图片。网络诈骗生态庞大,骗子花时间建立信任后以紧急情况或投资为由骗钱,但此次诈骗无虚假恋人借钱和加密货币相关情况。
这些应用本身是骗局,要求用户买金币互动,用户花钱和机器聊天却以为和人交流。零工人员维持骗局,金币流入使 AI 全天候对话。AI 收到提示保持角色形象一致,表现得像普通互动,但不知参与诈骗,不过少数情况下模型推理揭示危害,回复仍保持角色设定。
【内部协议库:更多细节曝光】
戈尔 - 科尔马尼克找到整个配置的内部协议库,其中中文手册可能误被包含在多尼中。协议库中有监控零工人员的记录,如检查摄像头、消息联系等情况,还会截取屏幕截图、录制通话并转录。协议库描述零工人员工作流程,包括绩效评价和报酬计算方式,甚至提到假装有人打电话诱使对话的手段。戈尔 - 科尔马尼克亲身经历多尼上的电话骗局。
【应用关联:多方面证据】
通过反向图像搜索找到许多相关应用,如多拉、GraceChat、乔维娅、卢玛和罗米等。6 月初,谷歌和苹果应用商店仍有虚假交友应用。根据 Chrome - Stats 数据,部分应用在 8 月、9 月陆续下架,但截至 9 月 16 日,基拉仍在架,且与其他应用代码库相同。
从应用描述看,多拉、罗米、卢玛和埃特纳使用相同开发者用户名、电子邮件地址、邮寄地址和电话号码,且多拉、罗米和卢玛开发者身份是“反人口贩卖联盟”,但该联盟表示不知情。历史记录显示多尼曾与乔维娅、波卡关联,乔维娅和多尼使用相同香港地址和电话号码。应用评论者也发现应用间关联,如基拉评论者揭露虚假账号和骗局,还有评论者指出匹配对象问题。戈尔 - 科尔马尼克证实多尼等应用代码和后端架构相同,相互关联。
【诈骗察觉与规模】
Anthropic 通过分析异常预付费账户察觉诈骗,知道 Claude 被滥用于创建女性角色,还有其他模型用于照片生成、表情符号和贴纸头像生成。大规模操作下,4 月两周内超 4700 个虚假 AI 角色与至少 25000 个用户互动,发送约 236 万条消息。克朗博能追踪关联应用,是因一个特征明显的短语可作“指纹”。应用内购买通过第三方支付处理器,依赖相同金币系统和支付处理器,账户封禁后骗子会恢复操作或更换模型供应商。
【诈骗模式与性质】
这起诈骗活动以正规公司模式构建运营,有专业工程团队和现代工具,具备设计规划、文档、路线图等。反诈骗应用 Jacana 创始人泰特·贾罗表示,骗子像经营企业,利用工具提高效率,与合法企业想法类似。Anthropic 认为诈骗幕后主谋来自中国,依据是中文内部资料和中国本土基础设施。这些应用在中国境内无法使用,在除中国外的亚洲地区关闭付费功能,仅在亚洲以外地区作为诈骗应用运行。
贾罗认为这些应用构成欺诈,因用户付费时不清楚与 AI 聊天,公司利用用户无知赚钱,且应用试图规避监管,如通过审核前表现正常,审核后开启 AI 角色网络和付费系统,还隐藏关联、打乱代码、隐藏支付方式。贾罗建议应用商店查看用户评论检测诈骗。
【打击诈骗:行业协作难题】
克朗博提到打击此类网络需应用商店、支付平台和 AI 实验室等跨行业合作,因应用仍上架、资金仍流动,骗子创建新账户快。清除诈骗分子是全行业持续协作的战斗,但不法分子会绕过监管措施,在诈骗阴谋揭穿前,仍会有人陷入其中。



被折叠的 条评论
为什么被折叠?



