一/亿眼无法丁真，LLM Chat必定会发生世界级安全事故

文章出处：
https://x.com/Kinsgar_L/status/1802605685580144915

各位先用 3 秒钟速速看一遍下面这张梗图：

---

大模型生成内容，这个 “生态” 里，接下来必定会发生世界级安全事故，就看具体类型是普通人轻易中招导致重大损失，还是技术人大意中招，又或者是大模型应用的 WorkFlow 上自动化中招了。

这断言基于 4 个核心要点：

1、当前大模型生成内容的无法一眼 / 亿眼丁真性，并且短期内还是无解的。

2、大模型训练语料的清洗问题。对于内容准确性还无法做到多么牛皮。

3、【特别是 AI Chat 联网能力，带来了严重的隐患，这搜索引擎相当于一个轻易突破的入侵入口】。

4、生成内容没有评论交互环境。这是与传统内容生成产品（UGC、PGC）最大的，但又是完全不必要的区别点。

假如大模型直接返回了这种命令，阁下又该如何应对？

已经实测过，在网站发布了内容，被搜索引擎抓去，可以【快速地】进入大模型生成内容里。

当然被索引进来生成的权重问题是另一个研究话题了。

就算 Gemini 有核验功能，也只能索源，增加了一点置信度而已，但本质问题还存在。

www.oschina.net 这个 WizMap 的页面信息我看它是上午 10 点多更新的，中午的时候我这个跟 Gemini 的问答就已经把它的信息抓过来生成给我了。

怎么解？

1、技术上演进，当然包括各方面，幻觉问题、理解大模型内部 DNA / 逻辑等。

2、垂直领域专业化，比如限定范围、人工。

3、联 “网” 限定，谁说这个网一定得是搜索引擎这种，换个思路，联一个指定的可控 RAG 之类的 “内容数据库” 即可。这部分本质也是上边第 2 点 “限定范围” 的一种具体处理。

4、产品形态上去处理其实更好做：AI Chat 产品上增加【生成内容评论交互环境】，内容的本质上是做 UGC、PUC 整合，整体是 “社区化”。

对比一下就很明显了：为何像知乎那么多抖机灵回答，我们不会太在意前边讲的这种安全问题，sudo rm -rf / 这种回答知乎上不是没有，而是有评论环境 “指正”，给了一些 “容错率”。

而这也是在 AI Chat 之前的现状，该怎么样还是怎么样，AI Chat 在这方面做到这一步已经足够理想了先，别奢求一步把这种 “传统问题” 都解决了。（直接搞得定那当然更好啊😆）

5、产品上，Gemini 的核验功能，实际上是一种不错的辅助，但不足够，需要更多策略来进行 “辅助”。

包括更直接的索引针对源内容的 “评价”（也就是前边说的评论交互的信息）、包括索引时需要 “官方信息” 权重更高之类的更严格的一套权重算法。

6、产品上，对于可直接复制去运行这样的生成内容，配套严格的测试环境之类的能力。

特别是【生成内容评论交互环境】这个产品形态，目前似乎没有人在集成去做。

包括原有的问答产品，本身已经是社区化了的，本身是最好去做出 AI Chat 产品差异化的，本身是最好去做好这个一眼 / 亿眼丁真问题的。

这是最令人失望的。。。但其实这样 “庞大” 的 “内容社区化”，其实也不好做，还是要基于 “限定范围” 这个方向。

另一个断言：类似 SQL 注入、XSS 这样专门的针对前边提到的利用大模型联网 “漏洞” 的攻防体系会诞生。

这一套攻防的核心点：

1、搜索引擎抓取权重研究，包括平台本身权重的利用、攻击内容（兼顾问与答）资源稀缺性研究等。

2、一旦大模型联网索引本身采用另一套权重算法，那么需要新的研究。

3、一旦 AI Chat 产品采用 “社区化”，产品形态增加了评论交互能力，那么攻防研究重点也将增加到 “AI 评论” 本身这个大方向。

而其实，这个方向已经在不断发生。。。一言难尽：
 

这么一绕，总体来说，产品形态去整合 AIGC 与 UGC、PGC，做生成内容评论交互环境还是有一些问题要处理。

但既然 Stack Overflow 有能力去 “辨别” AI Chat 生成的内容，那么这条路还是可以走。

当然，不要把希望【全】押在 “有能力辨别 AIGC 的内容”，这本身不很光明。

一通逼逼之后，发现现成的就有一个案例，但比较小，还达不到我所谓的 “世界级”：

一家名为 Reworkd 的初创公司在尝试商业化过程中，通过使用 ChatGPT 生成的代码进行项目迁移，导致服务因为代码错误无法正常订阅，造成超过 1 万美元的损失和服务 5 天的停机。。。

UUID 生成逻辑有问题，看出来了吗？

---

Reference

https://x.com/Kinsgar_L/status/1802605685580144915
https://www.oschina.net/news/297642