LLM 的潜在风险

这篇文章深入探讨了最近关于大语言模型（LLM），尤其是 ChatGPT 和 GPT-4 的偏见（bias）、毒性（toxicity）和越狱（jailbreaking）相关研究。我将探讨这些公司目前在 LLM 开发中采用的伦理准则，以及他们为防范不良内容生成所采取的方法。然后，我将从性别、种族、医学、政治、职场和虚构文学作品等多个角度，回顾近期有关研究有毒内容生成、越狱和偏见的论文。

偏见是指对特定群体、个人或事物的偏好或反感，而毒性则指不尊重、粗俗、无礼或唆使伤害他人的内容。大语言模型（LLMs）存在偏见并具备生成毒性内容的能力，因为它们是在大量互联网数据的基础上进行训练的，而这些数据不幸同时包含了人类好的一面和坏的一面，包括我们所有的偏见和毒性。 值得庆幸的是，OpenAI 和谷歌等 LLM 开发公司已经采取相应措施，降低 LLM 生成明显带有偏见或有毒内容的几率。然而，正如我们下文将要看到的，这并不意味着这些模型是完美的——事实上，LLMs 仍然会放大现有的偏见，并保持即使有了防范措施也能生成毒性内容的能力。

“越狱”的过程指的是给予 LLM 特别具有挑战性或挑衅性的提示语（prompt），以利用模型已有的偏见和生成毒性内容的能力，从而获得违反公司内容政策的模型输出。研究越狱的相关研究人员进行这些实验，是为了向这些公司提出 LLM 存在的漏洞，以便这些公司能够加强他们所采取的保护措施，降低模型在未来被越狱的可能性。越狱相关的研究类似于ethical hacking[1]（译者注：“Ethical hacking” 是指授权的、合法的、以及在系统所有者的明确许可下进行的计算机系统攻击和渗透测试。），这些黑客发现系统的漏洞并帮助有关方修复它们，从而提高系统的安全性。

无论是仅对 LLMs 有一定兴趣的人还是专业