该公司宣布了一项新技术，使其系统运行更加透明，但熟悉 OpenAI 的人士表示，需要更多的监督。
近几个月来， OpenAI一直饱受批评，有人认为该公司在开发更强大的人工智能方面可能过于仓促和鲁莽。该公司似乎有意表明，它非常重视人工智能安全。今天，该公司展示了一项研究，称这项研究可以帮助研究人员仔细审查人工智能模型，即使它们变得更加强大和有用。
这项新技术是该公司近几周大力宣传的与人工智能安全相关的几个想法之一。它涉及让两个人工智能模型进行对话，迫使更强大的模型更加透明或“清晰”地进行推理，以便人类能够理解它在做什么。
参与这项工作的 OpenAI 研究员陈一宁向《连线》杂志表示：“这是构建既安全又有益的通用人工智能的核心使命。”
到目前为止，这项工作已在一个旨在解决简单数学问题的人工智能模型上进行了测试。OpenAI 的研究人员要求人工智能模型在回答问题或解决问题时解释其推理。第二个模型经过训练以检测答案是否正确，研究人员发现，让这两个模型来回互动会鼓励解决数学问题的模型更加坦率和透明地进行推理。
OpenAI 公开发表了一篇详细介绍该方法的论文。“这是长期安全研究计划的一部分，”参与这项工作的另一位 OpenAI 研究员 Jan Hendrik Kirchner 说。“我们希望其他研究人员能够跟进，也许还可以尝试其他算法。”
透明度和可解释性是致力于构建更强大系统的人工智能研究人员关注的关键问题。大型语言模型有时会对其得出结论的方式提供合理的解释，但一个关键问题是，未来的模型可能会变得更加不透明，甚至在提供的解释中带有欺骗性——也许在追求不受欢迎的目标的同时却撒谎。
今天公布的研究是更广泛的努力的一部分，旨在了解大型语言模型是如何运作的，而大型语言模型正是 ChatGPT 等程序的核心。它是众多有助于使更强大的人工智能模型更加透明、从而更安全的技术之一。OpenAI 和其他公司也在探索更机械的方式来窥探大型语言模型的运作方式。
在受到批评后，OpenAI 最近几周披露了更多有关人工智能安全的研究成果。今年 5 月，《连线》杂志获悉，一个致力于研究长期人工智能风险的研究团队已经解散。此前不久，联合创始人兼关键技术负责人 Ilya Sutskever 也离职了，他是去年 11 月短暂罢免首席执行官 Sam Altman 的董事会成员之一。
OpenAI 成立的初衷是让人工智能更加透明、更安全。在 ChatGPT 取得巨大成功，以及来自实力雄厚的竞争对手的竞争愈演愈烈之后，一些人指责该公司优先考虑炫耀性进展和市场份额，而忽视了安全性。
丹尼尔·科科塔伊洛 (Daniel Kokotajlo) 是一名研究员，他离开了 OpenAI，并签署了一封公开信，批评该公司对人工智能安全的态度。他说，这项新工作很重要，但只是渐进式的，它并没有改变开发这项技术的公司需要更多监督的事实。“我们所处的状况没有改变，”他说。“不透明、不负责任、不受监管的公司竞相开发人工智能超级智能，基本上没有控制它的计划。”
另一位了解 OpenAI 内部运作的消息人士表示，人工智能公司也需要外部监督。由于未获授权公开发言，这位消息人士要求匿名。“问题在于他们是否认真对待需要优先考虑社会利益而非利润的流程和治理机制，”该消息人士说。“而不是他们是否让任何研究人员做一些安全工作。”
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
