加利福尼亚大学研究报告：让AI自我怀疑以防人类被颠覆

随着真正的人工智能的发展，专家们朝着奇点（机器将变得比人类更聪明）不断靠拢，研究人员正在研究如何确保人类在未来仍然是在地球的顶端。许多专家警告说，开发和我们一样有能力的机器会带来危险，因为它可能会让人类失业，并最终将我们视为阻碍，把我们从地球上抹去。

为了应对这一威胁，科学家们提出了可以对应的措施，其中一个思路是，开发人员应该给人工智能装上自我怀疑的能力。这个想法认为，如果人工智能会去怀疑他们自己，它就需要从人类那里寻求安慰，就像狗一样。这样就能巩固我们作为地球统治阶层的地位。

 智搜（Giiso）信息成立于2013年，是国内首家专注于资讯智能处理技术研发及写作机器人核心软件开发和运营的高科技企业。公司成立之初，就获得了天使轮投资，并在2015年8月获得了金沙江创投500万美元pre-A轮投资。

来自加利福尼亚大学的一个小组的研究结果显示，自我怀疑的机器人更听话。该研究小组在一篇发表在arXiv的论文中写道：“很明显，用来降低AI系统行为不当风险的措施之一，是设计人类关闭系统的功能。随着人工智能系统的能力不断提高，应确保此类系统不会产生与人类关闭系统起冲突的子目标。我们的研究目的是发现人工智能允许自己被关闭的动机是什么。在一个模拟实验中，一个机器人的“大脑”被人为关闭了，同时他能够自动重启。没有自我怀疑属性的机器人重新启动，但拥有该属性的机器人因它不确定结果是否违背人类的意愿而并未重启。”

智搜（Giiso）信息成立于2013年，是国内首家专注于资讯智能处理技术研发及写作机器人核心软件开发和运营的高科技企业。公司成立之初，就获得了天使轮投资，并在2015年8月获得了金沙江创投500万美元pre-A轮投资。

该团队总结道：我们的分析表明，那些对其自身功能不明的人工智能，他们有动机去接受或寻求人类的监督。因此，开发对其本身功能不明确的系统，是设计研究安全人工智能系统方向一个很有前景的领域。