2、安全“自我意识”超级智能系统的混合策略与请求确认网络

安全“自我意识”超级智能系统的混合策略与请求确认网络

1. 安全“自我意识”超级智能系统策略

1.1 主动安全措施

为了确保通用人工智能（AGI）的安全性，需要采取一系列主动的安全措施。其中，红队攻击蓝队的演练是一种有效的方法。红队对蓝队的攻击可以揭示AGI训练或其架构中潜在的偏差，并有助于制定特定的针对性攻击策略。这种红队演练有望通过为AGI开发者提供全面的提示，加强AGI的鲁棒性，甚至可能增强其认知能力。最终目标是使具有自我意识的AGI学会自动独立地进行模拟系统性对抗攻击的自我测试。

1.2 认知能力的定期测量与自利抑制

为了保持透明度并对AGI进行一定程度的监控，定期了解AGI的认知能力水平至关重要，以便定制相应的安全措施。除了经典的图灵测试外，还有一种基于视觉错觉的“检测感受质测试”。虽然从哲学角度来看，该测试是否能真正测量感受质存在争议，但它可以为检测AGI的高级认知能力提供有价值的线索。还可以通过自动程序定期对AGI进行测试，一旦出现“认知异常”，即表明其认知能力异常增加，就会发出警报。这种定期测试也可以作为一种自我测试机制，集成到具有自我意识的AGI架构中。此外，还需要设计一种明确的保护机制，防止AGI出于自身利益发展出任何有害的内在目标。

1.3 人类增强策略

由于人类在AGI开发过程中存在各种伦理、认知和进化偏差，仅依靠上述策略和AGI的自我意识可能是不够的。因此，提出了人类增强的策略，包括伦理增强和认知增强。
- 伦理增强 ：目标对齐的一个重要子问题是让AI学习人类的目标。为此，人类需要首先明确自己真正想要实现的价值观，并将其编码为AGI模型