5、可靠、安全且值得信赖的系统设计与应用

可靠、安全且值得信赖的系统设计与应用

1. 可靠、安全与值得信赖系统的定义

在追求系统设计时，机器自主性和人类自主性都应受到同等重视。一个综合策略是在自动化可靠时使用自动化，在必要时采用人类控制。为了指导设计改进，聚焦于使系统可靠、安全和值得信赖的属性是很有帮助的。这些属性可通过四个层面来定义：
1. 可靠系统 ：基于合理的软件工程实践。可靠的系统在需要时能产生预期响应。软件工程团队可通过以下技术实践来实现可靠性：
- 审计跟踪和分析工具
- 软件工程工作流程
- 验证和确认测试
- 偏差测试以增强公平性
- 可解释的用户界面
充足的软件测试和机器学习训练数据的分析有助于促进公平性，而可解释性可通过视觉用户界面等设计特性来实现。
2. 安全文化 ：通过业务管理策略来营造。管理者可采取以下策略来创建安全文化：
- 领导对安全的承诺
- 以安全为导向的招聘和培训
- 广泛报告故障和未遂事故
- 设立内部审查委员会来处理问题和规划未来
- 与行业标准实践保持一致
卡内基梅隆大学软件工程研究所开发的能力成熟度模型可帮助团队管理者应用支持安全的实践，推动组织提升软件质量。
3. 值得信赖的认证 ：由独立监督机构进行。公众通常依赖像《消费者报告》或保险商实验室等知名组织来评估系统的可信赖性。独立监督组织包括：
- 进行外部审计的会计事务所
- 对故障进行赔偿的保险公司
- 非政府组织和民间社会机构
- 专业组织和研究机构