12、迈向可靠的人工智能系统集成概念

迈向可靠的人工智能系统集成概念

1 引言

自适应、基于云或基于人工智能的系统的可靠性工程，目前尚未形成通用的基础和最佳实践，相关概念和可行方法仍需进一步探索。因此，引发一场关于工程方法和设计模式的研讨会及开放讨论显得尤为重要，这些方法和模式可用于开发可靠的、基于人工智能的自主系统。

人工智能在多个领域的应用日益广泛，但其在安全关键领域（如自动驾驶汽车）的应用，对系统的成熟度和可靠性提出了更高要求。TEACHING项目聚焦于关键任务、对能源敏感的自主系统，以及人文人工智能概念的技术模块开发。为推动这些技术模块的发展，项目旨在构建一个可靠的工程环境，以支持自适应人文人工智能的可靠开发。

研讨会的目的在于讨论人工智能可信嵌入式系统开发的不同因素，涵盖一系列方法、工具和工程方法，以建立对这些新型系统的信任。人工智能概念引入了非确定性组件和缺乏严格正确性特征的挑战，现有工程概念难以满足开发证据和标准合规性的要求，因此在可靠性和标准合规性方面存在诸多问题，涉及过程和技术工程等方面。

为组织研讨会的讨论思路，可以围绕TEACHING项目的四个核心概念方法展开，以确保人工智能系统的可靠性特征（如安全性或安全性）。以下是这些概念及其主要意图的概述：
| 概念 | 主要意图 |
| — | — |
| 支持操作员 | 人类由基于人工智能的系统支持并做出决策，传统安全措施可保障系统安全，系统非自主运行，由操作员决策 |
| 策略选择 | 基于策略的决策确保系统行为的确定性，传统安全措施可适用，但由于策略集有限，人工智能算法能力受限 |
| 带监控的人工智能系统 | 人工智能决策与经典监督系统进行比较，监控器可满足经典安全要求，人工智