为安全关键申请做好准备
人工智能（AI）应使生产更加灵活，同时也自动化物流和质量控制流程，但仍然存在安全问题。
人们的期望再高不过了:人工智能(AI)应该让生产更加灵活，有远见地计划维护，优化货物流动，同时还应该实现物流和质量控制流程的自动化。Fraunhofer IPA网络认知智能中心的吴信阳说:“事实上，近年来已经开发了许多有前途的人工智能算法和架构，比如计算机视觉、人机界面和网络机器人。”
实际应用是唯一缺失的东西。“研究和应用之间存在崩溃。在实施新的AI应用方面，业界已被证明是非常缓慢的。它们被视为不适合安全关键申请。“
吴知道用户预订:“当我们说我们的工业合作伙伴,可清楚地看到,企业只有真正想使用自治和自学习的机器人,例如,如果函数绝对可靠,当你可以说毫无疑问,机器对人类构成零风险。”
这正是迄今为止不可能得到证实的。既没有标准，也没有标准化测试。吴说，这些都是迫切需要的。
“目标必须是通过算法和透明作出决策。例如，必须保证可追溯性：当机器独立做出决策时，我必须能够 - 回顾 - 解决为什么它在某种情况下发出错误。只有这样，我们只能确保不再重复这样的错误。黑箱模型，不允许人类追踪基于算法的决策路径，这是我们的透视图，这些路径不是直接适合在安全关键应用程序中使用 - 除非该模型已被正确的方法认证。“
但人类如何确保人工智能的安全呢?Fraunhofer IPA网络认知智能团队现在提出了一项旨在解决这一问题的战略，并在其白皮书《可靠的人工智能——在安全关键的工业应用中使用人工智能》中报告了相关技术的现状。该战略基于认证和透明度。
礼貌：Fraunhofer IPA
标准目录，提高安全性
“一般来说，重点首先是找到帮助我们评估机器学习和与之相关的人工智能过程可靠性的规则，”吴说。这项研究的结果是建立了五个标准，人工智能系统必须满足，以被视为安全:
- 所有基于算法的决策都必须能够为人类解释。
- 在使用算法之前，必须使用正式的验证方法对算法的功能进行审查。
- 此外，需要统计验证，特别是在正式验证不适合由于可扩展性问题引起的某些应用程序的情况下。这可以通过测试运行来检查，具有较大量的数据或单位卷。
- 还必须确定和量化神经网络决策的不确定性。
- 在操作期间，必须监视系统，例如通过使用在线监视过程。这里的重要事项是录制输入和输出 - 即传感器数据以及在评估此后面的决定。
吴武指出，五个标准可以在未来的标准化检查的基础上：“在IPA，我们已经编制了这些点中的每一个的各种算法和方法，这将使我们能够经验审查AI系统的可靠性。我们甚至对我们的一些客户进行了检查。“
透明产生信任
安全使用人工智能系统的第二个基本前提是它们是透明的。根据欧盟委员会人工智能高级别专家组(HLEG AI)的道德准则，这是实现可信人工智能的关键要素之一。与用于检查算法级别可靠性的标准相反，这种透明度只与系统级别的人类交互有关。根据HLEG人工智能指导方针，透明人工智能必须满足以下三点:
- 算法所做的决定必须是可追溯的。
- 一个人必须有可能在人类理解的全面水平上解释这些决定。
- AI系统必须与人进行通信，以便让他们知道算法能够，包括超出其功能的任务。
“Users will only trust AI – no matter if it’s being used in road traffic settings or manufacturing factories – when it is possible to test the reliability of self-learning, autonomous AI systems with standardized processes, also taking into account ethical considerations,” Wu said. “When this trust is in place, the chasm between research and application will be narrowed.”
- 从一个编辑CFE媒体的Fraunhofer新闻稿。
