信任和可靠性对工业应用中的人工智能至关重要

人工智能(AI)洞察力

• 人工智能在制造业中的作用越来越大，但它帮助制造商改善运营和提高利润的能力，受到工人们是否相信人工智能正在做出正确决策的影响。
• 信任是人工智能的主要组成部分，其中一些关键方面包括可解释性、能力、操作透明度、可预测性和道德。

---

人工智能(AI)无处不在。在工厂和其他工业应用中，人工智能正在扫描产品缺陷。它引导机器人穿过车间。人工智能可以告诉你生产线何时会出现故障，以及如何在故障发生之前解决问题。人工智能将帮助工程师优化生产或减少浪费。人工智能系统可以通过识别工人何时进入危险区域来帮助保护他们的安全。挑战在于人们能否相信这些决定。

复杂的深度学习神经网络做出的决定往往没有任何解释。因为这些系统基本上是自己编程，所以它们的决策缺乏可解释性。这被称为黑匣子AI。正在进行的研究旨在提高人工智能决策的透明度。

对于那些正在部署人工智能的人来说，我们如何知道我们是否可以相信人工智能所说的话?处理糟糕的购买建议或错误地拒绝信用购买的影响是一回事。但是，当关键操作——尤其是我们的安全——依赖于人工智能时会发生什么呢?

信任是对某人或某事的可靠性、真实性、能力和/或力量的坚定信念。要让人们相信人工智能，他们需要的不仅仅是一个“人工智能就是可行”的黑匣子解释。它需要超越这些，用户需要在以下方面信任AI:

• 可解释性:用户需要知道为什么AI系统会做出他们所做的决定。

• 能力:用户必须了解AI的局限性。此外，人工智能系统还需要意识到并适应自身的局限性。

• 操作透明度:用户必须看到人工智能系统是如何实时运行的，并知道它们的行为方式。

• 可预测性:用户必须能够预测AI系统在特定情况下的反应。

• 伦理:人工智能系统必须避免伦理问题，如果不小心处理，可能会破坏信任。

信任的重要性

艾琳·佩特里克(Irene Petrick)是美国工业创新公司的前高级主管英特尔谈到信任时，他说:“我们问科技公司，对他们来说什么是最重要的。大约三分之一的评论是围绕信任展开的(图1)，比如AI是否以正确的方式使用了正确的数据。人工智能应该以预测其他问题的方式，迅速推动更多、更好的行动。如果用户不信任AI，这就不会推动他们采取行动。”

Anatoli Gorchet，首席技术官Neurala，描述了在他的概括的局限性可能产生的信任问题演讲在2022年人工智能和智能自动化大会上。例如，一个常见的AI盲点是环境差异。如果训练模型数据只在早上捕获，那么由于太阳的角度发生了变化，模型的准确性将在下午或晚上急剧下降。这就造成了用户之间的信任问题，因为一个人不会犯这样的错误。

请注意，环境差异可能非常微妙。考虑到一个成功的人工智能部署到一条新生产线上，但它的准确性严重下降。尽管工程师们认为这条线路与原来的线路相同，但事实并非如此:新的操作员比原来的操作员高6英寸，并且阻挡了更多的背景光，这足以改变环境条件，使神经网络失效。

戈切特指出，建立信任需要很长时间，但只要一件事就能打破信任。我们面临的挑战是，我们如何教会人们信任可能会出现这种问题的系统?

生成可信任的数据

人工智能模型建立在数据的基础上。因此，如果用户要信任AI，他们必须能够信任用于构建AI的数据，这是有道理的。多米尼克·博斯尔，首席技术官Micropsi行业他分享了数据影响信任的几种不同方式。

对数据的信任始于对数据的仔细捕获。“有一次，训练时桌上放着一支笔。人工智能认为笔是一个参考点，”Boesl说。“只要一张没有笔的照片，就能证明它不是必不可少的。”

开发人员还需要考虑采样偏差，因为它会影响系统的准确性。采样偏差的一个常见例子是环境条件，如照明。“人工智能并不总是一成不变的。有不同的类型和技术。而且人类寻找的东西并不一定与人工智能寻找的东西相匹配。早在1995年，北约就使用识别软件来区分友军和敌军坦克。它的表现并不好。经过几个月的故障排除，他们发现训练数据是在明亮的灯光下从干净的宣传册图片中获取的，而不是在泥泞或低照明下的坦克。人工智能的重点是干净与肮脏。”

Boesl说:“数据中的差异是至关重要的。”“想想特斯拉的演示司机必须有95%的驾驶记录。汽车正在接受训练，以预测驾驶员的行为。但并不是每个司机都是可预测的。”添加方差通过显示更广泛的可接受样本来消除盲点。

“有了足够的差异，就没有必要表现出不希望出现的状态，也没有必要说好或坏。我们确保使用各种白色和彩色背景来教导AI不要依赖背景。为了获得光独立性，我们在训练时使用视频投影仪来照亮系统。由于光线是不断变化的，这告诉AI光线不是一个相关的功能。让训练有素的操作员而不是工程师来教人工智能。操作员是专家，也是将与人工智能合作的人。”

通用电气研究院机器学习高级科学家、通用电气Humble AI计划负责人Nurali Virani博士表示:“从根本上讲，如果模型在有限或没有训练数据的情况下对罕见和具有挑战性的情况的预测过于自信，那么它可能是一个外推错误。它有助于理解用户的视角。许多技术人员和最终用户都有几年甚至几十年的经验。当然，他们可以问，‘在这种具有挑战性的情况下，人工智能怎么比我更了解?’”

“还有人为失误的问题。如果某些数据标记错误，人工智能在类似情况下将不可靠。如果人工智能依赖这些数据进行自信的预测，那么它可能会导致信任的破坏。然而，如果人工智能能够知道哪些标签可能是错误的，并且对某些标签错误具有鲁棒性，那么它就可以要求反馈以保持信任。”

戈切特认为，人工智能系统的开发方式会影响信任。考虑到当开发者改变硬件时，他们可能也不得不改变Cuda版本。某些用户的模型可能不受支持，因为新版本不支持Tensorflow。这可能会导致用户质疑其他可能无法工作的内容。将这类开发问题从用户中抽象出来是至关重要的。

人工智能与能力

信任人工智能的另一个基础是意识到它的局限性。维拉尼说:“我们创造了‘谦卑的人工智能’这个词，指的是意识到自己的能力，可以寻求帮助，并随着时间的推移提高自己的能力的人工智能。当它发现它超出了它的权限范围时，它将决定权交给操作人员或退回到其他安全操作模式。最终，这些新数据可以被工作到模型中，以提高人工智能的能力水平。

“这是一个重要的想法。一开始，人工智能不需要在任何地方工作。只有当它有足够的数据来提供帮助——并且值得信任的时候，它才能被使用。例如，人工智能可能不知道如何诊断工业系统中的新故障。它说，“我不知道，你是专家，请帮帮我。”然而，人工智能可能知道的足够多，可以告诉我们情况不是这样的。‘这不是A的问题，但也可能是B或C的问题。’”

当开发人员接受能力作为一个因素时，这可以建立信任。维拉尼表示:“如果没有能力，即使不知道答案，人工智能也会做出决定。”

人工智能可以缩小选择范围，而不是冒险给出错误的推荐，破坏用户的信任。它仍然是有用的。它仍然是正确的。因此，它继续在它有能力的领域建立信任，减少工作量。

“广义人工智能面临着在所有条件下工作的挑战，”维拉尼说。“但如果人工智能的所有数据都来自白天，那么它在晚上可能会遇到麻烦。你不可能一开始就涵盖所有的可能性。所以对模特来说，能够说‘我在这里不可信’是很重要的。它需要对自己的局限性有自我意识。从相关地区的支持开始，而不是完全的自治。分阶段建立信任。”

这暗示了一种通过将复杂问题分解成更小的部分来部署人工智能的方法。首先，整体精度可能较低。例如，Virani与通用电气机器学习(ML)团队的合作[1]表明，用于维护记录标记的人工智能模型的整体性能可能较差(80%)，但在模型认为可以信任的能力范围内，它可以提供97%的准确率。

因此，超过50%的文档标记案例可以自动化，而其他案例需要一些人工帮助来标记模棱两可或异常的实例。这些来自人类的新标签可用于更新模型。参与一个值得信赖的人工智能的训练，并看到它的发展，可以成为一个值得信赖的人工智能的强大基础。

Boesl表示:“我们为每个客户区分任务。解决一个专门的问题比解决一个一般性的问题更容易、更快。例如，我们教机器人如何插入特定的电缆，而不是一般的电缆。我们也训练到一个特定的设施去捕捉它的环境条件。人工智能可以通过重新校准过程将技能转移到第二个电缆或第二个设施，该过程可以捕获场景之间的所有相关差异。重新校准需要一些工作，但比从头开始或创建一个完全一般化的方法要少得多。通过这种方法，智能机器人可以在几小时或几天内完成训练，而不是几周时间来逐行编程。此外，机器人可以再培训，或者以更少的投资改变生产线。”

戈切特建议，与其针对所有可能的情况进行训练，不如针对已经发生的情况进行训练。这可能比创建一个一般化的模型更便宜，即使团队必须进行多个特定的培训。

这有助于记住人工智能是一个不断发展的领域。如果AI不能提供所需的结果，那么这很可能不是AI今天能够解决的问题。最好承认这一点，而不是声称人工智能可以做它做不到的事情。因为当它第一次失败时，信任就被打破了，很难重新获得。

Boesl表示，用户应该能够停止或暂停智能设备。“人们必须有这样一种感觉，即他们在控制机器，如果出现问题可以关闭机器。人类控制机器，而不是机器控制人类。当用户感觉自己被控制时，就会失去很多信任。同时，用户也需要了解人工智能的局限性。例如，在工厂车间行走的人必须意识到移动机器人有先行权，或者如果他们踩过地板上的黑黄胶带，他们可能会受到严重伤害。”

可解释性建立了对人工智能的信任

可解释性是建立信任的主要工具之一。简而言之，它的理念是，如果用户了解人工智能是如何做出决策的，他们就会更愿意相信它的建议。可解释性的另一个好处是，它可以更容易地验证AI是否按预期执行。这可以加速工程师的开发，并与用户建立信任。可解释性也很重要。例如，经理可能会问:“为什么这个机器人这么慢?”“虽然机器人可以跑得更快，但它以这种速度行驶是为了保护工人。”

Gorchet描述了人工智能的“黑匣子”问题(图2)。试图向用户解释神经网络是如何工作的是不可解释性的。

Petrick说:“可解释性始于‘我到底为什么要这么做?如果不解释原因，就会产生不安和不信任。为了获得员工的支持，鼓励他们参与进来，他们需要了解公司面临的挑战，人工智能如何提供帮助，以及他们自己在整体解决方案中的重要作用。只有这样你才能讨论黑盒里发生了什么。接下来，我们主张用通俗易懂的语言解释人工智能是如何工作的。以下是人工智能如何分解任务，如何评估任务，以及如何提出建议。因为人工智能解决方案可以100%自动化，所以它可以帮助分阶段引入这种自动化。一旦用户收到正确的建议，他们往往会更放心地将决策交给AI作为合作伙伴”。

戈切特描述了如何使用好产品的图像进行培训，因此不需要标签。当人工智能认为它检测到一个缺陷时，它会在它认为缺陷所在的地方绘制一个分割掩码。你可以看到为什么系统会做出这样的决定。如果掩模显示了一些不是缺陷的东西，系统就会学习到一些错误的东西，并可以纠正它。

维拉尼将能力和可解释性联系在一起。“特定AI在某些验证数据集上的整体准确性不如了解当前推荐的预期准确性重要。还需要有一定程度的可解释性来解释为什么AI在特定情况下自信或不自信。例如，使用带有标签的训练数据创建包装器，使AI能够参考用于做出决策的相关数据。我们探索了人工智能模型的这种基于范例的可解释性，以在我们的项目中为它们的预测提供理由。[2]。当然，这并不总是有用的。如果决定是在图像的像素级别上做出的，当人工智能向用户展示训练数据中的像素示例时，用户可能无法理解他们正在看的是什么。”

这就是可解释性的部分问题。AI可能很复杂，可用的工具可以为开发人员抽象这种复杂性。例如，在无代码生成的AI系统中，开发者告诉AI他们想做什么，AI就会生成自己的程序。然而，这种抽象只会使黑盒变得更加不透明。开发者检查AI所能做的就是输入数据并验证结果是否正确。在某些情况下，可能几乎无法解释。

Petrick说:“如果开发人员不理解或无法解释黑盒是如何工作的，又怎么能指望用户理解呢?如果理解和评估人工智能的可靠性需要太多的工作，用户可能会认为不使用人工智能更有效率。”

解决可解释性挑战的一种方法是双向沟通。佩特里克表示:“人工智能工程师正在经历惨痛的教训，他们不理解工厂车间的细微差别。在工厂车间训练的人工智能“解决方案”应该很容易转移到以同样方式布置的另一家工厂。但事实往往并非如此。例如，环境因素，如照明、灰尘、喷水、相机角度等，会使每种情况有所不同。有效的可解释性包括一个反馈渠道，在这个渠道中，使用人工智能的用户可以提供关于人工智能如何不能满足他们需求的见解。”

伦理在人工智能中的作用

信任的一部分包括感觉用户的最大利益被牢记在心。当用户感到害怕或者觉得自己不是必不可少的时候，信任就会受到侵蚀。

Petrick说:“机器人解放了人类，让人们去做只有人类才能做的工作。机器人有助于最大限度地发挥人提供价值的潜力。然而，当AI被认为比用户更可靠时，这可能会使用户和AI发生冲突。用户需要能够说，‘我做决定。人工智能帮助我，做我不想做的事情。“目前，只有20%的受访制造商考虑了人工智能技术的伦理问题。很多人认为道德就是数据偏见。例如，氧气脉搏监测器中的人工智能可能对深色皮肤的影响较小，因为工程人员没有意识到传感器也无法读取。数据偏差的挑战之一是，偏差不是故意的。这通常是一个盲点，一个没有人考虑到的可能性。 But that’s not the only ethical issues to take into account.”

隐私对于信任也是必不可少的。运营商想知道他们的数据是如何被使用的。Petrick说:“我们倾向于测量最容易测量的东西。”

办公室职员不希望他们的工作效率是通过他们点击鼠标的次数来评估的，因为这并不能准确反映他们所做的工作。操作人员对武断的生产率评估也有同样的感受，这些评估可能会被用来对付他们。考虑一个用户因为他们的专业知识而遇到更多麻烦的情况;因为难度更高，所以产量更少。系统需要在操作过程中意识到一个人，但有些人认为这个人需要从数据中清除。Petrick说:“这个行业在隐私问题上只是冰山一角。”

维拉尼说:“还需要考虑公平性。假设AI想要推荐最好的技术人员来修复某些东西。如果数据集不够多样化，人工智能会让这个人只做他们以前做得很好的任务。这不仅会成为技术人员的负担，从道德的角度来看，技术人员将没有机会获得新的经验并在公司内成长。因此，当员工参与其中时，要确保他们的需求也得到满足。”

“这种方法也可能造成单点故障，因为只有一小部分技术人员有处理这个问题的经验。你的人才库中可能有更多的选择，但他们从来没有被探索过，所以没有其他人可以学习如何解决这个问题。”

谈到问责制，Petrick说:“如果人工智能失败了，看起来应该由用户负责，会发生什么?可解释性需要扩展到不仅能够解释将要发生的事情，而且能够解释实际发生的事情。如果用户不相信他们有办法保护自己，他们对系统的信任就会降低。这不是毫无根据的考虑。工程师们正在为他们从未工作过的环境创造人工智能。”

考虑数据的道德使用。Boesl说:“有了像GDPR这样的法规，关于谁拥有数据有很多争论。还可能出现道德问题。例如，一家人工智能公司能否利用从客户设施收集的数据来改善客户竞争对手的运营?我认为这是不可能的，这一点很重要。如果不认真处理，这样的问题会破坏信任。”

伦理问题只会变得更加普遍和复杂。如今，摄像机对准了生产线。但是，当这些摄像头转过身来，把用户也包括进来时，就必须考虑到各种各样的道德问题，这些问题因国家而异。

正如我们所看到的，信任对于充分利用人工智能技术至关重要。有了可解释性，信任就可以更快地建立起来，并得到用户的支持。当道德问题被认为很重要时，这是保护信任不被破坏的最好防御。

尼克Cravotta是高级自动化协会(A3)的特约编辑，CFE媒体和技术内容合作伙伴。这篇文章最初出现在A3的网站上。编辑克里斯·瓦夫拉，网络内容经理，控制工程、CFE媒体与技术、cvavra@cfemedia.com。

更多的答案

关键词:人工智能，人工智能，机器学习，伦理

在线

查看更多AI和机器学习的故事//www.globalelove.com/ai-machine-learning/

考虑一下这个

人工智能在贵公司的发展速度如何?从短期和长期来看，这意味着什么?

参考资料(来自通用电气的Nurali)

[1]杨志强，杨志强，杨志强，杨志强，2010,10月。基于机器学习的维修记录可靠标注混合主动方法。在PHM协会年会(第14卷第1期)

[2]杨志强，杨志强，杨志强，2013年4月。机器学习中基于证明的可靠性。在AAAI人工智能会议论文集(《资本论》第34卷第04期，第6078—6085页)

原创内容可在推进自动化协会(A3)。

您是否具有本内容中提到的主题的经验和专业知识?您应该考虑为我们的CFE媒体编辑团队做出贡献，并获得您和您的公司应得的认可。点击在这里开始这个过程。