如何使用人类和人工智能与数字双胞胎

自文明的开始以来，人类智慧一直在创造和维护复杂的系统。在近代，数字双胞胎已经出现了援助复杂系统的操作，以及改善设计和生产。人工智能（AI）和扩展现实（XR） - 包括增强现实（AR）和虚拟现实（VR） - 已成为可以帮助管理复杂系统操作的工具。可以使用AI和新兴用户界面（UI）技术增强数字双胞胎，如XR，可以通过数字双胞胎提高人们管理复杂系统的能力。

数字双胞胎可以通过创建复杂系统的可用表示来嫁给人类和AI来生产远远较大的东西。最终用户不需要担心进入机器学习（ML），预测建模和人工智能系统的公式，但也可以利用其权力作为他们自己的知识和能力的延伸。数字双胞胎与AR相结合，VR和相关技术提供了一种框架，可以覆盖智能决策进入日常运营，如图1所示。

形成和喂养数码双胞胎需要什么?

物理双胞胎的操作可以通过传感器，摄像机和其他这样的设备来数字化，但这些数字流不是唯一可以馈送数字双胞胎的数据的唯一来源。除流数据外，累计的历史数据可以通知数字双胞胎。相关数据可能包括未从资产本身生成的数据，例如天气和商业周期数据。此外，计算机辅助设计（CAD）图纸和其他文档可以帮助数字双床提供上下文。AI和其他分析模型可以采取原始数据并将其流入帮助人类了解系统的形式。

人工智能还可以代表用户对内容进行智能选择。这样的指导可能会很受用户欢迎，因为用户输入设备与典型的键盘和鼠标非常不同。如图1右上角所示，人类可以将该系统视为智能现实——技术增强的现实，可以帮助他们的认知和判断。

在图1中的蓝图作为基础，可以创建数字双胞胎，该双胞胎使用AI和现实技术来实现运营效益。可以通过这里描述的技术来增强任何数量的操作。

例如,摘要“增强现实(AR)预见性维护系统与人工智能(AI)工业移动机器人”细节如何使用机器学习模型分类机器人运动的状态,然后可以与基于“增大化现实”技术的工厂人员。本文应用蓝图后设备管理的概念首先深入探索每个概念。虽然各种数据流在人类感知中得出结论，但对用户来说，数字双胞胎的起点是它如何被感知。因此，这一探索的起点是数字双胞胎的用户界面，然后讨论人工智能。

数字双胞胎的人类现实

从18世纪末威廉·普莱费尔(William Playfair)发明的条形图、条形图和饼图开始，人类在与数据和数据可视化交互方面有着悠久的历史。数字双胞胎可以以这种熟悉的形式呈现数据，但18世纪晚期的传统不应该限制数字双胞胎的力量。

当使用平板电脑，智能手机和AR耳机等移动技术时，数字现实覆盖在物理现实中，进入一个视图，如图2所示.AR耳机可能是此用例的明显选择，但它不是只有一个。传统接口渲染3D模型也允许工人利用数字双胞胎。

考虑为数字双胞胎创建智能现实的第一步是理解跨用户界面(UI)范围的数据可视化选项。接下来，一种报告集成方法被考虑，它可以操作分析和人工智能，而不需要新的硬件范式，如AR耳机。增强现实耳机有可能使运营受益，但前提是应用程序的可用性设计成功，这是接下来要考虑的问题。下面是如何为远程专家构建数字孪生接口的大纲。

在UI频谱上可视化数字双胞胎输出

在Cap Gemini的“在运营中的增强和虚拟现实”的报告中，奥迪奥基的AR / VR能力中心的Jan Pflueger鼓励了一个现实项目的企业 - 首要方法。“首先，专注于您的用例，而不是技术本身。识别您的用例后，请关注您的信息处理和数据，以便您可以向技术提供正确的信息。“

考虑五种渲染数字双胞胎的技术方法及其各自的功能。这些都是传统的桌面电脑;智能手机或平板电脑;单片眼镜基于“增大化现实”技术;立体增强现实，包括混合现实(MR)设备;和身临其境的虚拟现实。参见图3表进行比较。

在每一类设备中，功能都是不同的，这种差异可能会影响产品在不同用例中的生存能力。增强现实耳机尤其如此。不同产品的显示分辨率、视场和计算能力各不相同。此外，是否将电池和计算单元安装在耳机上或单独的系绳模块上的设计决策可能会影响舒适性和实用性。增强现实耳机的一个实际问题是，它们如何与工作服装和制服(如洁净室和食品加工作业所需的制服)整合在一起。

用数字孪生环境进行报告

对于交互式可视化分析应用程序，可以使用集成的3D模型创建智能现实报告，如图4所示。数字孪生表提供了一种自定义可视化，可以与报表中的其他对象交互，包括在表格或图表中显示数据。

此可视化方法遵循长期站立数据呈现传统，而无需超出常规桌面设置的新硬件。用户界面在具有鼠标和键盘的典型计算机上呈现。用户需要几乎没有额外的培训来使用数字双胞胎的电源。

可用性和增强现实

在将桌面超出AR耳机时，应用设计人员面临着新的可用性挑战。可用性是任何技术都是工具而不是障碍的基石。虽然AR是一种新的互动范式，但长期的可用性标准仍然适用。这些应该指导努力将AR整合到数字双胞胎。一个很好的界面是有效，学习，难忘，错误罕见和令人愉悦的使用。利用AR和Digital Twins的优点利用域知识使得该空间位于许多类别中最大化的可用性。

增强现实的可读性

AR平台上的用户在短时间内用最少的指令就能取得显著的进步。一些用户最初发现AR很困难，因为他们不能依靠自己的内在知识来操作系统。然而，这种挫折是暂时的，用户通常会改进。易学性根据目标受众的不同而有很大的不同。专为专家设计的工具有更高的学习曲线，但总体上更强大，专家的效率应该证明延长培训时间是合理的。

增强现实的效率

当技术消失时，AR有“实施例”的效果，并成为我们感官的延伸。当发生这种情况时，该技术延长了我们的感官，认知和电机限制，因此我们花费较少的认知资源思考界面以及更多关于手头的任务。世界上的信息结合该计划中的信息通过体现认知来提高任务的效率。

学习增强现实的优势

用户在AR系统中访问内容时，会更专注于内容，因为它具有新颖性。参与是批判性思考和记住细节的关键因素。当用户在一段时间不活动后回到界面时，他们更有可能记住内容和操作。

增强现实的低错误率

与任何应用一样，错误率通常受接口设计的影响。一个好的接口设计师将能够在人类因素的极限内创建用户体验，这适用于AR。虽然互动范例不同于点并点击，但系统设计人员考虑了可以识别的输入类型，并在使用过程中限制可抵押错误的数量。

增强现实使用的满意度

多项研究表明，用户更喜欢传统的相互作用范例。满意度是最终的可读性，效率，难忘性和使用系统而没有灾难性错误的能力。当其他类别的可用性是均衡的时，用户将对他们的经验感到满意。

远程专家和数字双胞胎

AR设备可以通过用数字双输出覆盖其现实来帮助现场工作者。同样的AR设备也可以作为远程专家帮助的平台。最简单的方式是将来自AR设备的摄像机的视频进料传输到遥控专家;但是，单独的视频源将无法超出现场工作人员可以物理访问的内容，并且不包含现场内容（IoT）传感器数据。

远程专家可以将系统视为虚拟世界而不是依赖视频。可以使用VR或MR耳机，但传统的扁平屏幕也将很好地工作。下图显示了使用游戏引擎创建的数字双胞胎。

在这种虚拟现实系统中，专家可以切换到现场工作人员看不到的有利位置。例如，他们可以从任何角度观察系统，穿过上锁的门，甚至进入组件内部。

与现场工作者的数字现实不同，必须创建专家的现实。它可以由3D艺术家或数字伪像（如CAD图纸）创建 - 或者两者的某种组合。艺术家将完全控制，但使用CAD图纸将更加可扩展。

虽然在技术上可以直接转换CAD图纸以用于游戏发动机，但CAD图往往在游戏引擎中实时渲染太详细。CAD被旨在创造可以交给制造或建筑的模型，而博彩发动机追求相机位置的变化，可信的照明和低延迟响应。

存在工具以优化虚拟引擎的CAD图纸。

从物联网传感器到人工智能

使用IoT，数据由设备上的传感器收集，在相邻设备上，设备周围的环境以及与设备交互的环境。速度是实时的，并且连接通常允许我们立即跨距距离。流媒体分析的进步现在使我们能够使用机器学习和人工智能处理此实时数据。

虽然非常简单的系统可以从原始数据读数中孪生，但是AI和其他分析技术是制造一个复杂系统的人类消耗数字双胞胎。在仅在地图上仅作为对象考虑车辆时，那么数字双胞胎可以非常简单且易于消化。只有两个变量，纬度和经度，人类容易理解变量。

但是当车辆的双生操作需要每秒几百兆字节的数据和成千上万的变量。虽然所有这些数据对飞行器的运行都很重要，但如此多的原始数据将压倒人类理解它的能力。人工智能将数据合成，这样数字双胞胎就可以以人类可消费的格式呈现出来。相反，人工智能通过提供用户无法获得的额外环境信息来增强数字双胞胎体验。

在AI的伞期下是几个特定类别的机器学习。考虑下一节数字双向工具箱。首先，提出了AI的一般架构实践，然后审查了特定的深度学习技术。

创造人工智能的常见做法

人工智能必须在某个地方变得智能，而它通常不是“在工作中”。深度学习模型是在大型数据库上训练的，而且几乎总是离线完成。训练一个模特花上几个小时或几天的时间是很正常的。一旦模型经过训练，通过推理的模型应用程序的计算密集性降低了，但仍然需要比典型的数字孪生应用程序更多的计算资源。

对于某些应用，近实时或稍微延迟的结果就足够了。例如，在下面描述的计算机视觉缺陷检测中，在执行缺陷检测的同时保持生产批次可能是可接受的。在其他情况下，需要实时推理。推理可以在云或数据中心完成，其中有足够的资源。对于边缘推理，边缘网关具有足够的计算能力，但专门需要计划需要规划。

经常性神经网络

递归神经网络(rnn)是一种特殊的深度学习神经网络，专为序列或时间数据设计。在物联网和数字双胞胎中，有许多此类序列和时间数据的例子。随着时间的推移，许多传感器正在收集数据。随时间变化的测量序列或模式可用于理解数字孪生资产的有趣特征。一个例子是在智能建筑或电网中测量能量电路。电路上的能量使用模式可以捕获资产操作的开始或结束，如电机启动，这是数字孪生资产中操作变化的信号。rnn的另一个用途是预测不寻常的时间序列数据。一个例子是预测太阳能发电厂的能量输出，如图6所示。

在这种情况下，可以使用传统方法预测周期性成分，但对天气和云量的建模不太好。利用太阳能发电厂和附近的太阳能发电厂提供的大量数据，深度学习RNN可以捕捉能量输出的更零星的方面。

如何训练经常性的神经网络

在使用序列数据与使用时间数据时，训练RNN的过程是不同的。培训具有序列数据的RNN的过程如下：

• 将数据打入序列测量的段。段的长度由数据的时间间隔和前体的预期持续时间决定。对于智能建筑中的能量电路示例，数据以5秒间隔收集数据，我们使用上一分钟的数据。
• 为感兴趣事件创建目标变量，并使用它来标记发生事件的序列。对于我们的示例，我们正在使用电机启动并识别弱电机开始指示电容器故障。
• 训练RNN。在这种情况下，不需要双向模型拟合，因为测量数据始终及时向前移动。

然后可以部署培训的模型以供介绍。在大多数情况下，模型推理功能将足够快地在云，服务器或边缘设备中使用实时测量流。

经常性神经网络预测

第二种类型的RNN用于预测。在这种情况下的示例是预测未来短时间内太阳能电场的能量输出（1小时）。在这种情况下，密钥是为预测器和响应变量创建一组滞后变量。响应变量是产生的能量。

为了训练这个RNN，使用历史输入数据库并为预测器和响应变量创建滞后变量。滞后的数量是由测量数据的时间间隔和预测时间范围内先前测量的预期相关性决定的。

对于太阳能农场示例，我们正在生产一小时前预测，而过去几个小时的数据足以捕获预测的主要效果。即使预测地平线短暂，全年都有各种各样的条件和以前观察到的天气可能。由于我们具有各种条件的大量历史数据，因此使用RNN适用于该特定问题。

由于RNN模型的训练和评估依赖于序列，数据的划分需要比典型的随机划分更加谨慎。在这种情况下，我们需要保留在模型创建步骤(训练、验证、测试)中使用的数据序列。最简单的方法是根据时间变量划分数据。使用最早的历史数据作为训练数据集。然后使用验证数据集的下一个时间分区。

最后，使用最近的测试数据集数据。如果资产的性能一致在历史数据样本中，这是足够的。如果出现了劣化的性能，最好从用于创建模型的数据集中消除该数据。

在预测间隔匹配或少于预测间隔的情况下，将RNN用于一步预测。这产生了最准确的预测。在某些情况下，可能需要多步骤预测来基于近期预测估计来预测未来的时间段。这些预测通常不太准确，但可以测试以确定它们是否具有足够的准确性。

加固学习，机器学习，HVAC

强化学习(RL)是机器学习的一个分支，研究随机环境下的顺序决策问题。在任何RL问题中，都至少有一个代理和一个环境。代理观察环境的状态，做出并执行决策。环境会对玩家的行为给予奖励和新的状态。在新的状态下，代理执行另一个动作，环境返回一个奖励和新的状态，这个过程反复地继续。RL算法旨在通过与环境的这种交互来训练agent，其目标是使奖励的总和最大化。

由于RL在计算机游戏和机器人应用方面的成功，它受到了广泛的关注。除了简单的RL应用之外，现实世界中还很少有RL应用来提高效率。我们研究并做了一些研究，以扩展RL算法控制采暖，通风和空调(HVAC)系统。暖通空调包括所有的组件，应该保持一定的舒适度在建筑。

建筑消耗了世界上30%到40%的能源，所以任何改进都可以节省大量的能源消耗和二氧化碳排放。近年来，新技术的进步提高了暖通空调系统中大多数组件的效率。然而，通过控制这些系统的不同决策，仍然有几个方向可以降低能源消耗。

我们考虑了一个多区域暖通空调系统，并选择风量作为主要控制决策。利用从北卡罗来纳州凯里的SAS大楼获得的数据，我们训练了一个环境，并使用它来训练RL算法，当系统中有10个区域，设定点为72，允许量为±3。

下图显示了具有不同初始温度的50例的结果。上图是温度，下图在150分钟内采取动作，其中每三分钟进行决定。我们将该结果与普通使用的基于规则的算法进行比较（其中系统在69/75打开/关闭），并且R1获得了获得的舒适度和能量消耗的组合改善了47％。

封锁深度学习调整

对于所有深度学习方法，HyperParameter调整是一个重要的步骤。HyperParameter设置通常依赖于应用程序的域知识。研究进入特定应用程序可以产生一组要测试的参数设置。在某些情况下，已建立了一组参数设置作为最佳实践。在其他情况下，需要研究以确定最佳设置。

用于视觉数据挖掘和机器学习软件的功能是HyperParameter自动调谐。此功能将需要一系列潜在的参数设置，并对最佳执行设置执行最佳搜索。这将极大地帮助在参数设置上需要研究的情况。

机器视觉和数字双胞胎

计算机视觉或机器视觉是一种强大的工具，引起了许多人的注意，其能够识别场景中的面孔和物体。对于数字双胞胎，它可以添加有关被监视物质质量的重要信息。可以通过对数字双胞胎的AR接口增强需要目视检查的任务。例如，计算机视觉可以通过比较可能不是人类可检测的异常的数千个图像来检测缺陷。此外，通过组合多个信息流，甚至进一步分析专门的摄像机，允许进一步分析。实现计算机视觉模型的过程如下。

如果可能的话，将相机固定在一个稳定的安装点，这样所有的图像将从相同的角度和相同的比例拍摄。与一般的目标识别模型相比，这简化了模型训练，后者必须从多个角度捕获目标。固定的摄像机位置也简化了确定缺陷在工件上的位置的过程。

用机器视觉创建一个数字双胞胎

另一种选择是创建一个模型，它可以在工件上找到容易识别的特征。对于一个变电站来说，有关于如何将摄像机对准变电站中的变压器的一般说明是可能的。目标识别模型可以识别变压器顶部的套管。这将提供参考点，使图像与以相似角度捕获的图像进行缩放，类似于面部识别模型如何确定面部的各个关键点。

生成的图像可以使用卷积神经网络(CNN)创建分类模型。根据数据标记的好坏，模型可能具有不同的复杂性。

对于大多数良好图像的集合，可以创建二进制分类模型，其识别具有已知良好或疑似异常图像的高可能性的图像。电力变压器是其中的一个例子。

通过具有以已知缺陷类型标记的图像，可以创建更复杂的分类模型，其识别各种缺陷。离散部分是一个例子。可能有先前的图像标记为不正确的轴承插入和标有不正确的部件铣削的其他图像。

通过良好的位置识别，还可以分解图像，找到图像中有缺陷的部分。半导体晶片就是一个例子。预期成品率可以根据有缺陷的晶片比例来量化。

在训练模型之后，确定推断的延迟，并测试捕获的新图像，以及是否需要逐图像流处理并获得即时结果。还可以捕获一批图像并进行批处理。还要确定是否可以在云或服务器中进行推断，或者是否需要边缘网关。

智能设施数字双床应用

智能设备提供了一个完美的例子，说明数字双胞胎如何提供在现实世界中无法实现的功能。虽然建筑变得越来越智能，但墙壁还不能在指令下变得透明。如果一个建筑管理员想要透过墙看，AR和数字双胞胎提供了这个。在本例中，信息管道将执行以下步骤。

原始数据收集数字双胞胎

空气处理装置可以有数百个传感器，监测管道压力、阀门位置、外部空气温度和功率消耗等情况。传统上，这些系统在发生故障或需要维护之前是独立的;然而，这种方法没有考虑系统运行的效率，也没有提供关于问题或需要改进的地方的见解。传感器产生的数据流可以改善维护。其他原始数据来源包括温度计、运动探测器和Wi-Fi和其他无线网络的信号监视器。

数字双床型号：AI，分析模型

模型可以训练成系统的孪生，并在数字模型与物理性能不匹配时向管理员发出警报。这种方法最大限度地减少停机时间，并有助于查明问题。终端用户不需要知道模型背后的所有数学知识，但孪生模型对于从噪声中分离重要信息至关重要。例如，该模型可以检测出空气处理器的功率比外界天气预期的多。

始终通过数字孪生，AR了解建筑管理

随着原始数据处理成智能，许多选项可以渲染数字双输出。最重要的是，设备管理人员可以将物理和数字现实结合起来，这样他们就能感知环境。当使用AR耳机时，当经理在设备周围移动时，数字双胞胎可以合并到设备的实体中。正如管理人员可以注意到物理缺陷和问题一样，他们可以使用增强现实技术透视墙壁，让隐形的Wi-Fi覆盖变得可见，并看到整个设施的温度差异。

虽然基于定义阈值的警报驱动的方法仍然很重要，但情况意识到的方法会减少对经理的机会警报对经理感到令人惊讶。此外，经理可以使用直觉和判断来确定可能属于定义规则的盲点的问题。

由于电池寿命强的轻量级AR耳机出现，这种情况可以实现一种情况。如果没有现代的AR耳机，则设施的数字现实只是在桌面上可见或在平板电脑上可见;但即使通过移动使用平板电脑，管理者仍然必须在移动时操作计算设备。这种方法不是抬起头和免提。使用AR耳机，当管理器移动时，数字输出为环境。

由于设备的数字孪生设备可以产生大量输出，因此很可能在同一物理空间中产生许多视觉表示。试图呈现该空间所有可能信息的数字孪生AR应用程序将无法使用。人工智能代理可以根据几个标准选择最相关的数字孪生输出，例如经理的角色、信息的新动性、情景紧迫性和经理的兴趣历史。

数字孪生、物联网、人工智能、AR等用户界面

在智能现实伞形伞下妥善架构和集成时，IOT，AI和UI技术可以开辟新的可能性，数字双胞胎提供了可用的表示，以消耗这种架构中固有的大量信息。各种UI选项可用于与数字双胞胎交互。包括AR和VR，但也应考虑更传统的选项，如平板电脑和台式电脑。

迈克尔托马斯高级系统架构师;布拉德·克伦茨是杰出的系统架构师;和大草原玫瑰佳兴高级产品开发人员在吗SAS研究所，工业互联网联盟（IIC）成员。IIC是一个控制工程内容合作伙伴。由Mark T. Hoske，Content Manager，CFE媒体编辑编辑，mhoske@cfemedia.com.。

关键词:人工智能，数字双胞胎，虚拟现实

考虑一下这一点

您是否加快了下一代技术或观察竞争对手拉开？

在线

链接到完整的PDF IIC文章，”与数字双胞胎的人工和人类智慧，其中有18个引用。