如何使工业数据符合目的

七个步骤作为数据管理的实用指南

通过约翰·哈林顿 2020年2月26日

在我看来,与我交谈过的大多数制造商都被数据淹没了,但他们却在努力让这些数据变得有用。

一个现代化的工业设施每天可以很容易地产生1tb的数据。随着人工智能和机器学习的新技术浪潮——在实时仪表盘和增强现实的基础上——我们应该会看到生产率的巨大提高。对资产和生产线的计划外维护应该成为过去。

然而,即使在2020年,情况也并非如此。可以访问所有这些数据并不意味着它们有用。工业数据非常原始。必须使数据“适合用途”,以提取其真正价值。此外,用于使数据符合目的的工具必须在工业设施的规模上运行。

考虑到这些现实情况,这里有一个实用的,逐步指导制造商和其他工业公司使他们的工业数据符合目的。

步骤1:从用例开始

信息技术(IT)和运营技术(OT)项目应该从清晰的用例和业务目标开始。对于许多制造公司来说,项目可能侧重于机器维护、流程改进或产品分析,以提高质量或可追溯性。作为用例的一部分,公司涉众应该确定项目范围和所需的适用数据。确保项目一开始就有合适的跨职能涉众在场,所有涉众都同意确定项目的优先级,并能就项目目标达成共识。

步骤2:确定目标系统

确定了用例和业务目标后,下一步需要确定将用于实现这些目标的目标应用程序。通过问以下问题来描述目标应用程序:

  • 这个目标应用程序位于哪里:在边缘、本地、数据中心、云中还是其他地方?
  • 这个应用程序如何接收数据:MQTT, OPC UA, REST,数据库加载或其他?
  • 这个申请需要什么信息?
  • 数据应该多久更新一次,更新的原因是什么?

记录您的响应,然后继续下一步,在该步骤中,您将确定项目的数据源。

步骤3:确定数据源

工业数据是解决工业和商业用例的重要组成部分。然而,在访问这些数据并将其转换为有用的信息方面存在一些重大挑战。

  • 体积。典型的现代工业工厂有成百上千台机器和设备不断地生成数据。这些数据通常在自动化层的可编程逻辑控制器(plc)、机器控制器或分布式控制系统(DCS)中聚合,尽管较新的方法可能还包括智能传感器和智能执行器,将数据直接馈送到软件层。
  • 相关性。自动化数据主要用于管理、优化和控制过程。相关数据用于过程控制,而不用于资产维护、产品质量或可追溯性目的。
  • 上下文。plc和机器控制器上的数据结构只有最少的描述性信息(如果有的话)。在许多情况下,数据点是通过神秘的数据点命名方案或内存位置引用的。
  • 标准化。工厂的自动化随着时间的推移而发展,机器和设备来自各种各样的硬件供应商。这种硬件很可能是由供应商编程和定义的。这导致为每台机器创建了独特的数据模型,并且除了非常大和最复杂的制造商之外,所有工厂和公司都缺乏标准。

通过记录数据源,您可以更好地理解项目需要克服的特定挑战。通过问以下问题来描述可用数据以满足目标系统的需求:

  • 有哪些数据可用?
  • 它位于哪里:plc,机器控制器,数据库等?
  • 它是实时数据还是信息数据(元数据)?
  • 当前可用的数据格式正确吗?还是需要导出数据?

步骤4:选择集成体系结构

集成体系结构分为两个阵营:直接应用程序编程接口(API)连接(应用程序到应用程序)或集成集线器(DataOps解决方案)。

如果只有两个需要集成的应用程序,那么直接API连接可以很好地工作。不需要为接收应用程序管理或准备数据,源系统是静态的。在这样的环境中,这通常是成功的:制造公司有一个单独的SCADA或MES解决方案,其中包含所有信息,并且不需要额外的应用程序来访问数据。

当多个应用程序(如SCADA、MES、ERP、IIoT平台、分析、QMS、AMS、网络威胁监控系统、各种自定义数据库、仪表板或电子表格应用程序)需要工业数据时,直接API连接不能很好地工作。当必须进行许多数据转换以为消费系统准备数据时,直接API连接也不能很好地工作。

这些转换可以很容易地在Python、c#或任何其他编程语言中执行,但它们是“不可见的”,很难维护。最后,当数据结构频繁变化时,直接API连接不能很好地工作。当工厂设备或在设备上运行的程序频繁更改时,就会发生这种情况。例如,制造商可能有短期运行的批次,需要在plc上加载新程序;所生产的产品可能会发展并需要对自动化进行更改;可以改变自动化以提高效率;或者由于使用年限和性能原因,设备可能会被更换。

使用API方法将集成隐藏在代码中。涉众甚至可能在设备更换或更改很久之后才意识到集成系统,导致数周甚至数月都无法检测到坏数据或丢失数据。

直接API连接的替代方案是DataOps集成中心。DataOps是一种数据集成和安全的新方法,旨在提高数据质量并减少为整个企业使用准备数据所花费的时间。集成中心充当一个抽象层,它仍然使用api连接到其他应用程序,但提供了一个管理、文档和治理工具来将数据源连接到所有所需的应用程序。

集成中心是专门为高速移动大量数据而构建的,在数据运动时实时执行转换。由于DataOps集成中心本身就是一个应用程序,因此它提供了一个平台,可以在设备或应用程序发生更改时识别影响、执行数据转换并提供这些转换的可见性。

第五步:建立安全连接

既然已经有了项目计划,就可以通过建立到源系统和目标系统的安全连接来开始系统集成了。理解所使用的协议以及它们所提供的安全风险和好处。

许多系统支持开放协议来定义连接和通信。典型的开放协议包括OPC UA、MQTT、REST、ODBC和AMQP -等。还有许多封闭的协议和供应商定义的API,应用程序供应商为它们发布API协议文档。问问自己:协议是否支持安全连接,这些连接是如何创建的?一些协议和系统支持应用程序之间交换的证书。其他协议支持手动输入到连接系统或通过第三方验证的用户名和密码或令牌。除了用户安全,一些协议支持加密数据包,因此如果有“中间人”攻击,他们无法读取正在传递的数据。最后,一些协议支持数据身份验证。这样,即使数据被第三方查看,也无法更改。

安全性不仅涉及用户名、密码、加密和身份验证,还涉及集成架构。像MQTT这样的协议只需要防火墙中的出站开放,安全团队更喜欢这样,因为黑客无法利用该协议进入内部网络。

步骤6:对数据建模

分析或工业物联网在全公司范围内的部署和采用往往因为来自工厂的数据的可变性而延迟。从一台机器到另一台机器,每个工业设备都可能有自己的数据模型。从历史上看,供应商、系统集成商和内部控制工程师并没有专注于创建数据标准。随着时间的推移,他们改进了系统并更改了数据模型以适应他们的需求。这适用于一次性项目,但今天的工业物联网项目需要更多的可伸缩性。

建模数据的第一步是定义目标系统所需的标准模型,以满足项目的业务目标。该模型的核心是来自机械和自动化设备的实时数据。大多数实时数据点将映射到单源数据点。但是,当特定数据点不存在时,可以通过使用其他数据点执行表达式或逻辑来派生数据点。还可以从其他数据字段中解析或提取数据,或者添加其他传感器以提供所需的数据。

这些模型还应该包括任何描述性数据的属性,这些属性通常不存储在工业设备中,但在匹配数据和评估目标系统中的数据时非常有用。描述性数据可以是机器的位置、机器的资产编号、计量单位、操作范围或其他上下文信息。一旦创建了标准模型,就应该为每个资产、流程或产品实例化它们。这通常是一项手动任务,但如果映射已经存在于Excel或其他格式中,如果可以复制设备之间的一致性,或者如果可以应用学习算法,则可以加速。

步骤7:处理数据

建模完成后,应该逐个模型地控制数据流。这通常是通过确定要移动的模型、目标系统和移动的频率或触发器来执行的。随着时间的推移,数据流也将需要监控和管理。

总结

工厂和其他工业环境会随着时间而变化。设备被更换,程序被改变,产品被重新设计,系统被升级,新用户需要新的信息来完成他们的工作。在这种变化中,OT和IT专业人员将合作开展旨在提高工厂生产效率、效率和安全性的新项目。我们需要的是符合用途的工业数据,以便加以利用。需要一些工具来帮助大规模完成这项任务,比如DataOps集成中心。通过使用集成中心,管理员可以评估设备和系统更改,并识别必须修改或替换的集成。他们可以对数据模型进行更改,并实时启用新的流。

对于希望扩大工业物联网项目规模和争夺数据治理的制造商来说,让工业数据符合目的至关重要。我希望这篇文章可以作为开始下一个项目的实用指南。


作者简介:John Harrington是HighByte的联合创始人兼首席商务官。