捕获和存储系统关键数据的最佳实践

数据的见解

• 用于收集和存储数据的软件和硬件可以从众多不同的第三方供应商处购买，这给集成带来了挑战。
• 接口节点和连接器可用于将来自不同来源的数据聚合到单个历史记录中。
• 为您的用例选择适当的数据格式也很重要。常用的数据格式包括:CSV、JSON、AVRO和Parquet。

---

制造商一直在继续开展项目，以实现流程自动化、收集和记录数据，并以关键绩效指标(kpi)的形式报告结果，这些指标或指标为其业务增加了重要价值。然而，在这个过程中，他们遇到了许多收集和存储数据的方法，并且不得不从大量的软件和硬件供应商中进行选择。

每个第三方供应商都专注于特定的应用领域，使他们的服务对需要他们的公司具有吸引力。毕竟，从锅炉中收集系统关键数据与从产生轮胎胎纹的过程中收集数据不同。
从多个第三方供应商的数据收集系统中进行选择也给制造商带来了挑战。人员必须处理多个历史记录和多个程序，以访问公司数据进行分析和报告。

为了克服这些数据获取挑战，检查各种数据源、类型和格式是很重要的。了解捕获系统关键数据并将其存储到中心位置以方便访问的最佳实践也很重要。

来自资产或元素的数据源

数据是在流程内的不同位置和来源生成的。这些数据表明设备和工艺目前正在发生什么。源也可以被称为资产或元素，通常通过可编程逻辑控制器(PLC)、监控和数据采集(SCADA)系统、分布式控制系统(DCS)、关系数据库、实验室信息管理系统(LIMS)甚至手动记录器呈现数字或模拟数据。然后将数据存储在数据库或历史记录中。

最佳实践是收集所需或期望的系统数据，并使用历史记录将其存储在一个位置。为了完成这项具有挑战性的任务，需要安装和配置接口节点。接口节点通常设置在数据源所在的网络上，并使用接口或连接器获取数据并将其写入历史机。下面是一些接口和连接器的示例。

接口:

• 用于过程控制的OLE -数据访问(OPC DA)

• 历史数据存取(OPC HDA)

• 通过开放数据库连接(ODBC)的关系数据库管理系统(RDBMS)

• 通用文件和流加载。

• AVEVA PI系统到PI。

连接器(用于AVEVA PI系统):

• OPC UA

• Wonderware历史学家

• PI SQL连接器

• UFL。

今天的大多数技术都允许对来自源的数据进行实时处理和呈现。虽然并非在所有情况下都需要实时数据，但在资产或元素级别以外的其他地方对数据做出反应可以减少在事情开始朝错误方向发展时的反应时间。带有通知的实时数据可以帮助预防各种事故，例如:

• 当储罐没有足够的空间时，产品被泵送到储罐中

• 在储罐中的产品不能冷却到温度

• 热氧化剂温度下降超出允许范围

• 催化转化器的热点检测

• 过程空气压力损失。

通过从一个数据库收集、存储和分析来自多个数据源的数据，可以使关键数据的处理和通信更容易、更一致。

常见的数据类型

在决定捕获和存储什么数据时，重要的是要知道来自资产或元素的数据类型、在数据库中捕获和存储数据的方式以及是否存在任何限制。有许多数据类型需要考虑，包括:

• 整数-不带分数的数字的数字数据类型

• 浮点-带有分数的数字的数字数据类型

• 字符-单个字母，数字，标点符号，符号或空白

• 字符串-字符、数字或符号的序列-总是被视为文本

• 布尔值-值为真或假

• 枚举-一组预定义的唯一值(元素或枚举数)，可以是基于文本的，也可以是数字的。

• 数组——由一定数量的元素按特定顺序组成的列表——通常具有相同的类型

• 日期- YYYY-MM-DD格式的日期(ISO 8601语法)

• 时间—hh:mm:ss格式的时间，表示一天中的时间、事件发生后的时间或事件之间的时间间隔

• Datetime—日期和时间的组合，格式为YYYY-MM-DD hh:mm:ss

• Timestamp -从午夜(00:00:00 UTC)开始经过的秒数，1^圣1970年1月(Unix时间)。

不同的数据格式

数据格式(或文件格式)通常作为数据文件以不同的文件格式存储在深度存储系统中，压缩算法为特定用例提供好处。例如，数据在数据湖中的存储方式至关重要，格式化、分区和压缩驱动器成功。一些数据文件格式包括:

• CSV -当需要兼容性、电子表格处理和可读数据时，这种类型的数据文件是一个很好的选择。缺点是数据必须是平坦的。平面数据库是一个基本的列/行数据库，其中历史记录是关系型的，这意味着数据可以基于时间戳或其他“关键”标准来自数据库中的多个位置。
• JSON——当需要一种嵌套格式(即，与父数据集的当前行保持同步的特殊数据集)时，JavaScript Object Notation (JSON)是一种很好的方法，在一些应用程序编程接口(api)中使用。在某些情况下，JSON对人们来说有点难以阅读，特别是如果他们不熟悉结构化查询语言(SQL)或其他编程语言。
• Avro用于以二进制格式存储行数据，使其紧凑且非常高效。它以JSON格式存储模式，使其更容易被任何程序读取和解释。
• Parquet是一种支持模式的列式存储文件格式，可以很好地与Hive插件配合使用。它用于有效地存储大型数据集。

文件格式很大程度上取决于所使用的系统。在选择文件格式时，请考虑以下事项:

• 数据结构

• 性能

• 可读性

• 压缩

• 模式

• 兼容性。

制定战略性数据获取方法

为了克服数据获取的挑战，企业需要一个精心规划和执行的方法，将数据收集、分析和沟通提升到一个新的水平，同时产生巨大的投资回报(ROI)。虽然有许多可用于收集、分析和通信关键数据的选项，但从单个位置提取所需的数据结果是最佳方法。

如果数据不能存储在中央历史记录/数据库中，则可以使用报表工具，这些工具可以从多个来源提取关键数据，并在单个报表中报告这些数据。基于事件或事件对数据条件做出反应并向适当人员生成通知/报告的能力节省了宝贵的时间和金钱。

大多数企业将很难将所有数据集中到一个位置，特别是在资源有限的情况下。处理这种规模的项目通常需要咨询具有专业知识和工具的第三方合作伙伴，以将此类项目组合在一起。合适的合作伙伴可以提供数据采集系统和软件的整体视图，同时帮助审查各种供应商系统选项，包括历史记录和数据分析工具。

了解各种数据源、类型和格式并使用最佳实践可以帮助制造商更轻松地访问和分析中央数据存储库中的关键系统数据。这样做，他们可以实现预期的业务收益，并在竞争中保持领先地位。

布莱恩·博尔顿顾问,特立独行的技术他是CFE媒体和技术内容合作伙伴。编辑:David Miller，内容经理，控制工程、CFE媒体与技术、dmiller@cfemedia.com

更多的答案

关键词:数据采集，数据历史学家

考虑一下这个

什么新见解?如果数据得到更好的整合，你们的设施能实现吗?

您是否具有本内容中提到的主题的经验和专业知识?您应该考虑为我们的CFE媒体编辑团队做出贡献，并获得您和您的公司应得的认可。点击在这里开始这个过程。