使用ETL软件改进工业数据集成
提取、转换、加载(ETL)软件可以帮助提高作业技术(OT)应用的数据收集，但在数据集成方面，公司需要克服一些重大挑战。
大多数人都熟悉工业4.0、智能制造和工业物联网(IIoT)，这些术语用于描述运营技术(OT)的巨大变化。它们是由云、大数据、智能传感器、单板固态计算机、无线网络、分析、应用开发平台和移动设备等基础技术的激增带来的。
其中一些技术并不是新技术，但最近价格的下降和易用性的提高增加了它们的使用。这些技术正与传统OT(如控制系统和制造执行系统)相结合，通过提供更多的数据和利用这些数据的工具，来改善工业公司的运营和业务功能。
其中许多技术最初是为信息技术(IT)部门开发的，以便与其他业务规程进行交互。考虑到制造业中的大量数据和改善运营的需要，这些工具正在被IT部门评估和采用。然而，希望利用工业数据的运营团队面临着围绕数据集成的独特挑战，这增加了部署此类系统的工作量。
IT行业通过创建提取、转换、加载软件（ETL）解决了其数据集成难题，该软件将业务系统集成到分析系统中。这些解决方案旨在从客户关系管理（CRM）和企业资源规划（ERP）等其他系统和数据库中提取数据，在通过清理、对齐和规范化数据转换数据之前，将这些数据合并到中间数据存储中。数据被加载到最终数据存储中，供分析、趋势分析和搜索工具使用。
那么，为什么运营部门不能使用ETL解决方案来准备工业数据呢?原因是来自工厂控制系统的工业数据与来自业务系统的交易数据面临不同的挑战。对于公司来说，理解ETL软件中的每个角色是至关重要的，这样才能最大化潜在的数据收益。
等待提取数据
操作数据并非全部作为待提取的事务存储在数据库中。相反，它可以从可编程逻辑控制器（PLC）、机器控制器、监控和数据采集（SCADA）系统和/或整个工厂的时间序列数据库实时获得。必须从数百台设备和系统中收集数据，而不是从少数几个大型数据库中提取数据。
事务处理系统存储每个事务的完整记录，但在工厂中，过程数据不作为“事务”捕获。大容量离散制造商无法存储下线的每个组件的完整数据集。批次制造商通常需要在每个批次中存储多个值。工业数据也必须以高速率收集以捕获异常，并且必须根据用例以不同的速率存储，这使得提取更加复杂（见图）。
变换
操作数据上的数据转换需要更多的条件，而不是转换。
操作数据存储通常每秒钟、每分钟或每小时定期进行一次。存储的数据可以是实际值，如生产量，也可以是原始数据的统计计算，如每秒检查但每小时记录的平均、最小和最大温度值。
PLC数据点通常有一个地址或名称和一个值。然而，这些数据点仅提供了以流程或控件为中心的数据视图。没有描述、度量单位、操作范围或其他描述性信息。
由于工业数据在机器维护、过程优化、质量和可追溯性控制环境之外使用，这带来了挑战。在这些情况下，数据必须按机器进行分析和校准，以便进行机器维护，按流程进行流程优化，按产品进行质量和可追溯性分析和校准。所需的数据通常是可用的，但必须相互关联，有时转换为可用的格式。
典型的工厂也有来自许多不同供应商的机器和在很长时间内购买的设备。这种机械的多样性导致了各种各样的可用数据。一些数据点可能有不同的名称，而另一些数据点可能有不同的度量单位或不同的度量。为了使分析、趋势分析或任何类型的数据分析成为可能，数据点必须标准化、规范化，在某些情况下，还必须基于组件度量进行计算。
分析数据通常不如控制数据那么重要；公司使用成本较低的传感器收集数据进行非关键分析。但是，这些传感器可能会发生故障或漂移，因此，使用具有外部数据验证的冗余传感器对于确保存储良好数据非常重要。
负载
还有许多业务用户希望访问来自运营部门的高分辨率自动数据源。他们使用独特的系统来分析和利用数据，并有不同的需求。这些业务用户因公司而异，但通常包括制造运营、维护、质量和价值工程。机器供应商也开始销售要求实时数据收集的服务合同。
管理数据的交付非常重要。存储不正确、损坏或无用的数据会带来安全风险和巨大的成本。
工业数据的提取和转换必须发生在靠近生产机械的地方。这允许本地边缘分析使用数据，并根据更有效的方式将数据发送到本地数据中心或云。
实现数据的价值
提取、转换和加载操作数据的需求与典型IT业务系统集成中对ETL的需求一样大。这需要重新思考数据体系结构，并创建新的工业数据基础架构解决方案。必须简化和优化工业公司的数据集成，以实现工业4.0、智能制造和IIoT的预期价值。
约翰·哈林顿联合创始人兼首席商务官在哪里HighByte．由制作编辑克里斯·瓦夫拉编辑，控制工程,《媒体,cvavra@cfemedia.com．
更多的见解
关键词:ETL，提取，转换，加载，数据集成
提取、转换、加载(ETL)解决方案收集数据并将其存储在系统中以供进一步分析。
这是一个巨大的需求对于ETL作业技术(OT)数据来说，获取数据是一个不同于信息技术(IT)数据的挑战。
ETL可以改善OT数据，但必须简化流程，以充分利用数据的潜力。
考虑一下这个
什么应用在您的工厂将从ETL解决方案中受益最大，为什么?
在线额外
对该公司
HighByte是一家工业软件公司，其使命是通过构建直观的现成软件，使复杂的工业自动化数据变得简单。
