解决五大大数据、数据采集挑战
揭示大数据的需求和五大相关挑战:数据结构、可扩展性、集成、存储和升级。
“大数据”一词已经被广泛使用，从零售管理系统集中在主要商品商店到跨国组织的企业数据管理解决方案。每个人似乎都坚持使用大数据工具和技术，其中包括工业应用。
揭开大数据需求的神秘面纱，以及随之而来的五大挑战，从而获得更大的成功。
1.数据类型、结构
虽然今天制造业的每个人都听说过“大数据”这个词，但大数据的确切构成却有点模棱两可。乍一看，大数据是传统数据的总称和在这些传统数据源之外生成的数据。
在工厂的环境中，这种传统数据可以分为两个流:操作技术(OT)数据和信息技术(IT)数据。工厂的OT数据包括警报和事件数据、历史数据收集等。工厂的IT数据是企业资源规划(ERP)数据，主要包括生产、采购和访问日志。
大数据不仅包括IT和OT的结构化数据，还包括定期存储的数据。传统的IT和OT数据存储在自己独特的系统和结构中，而大数据是“多结构的”，这意味着它有必要的知识管理工具来访问来自不同来源的不同数据，并将其置于环境中进行分析和报告。一个有效的工业大数据系统的一个重要里程碑是IT/OT数据的集成。
然而，它并没有止步于此。工厂还有许多其他潜在的数据点，这些数据点在任何特定的系统中都没有被监控，比如值班日志、人员报告和审计。还有一些数据，如机器振动、规划效率低下和环境变量，没有被监控。处理这些不受监控的数据，包括其对潜在决策的影响，是大数据系统的另一个重要考虑因素。
2.数据可伸缩性、上下文
这并不意味着大数据只涉及数据存储和获取。大数据系统需要能够根据需求快速处理和分析数据，而不受数据采集和查询的规模和速度的影响。这就是所谓的大数据可扩展性，它是大数据系统的首要关注点之一。其他关注点包括系统可靠性——始终提供类似性能的能力——以及对实时分析的决策支持。
这些分析还包括机器学习(ML)和人工智能(AI)，它们有助于找出数据异常，预测生产、设备和预测的未来行为，并为决策支持提供详细的场景。
最好的部分是，大数据系统被设计为对实时数据执行大多数这些分析——使用更简单的算法来选择需要更多分析的数据集——而不考虑数据摄取的规模和速度。
3.数据集成效率
一旦建立了大数据的上下文，确定对它的需求就变得相对简单了。虽然大多数集成商和解决方案提供商会说需要大数据——这种说法通常是正确的——但何时以及如何需要大数据是一个更微妙的问题。大数据集成并不是任何人都能直接涉足的领域。它需要整个组织的广泛努力和承诺，而不仅仅是it团队实现它。
在微观层面上，有些信息要么是组织不可见的，要么是故意保密的，以避免“霍桑效应”(当观察可以改变行为时)。如果不考虑这些因素，有时就意味着投资100万美元和从中节省数百万美元之间的差异。
对于希望升级分布式控制系统(DCS)的工厂运营商来说，集成大数据系统以获得更全面的工厂视图是一项超出工厂团队预算和工厂范围的任务。
对于当前需要使用更新的技术来提高数据收集的速度和能力的情况，例如使用具有实时跟踪、趋势和监控能力的数据历史记录来执行分析，在如此有限的范围内使用大数据解决方案几乎没有意义。
4.数据存储
所有升级的主要考虑因素都是预期的结果。考虑一个需要在本地存储所需数据的场景(出于安全性或隐私方面的考虑)，现有数据已经以结构化方式存储，只需要与其他数据(例如通过OPC服务器)进行分析和上下文化。
基于远程分析和可视化的实现，使用仪表板和数据连接器，在财务上更有效，对于组织来说，实现这样的解决方案，同时仍然提供与大数据实现类似的决策支持。
许多行业都处于连接不同数据源并对这些数据进行分析和见解的阶段，这是实现生产力和效率的多重提升的一种手段。
然而，这并不意味着大数据解决方案不适用。早期的大数据采用者很快就会比那些依赖集成的传统数据分析的人有足够的竞争优势。然而，就目前而言，大多数行业对传统数据分析的需求与对大数据的需求一样大。
5.大数据升级
大数据面临的最大挑战之一是如何规划大数据升级。需要设计一个可以不断扩展以集成新数据源的广泛解决方案，以便在不影响任何功能和性能的情况下进行未来的包含和升级。
对于大多数组织来说，这意味着将他们的服务切换到云，全面升级他们的系统以更好地监控和记录数据，并且几乎总是增加拥有在所有部门和职能中实施大数据解决方案的技能和能力的人力资本。
采用内部部署解决方案来解决安全性或其他问题的组织还需要考虑使用专用系统支持团队维护内部数据服务器的较高成本。即便如此，这些系统的可伸缩性并不总是像基于云的部署那样有效。
从事工业物联网(IIoT)和大数据解决方案的公司在推动大数据解决方案方面具有既得利益。虽然从长远来看，拥有一个大数据解决方案总是更有益的，但如果现有系统存在空白，可以用一个更好的组织方法来填补传统数据管理和分析，那么实施传统的数据采集、趋势和监控就更有意义了，这也会有更大的成本效益。
如果有什么区别的话，一个彻底计划好的传统数据分析技术需要成为实施大数据解决方案的先驱。只有这样，一个组织才能看到大数据系统能够实现什么。
卡西姆Maqbool主平台工程师是工业智能解决方案吗艾哈迈德·哈比卜是Intech过程自动化公司的市场经理。Intech过程自动化是一个控制工程内容合作伙伴。编辑:Mark T. Hoske，内容经理，控制工程、《媒体，mhoske@cfemedia.com。
关键词:大数据，数据采集
挑战存在于大数据和数据采集中。
数据结构并且需要解决可伸缩性问题。
数据集成,存储和升级很重要。
考虑一下这个
分解与大数据相关的挑战可以使实施变得不那么令人生畏。
您是否具有本内容中提到的主题的经验和专业知识?您应该考虑为我们的CFE媒体编辑团队做出贡献，并获得您和您的公司应得的认可。点击在这里开始这个过程。
