数据历史学家的历史告诉我们

围绕时间序列数据存储的势头预示着传统产品的新篇章。

通过迈克尔Risse 2019年4月27日

时间序列数据存储应用市场无论以什么名字命名──数据历史学家、过程历史学家、企业历史学家──似乎都是一个陈旧而乏味的软件市场。一家IT分析公司的过程历史学家到目前为止在他们的客户采用曲线上处于右边,他们即将被淘汰。然而,在大多数人机界面(HMI)、分布式控制系统(DCS)以及监控和数据采集(SCADA)部署中,这个最不吸引人的组件不会消失。最近的市场趋势表明了新一代的产品和对历史产品的兴趣恢复。

工艺制造商每天都在安装更多的历史学家,今年春天,领先的制造数据平台供应商OSIsoft将欢迎数千名与会者参加其第29届用户大会,PI World。2018年,行业分析公司ARC Advisory Group和Markets & Markets都发布了研究报告,以满足客户对历史学家市场洞察的需求。

历史学家的下一步是什么?是什么推动了对特定于时间序列数据的数据存储系统的兴趣和需求?要找到这些问题和其他相关问题的答案,首先要研究历史学家的历史。

第一幕

如果历史学家应用市场存在官方历史,除了相关的部落知识之外,很难找到它。但在20世纪80年代中期,首先是Oil System Incorporated的工厂信息系统(后来更名为OSIsoft PI系统)开始了为监管、报告、资产可用性和诊断(根本原因)分析存储数据的概念(图1)。这些早期的历史学家在DEC VAX/VMS微型计算机上运行,这是20世纪80年代的制造系统选择。

巧合的是,历史学家软件的引入和开发与它在植物分析方面的长期合作伙伴电子表格同时进行。到20世纪80年代末,电子表格和时间序列数据存储都被确立为软件类别,这种联系一直延续到今天,因为电子表格仍然是历史用户最常用的分析工具。这些早期工作的基础是交付企业软件产品的基本组件,因此它们的评估标准是可靠性、连接性、可伸缩性和压缩或效率特征,就像今天一样。

第二幕

随着历史学家对数据存储和分析的展示价值,历史学家市场的第二阶段看到了每个领先的自动化供应商收购或开发历史学家产品。对所有产品进行总结将是一项压倒性的工作,但作为例子,考虑一下GE发那科在2003年收购Mountain Systems(现在是GE Proficy), 1987年WonderWare的早期(现在由AVEVA拥有),霍尼韦尔2007年收购InterPlant(现在是专业历史学家数据库,或博士),AspenTech的InfoPlus 21,以及太多其他公司。

事实上,当前历史学家市场面临的挑战之一是试图衡量它的规模。西门子(Siemens)、ABB和AVEVA等供应商在过去的收购历史中提供了多个产品。例如,AVEVA仅拥有WonderWare、eDNA和Citec历史学家。其他供应商将历史记录作为产品特性,例如SCADA供应商感应自动化的点火系统。除此之外,一些公司还构建了自己的历史记录,通常是作为SQL服务器应用程序。

那么,现在有多少历史学家的作品呢?如果只计算商业产品,保守估计至少有几十家,肯定超过30家。这些产品包括你可能不知道的产品,除非你去过挪威(Prediktor)或爱尔兰(AutomSoft),或者如果你是一个使用SCADA系统的学生,如Cygnet、Ellipse和CopaDATA。

第二阶段产品的另一个特点是开发历史应用程序,以简化趋势、报告、移动访问和其他用户体验。历史数据库产品不再足以满足客户的需求。

相反,供应商增加了完整的平台功能,如应用程序编程接口(api),高价值组件,如OSIsoft PI系统资产框架和PI通知,或历史应用程序组合,如霍尼韦尔统一套件。

第三幕

随着每个工业厂商都推出历史产品、功能应用程序堆栈和Windows Server产品(市场早已离开VAX/VMS平台),市场在很长一段时间内趋于稳定。如前所述,历史学家是一个重要但安静的软件类别,对于大型自动化供应商来说,历史学家只是大型自动化系统业务的一小部分。

那么在过去的两年里发生了什么变化呢?时间序列数据存储应用业务正在向第三阶段过渡。例如,硅谷两家领先的风险投资公司Benchmark capital和Battery Ventures在过去两年里已经向新的时间序列存储公司InfluxDB和Timescale投资了超过1.25亿美元。

基准资本管理着近30亿美元的资产,是Twitter、Dropbox和Instagram等公司的早期投资者。与此同时,Battery Ventures拥有近70亿美元资产。这些公司现在认为时间序列存储市场足够大或重要,足以吸引他们的兴趣。投资者的热情也提振了OSIsoft,该公司在2017年获得了软银的投资。

此外,亚马逊还宣布在其亚马逊网络服务(AWS)公共云平台上推出一项新的时间序列存储服务Timestream,该服务将于2019年晚些时候推出。西门子MindSphere和GE Predix在他们的云平台上提供了类似的功能。终端用户对路线图的期望是什么?

爆炸性的数据量

许多工业自动化高管都说过:“工业物联网并不是什么新鲜事,我们已经做了几十年了。”自20世纪80年代以来,传感器数据的生成、收集、存储和分析一直是过程制造业的支柱,这是正确的。

然而,工业物联网所改变的是,在过去20年里,利用数据生命周期的每一个阶段的成本都降低了一个数量级,如果不是两个数量级的话。这包括传感器生成的数据,网络和连接的数据收集,以及数据存储。

因此,如果以前只有最关键的资产值得监控,随着时间的推移,不那么重要的资产已经包括在工厂网络中或通过互补的工业物联网平台。这包括不连接的或独立的资产。

因此,除了无线连接取代有线连接之外,这种变化并不在架构上,而是在经济上。经济绝对发生了变化,是大数据、工业物联网(IIoT)、无线网络和云数据服务等一系列行业趋势背后的主要驱动力。计算是如此廉价,用户可以证明生成、收集和存储更多的数据是合理的。

所有这些数据都必须存储在某个地方,无论存储系统是否被称为历史记录系统,时间序列数据存储选项正在爆炸式增长。开源时间序列数据库、基于云的服务(如前面提到的AWS)、数据湖供应商和云平台初创公司都急于成为新的时间序列数据存储业务的记录供应商(见图2)。

云想要加入

庞大的数据量之所以吸引眼球,是因为“数据有引力”──这意味着数据能吸引管理、安全、分析和咨询等高价值附加服务。结果呢?制造业产生的数据是下一个领先垂直行业的两倍,已经引起了想要进入的公司的注意。

微软、亚马逊和谷歌特别关注石油和天然气领域,将其作为他们努力的起点。就像Battery和Benchmark风投的投资一样,这显然是一个新的市场兴趣的迹象。

这也是公有云市场成熟的标志。如果历史学家已经35岁了,那么公共云服务的历史有多长就很有趣了。例如,亚马逊在2002年推出了AWS,然后在2006年推出了S3(存储)和EC2(虚拟机)。随后,随着微软和谷歌在2008年推出云平台,云计算竞争变得有趣起来。

通过多年的经验来适应云数据存储的思想,将数据迁移到云越来越成为一个“何时”而不是“如果”的问题。因此,大型公共云平台更加关注最大的数据来源。

亚马逊和AWS将提供之前提到的时间流,谷歌为其BigTable存储服务提供时间序列存储文档。微软也有多个Azure服务,可以存储已经在市场上的时间序列数据。

因此,除了通用电气和西门子之外,三大公共云供应商已经宣布了时间序列存储服务。除此之外,还有许多工业物联网平台产品,如PTC ThingWorx,工业供应商产品,如OSIsoft Cloud Services,以及用于上下文化和聚合的工业数据平台,如Cognite。就像历史供应商的名单一样,在云上提供数据收集和存储服务的公司,尤其是初创公司的名单也很长。

当然,数据服务本身并不能使历史记录或时间序列数据库产品成功。历史应用程序、资产模型支持、数据连接器和其他特性是解决方案的关键需求,而不是零碎的客户产品。但可以肯定的是,数据量已经吸引了新的玩家,越来越多的传感器数据将存储在云中,而不是在本地。

顿悟之路

历史学家和电子表格的关系在前面提到过,它们是并行的,仍然是共享的,相互依赖的。每个历史产品都提供了什么功能或产品?答案是一个连接到电子表格的连接器,用于数据清理、上下文化、计算和建模。

但随着数据量的增长,对改进分析产品的需求也在不断增长:描述性、预测性、诊断性、交互性和规范性,这远远超出了电子表格的范围。这些改进是通过许多人现在所说的高级分析来实现的。

具体来说,高级分析是指将认知计算技术纳入可视化和计算应用程序。麦肯锡对高级分析解决方案的定义如下:

“[高级分析解决方案]……提供了更容易访问来自多个数据源的数据,以及先进的建模算法和易于使用的可视化方法,最终可以为制造商提供新的方法来控制和优化整个运营中的所有流程。”

机器学习和其他分析技术的引入加速了工程师在寻找相关性、聚类或在过程数据的草堆中寻找任何其他指针时的努力。这些特性建立在多维模型之上,并通过组装来自不同来源的数据来实现,工程师在分析能力方面获得了数量级的改进,就像从纸笔转向电子表格一样。

例如,在历史记录或其他大数据存储系统中的所有标签中“像谷歌一样搜索”的能力现在可以在一些高级分析软件中使用,其他功能也以类似的方式提供。

高级分析方法有两个关键组成部分。

首先,它应该是一种自助服务,提供给具有所需经验、专业知识和工厂和流程历史的工程师。这使工程师能够在应用程序级别上工作,具有生产力、授权、交互和易于使用的优点。

其次,高级分析解决方案应该包括所创建的分析和底层数据集之间的连接,这样用户就可以简单地单击并获得底层数据。高级分析产品不仅应该用于生成可视化的数据图片,还应该用于提供对生成输出的分析和来源的访问。因此,工程师、团队、经理和组织可以使用这些新功能来实现在整个工厂和公司中的利益分配(参见图3)。

结论

随着历史悠久的供应商和挑战者(包括开源和云服务)的出现,时间序列数据存储市场已经变得非常有趣,并为制造业时间序列数据存储市场创造了第三幕。随着越来越多的公司生成、收集和分析传感器数据,有使用历史学家经验的工程师会发现他们的技能更有市场价值。先进的分析解决方案将成为他们的关键资源,他们将从过去的电子表格转向更有吸引力的软件产品。

本文发表于工程师的工业物联网补充的控制工程而且设备工程.参见下面补充的其他文章。


作者简介:Michael Risse是Seeq Corporation的首席营销官兼副总裁,该公司为工程师和分析师开发先进的分析应用程序,加速对工业过程数据的洞察。他曾是大数据平台和应用公司的顾问,在此之前在微软工作了20年。迈克尔毕业于威斯康星大学麦迪逊分校,现居西雅图。