在云端建立安全的废水管理

系统集成商Perceptive Controls通过基于MQTT火花塞的SCADA基础设施，帮助控制和管理19口生产井、3个储罐、11个处理厂和63个污水提升站的废水。

通过乔什·伊斯特本 2022年3月11日

由Opto 22提供

学习目标

审查水/废水网络，SCADA升级的需求。
发现使用发布-订阅MQTT与轮询网络相比的网络优势。
参见防御深度网络安全，SCADA的其他好处，网络升级。

水/废水无线网络升级带来了监控和数据采集(SCADA)系统升级、云功能、网络安全和物理安全性的提高、来自仪器仪表的更多信息以及沃特福德镇公共工程部门(DPW)的其他好处。

沃特福德镇于1834年正式成立，地理位置上位于密歇根州奥克兰县的中心，拥有超过72,000名居民。沃特福德有360英里的主水管和355英里的卫生下水道，水管理是一项艰巨的任务。DPW运营和维护19口生产井、3个储罐、11个处理厂和63个污水提升站。

为了运行这些系统，他们在几年前就投资集成了核心应用程序，包括地理信息系统(GIS)、资产管理系统(AMS)、企业内容管理(ECM)以及监控和数据采集(SCADA)。

这个系统带来了很多价值，但没有什么是永恒的。

该升级了，联网，监控系统

2017年，Waterford DPW的公共工程总监Russell Williams和工程总监Frank Fisher开始了一个升级核心SCADA基础设施的项目。当时，他们使用一个串行轮询程序，通过一个远程遥测单元(rtu)网络从他们的许多站点请求更新，rtu通过许可的无线电频率(RF)发射机通信，他们开始用更新的远程输入/输出(I/O)和通过私有Verizon网络通信的工业蜂窝调制解调器取代这些。

然而，在第二年，他们参加了一个关于边缘控制器的会议，在介绍了MQTT Sparkplug之后，他们对消除一些系统限制的潜力感到兴奋。

由于网络上有90多个控制器，他们使用的轮询机制，加上无线电网络的有限带宽，意味着每个站点的数据每3到5分钟才会更新一次。有时，电梯站会在轮询周期之间短暂运行，造成报告空白，抑制操作员发现问题的能力，直到警报最终通过。对于他们添加到系统中的每一个I/O点，这种延迟都会恶化。

图1:Waterford DPW的传统基础设施依赖于rtu和RF发射机网络，与办公室中的SCADA工作站通信。由Opto 22提供

异常报告发布规则可以缓解网络流量

MQTT(以前是IBM的MQ遥测传输，现在以开源形式提供)似乎可以减少带宽使用并确保重要系统操作的交付。这是因为，与循环轮询相反，MQTT遵循严格的异常报告发布规则。当且仅当监视值发生变化时，现场设备和其他MQTT网络客户端不需要等待中央服务器(在MQTT术语中称为代理)的命令，而是自行发送数据。

“我们有很多电梯站，大部分时间都是坐着的，”威廉姆斯说，“那么，为什么要一直传输数据呢?”

在不依赖于中央轮询程序的情况下，他们还看到了消除系统瓶颈和潜在故障点的可能性。

图2:沃特福德DPW电梯站控制面板的比较，显示旧的RTU布局和Opto 22 groov EPIC控制器和DIGI调制解调器的新布局。由Opto 22提供

将概念验证升级到生产

为了帮助实现他们的愿景，沃特福德DPW聘请了Perceptive Controls，这是一家位于密歇根州的系统集成商，专门从事水/废水、食品和饮料以及石油和天然气行业的工业和过程控制应用。Perceptive的软件工程师凯文·芬克勒(Kevin Finkler)表示，第一次构建MQTT系统需要一个学习曲线。

“这是我第一次做一些不是严格意义上的客户端-服务器的事情，”他说。“主题系统和订阅特定主题的方式非常不同。”

图3:沃特福德DPW的现代化基础设施通过Verizon 4G LTE蜂窝网络将数据从Opto 22 groov EPIC控制器发布到云托管的Ignition SCADA和MQTT代理。由Opto 22提供

发布-订阅与投票网络的五个不同之处

MQTT的发布-订阅通信模型在以下几个关键方面与传统工业协议明显不同:

现场设备连接来自设备，而不是代理。
每个字段设备只连接到代理，而不管它的数据需要去哪里。
当使用Sparkplug有效负载时，每个设备在建立到代理的连接时发布(发送)其可用数据项的列表，称为主题。
其他MQTT客户端也可以连接到代理，查看可用的主题，然后在由现场设备发布时订阅(请求)这些主题的更新。
当现场设备发布更新时，代理将该更新转发给所有订阅的客户端。

沃特福德面临的第一个挑战是将这种新的通信模型集成到现有的SCADA系统中，但这被证明是不可能的。他们的系统缺乏使用MQTT协议的能力，因此他们尝试了一些较新的系统，并选择了一个提供非常紧密的MQTT集成的系统，包括作为MQTT代理本身的能力。

尽管一开始理解MQTT通信模型需要一些工作，但一旦Finkler有了正确的工具，建立通信就很简单了。

芬克勒说:“这是一种神奇的自动发生。“基本上，您需要定义一些参数来设置代理。每个边缘控制器都非常简单。你只要把它指向经纪人，它就会开始发送标签。”

Fisher说:“我很高兴双方都接受了MQTT。“这让连接变得无缝。”

图4:沃特福德的一个新的电梯站控制屏幕。车站安全面板显示在中央左侧。由Opto 22提供

构建纵深防御网络安全

当Fisher寻找构建Waterford新的SCADA基础设施的组件时，他尝试在Amazon Web Services (AWS)上托管MQTT代理。由于蜂窝网络已经在建设中，这似乎是利用云计算提高容错性和可伸缩性的好机会。

在成功测试了这个概念后，Fisher决定直接在AWS上部署SCADA系统，他和Finkler开始构建机制来确保新的基础设施的安全。

首先，Fisher在AWS上配置防火墙，只接受来自他的边缘控制器和Waterford和Perceptive办公室的特定SCADA客户端的流量。小区调制解调器上的防火墙也配置为只接受受信任的ip。

Fisher随后在每个边缘控制器上安装了客户端SSL证书，以便SCADA可以对连接进行身份验证和加密，防止可能暴露数据或允许未经授权的控制的中间人攻击。

每个授权用户都需要创建强密码来访问系统中的任何边缘控制器或SCADA客户端。此外，在整个系统中跟踪和报告每个用户的登录。

Fisher和Finkler甚至将物理站点安全集成到新的SCADA中。每个电梯站都有一个锁好钥匙的外门，门上的物理开关连接到本地边缘控制器。SCADA监控开关状态，以检测何时有人进入。如果具有特定房间的访问权限的用户登录在特定时间内没有注册，SCADA将产生一个全局警报。

图5:Waterford的新基础设施将数据更新的速度从几分钟提高到不到一秒。由Opto 22提供

有利于SCADA、网络化废水项目

在完成了所有63个污水升降机站和6个清洁水站点的升级后，新的面向边缘的基础设施将现场更新从几分钟周期减少到几秒钟的事件驱动出版物。沃特福德再也不会错过任何一个系统操作或警报通知，操作人员可以在任何地方通过支持手机的平板电脑保持连接。

由于MQTT的异常报告行为，再加上每个边缘控制器中的模拟I/O死区，新的基础设施还减少了带宽消耗，允许Waterford发布比以前更多的数据。他们可以访问通信和控制器诊断(如更新延迟、连接时间戳、消息大小和固件版本)，这在旧系统中是不可能的。

沃特福德基于云的基础设施也提供了更大的灵活性和可靠性。Perceptive可以通过空中执行控制器更新，这减少了旅行时间，使他们能够在COVID-19大流行期间继续进行项目开发。如果连接到承载新SCADA服务器的俄亥俄州数据中心出现问题，Fisher可以在30分钟内在另一个数据中心启动并运行系统。随着时间的推移，他有能力建立完整的服务器冗余。

最近公共工程部办公室的一次网络中断为新系统提供了一次意想不到的测试，该系统仍在继续工作。

“我们只是失去了旧的系统，”费舍尔说。“当然，我们的内部(客户)无法联系到我们，但我们的(苹果)ipad可以通过Verizon连接……我也能和他们取得联系。”在这种情况下，旧系统无法发出警报，因为它依赖于本地连接。新系统甚至没有注意到或关心，因为它没有在本地运行任何东西。”

图6:Waterford DPW的控制屏幕提供了操作的概述。由Opto 22提供