人工智能控制系统的进化

几十年来，控制系统一直在不断发展，人工智能(AI)技术正在帮助推进一些控制系统的下一代。

比例 - 积分 - 微分（PID）控制器可以被解释为能力分层：朝向信号比例项分，在上设定点和微分项的积分项舍可以最大限度地减少过冲。

虽然控制生态系统可能呈现相互关联技术的复杂网，但也可以通过将其视为家谱的不断发展的分支来简化它。每个控制系统技术提供其自身的特性，无法在现有技术中提供。例如，前馈通过预测控制器输出来改善PID控制，然后使用预测从噪声发生中分开干扰误差。模型预测控制（MPC）通过将来的控制动作结果的分层预测添加了进一步的能力，并控制多个相关输入和输出。控制策略的最新演变是通过AI技术来开发工业管制。该领域的最新进步之一是应用增强基于学习的控件，如图1所示。

基于AI的控制器的三种特征

基于人工智能的控制器(即基于深度强化学习或基于drl的控制器)提供了独特且吸引人的特性，如:

1. 学习:基于DRL的控制器通过有条不紊地和不断练习来学习 - 我们所知道的机器教学。因此，这些控制器可以发现专家系统中不容易捕获的细微差别和例外，并且在使用固定增益控制器时可能难以控制。DRL发动机可以通过模拟器接触到各种过程状态。在现实世界中，许多这些国家永远不会遇到，因为AI发动机（大脑）可能会尝试操作植物太多或超越物理设施的操作限制。在这种情况下，这些游览（可能导致流程之旅）是大脑的经验，了解避免的行为。当这通常足够完成时，大脑会学会不做什么。此外，DRL引擎可以立即从许多模拟中学习。它可以从数百种仿真中学习而不是从一个植物喂养大脑数据，而是比正常实时所看到的速度快，而是提供有利于最佳学习的培训经验。
2. 迟来的喜悦：基于DRL控制器可以学会识别在短期内，这使得在长期收益的最优化次优的行为。根据弗洛伊德，甚至在公元前300亚里士多德回来了，人类知道这种行为称为“延迟满足”。当AI行为这种方式，可以推过去棘手的局部极小更优化的解决方案。
3. 非传统输入数据：基于DRL的控制器管理摄入量，能够评估自动化系统不能的传感器信息。作为示例，基于AI的控制器可以考虑有关产品质量或设备状态的可视信息。在控制行动时，它还考虑了分类机器警报和警告。基于AI的控制器甚至可以使用声音信号和振动传感器输入来确定如何进行过程决策，类似于声音人类运营商受到影响。处理视觉信息的能力，例如耀斑的大小，区分和揭示基于DRL的控制器的能力。

启用基于DRL的控制系统

四个步骤是参与交付基于DRL-控制到过程设施：

1. 准备大脑的伴侣仿真模型
2. 大脑的设计和训练
3. 训练有素的大脑评估
4. 部署。

同伴仿真模型

支持基于DRL的控制器需要模拟或“数字双胞胎”环境来练习和学习决策的情况。这种方法的优点是大脑可以学习被认为是“好的”以及系统的“坏”，以实现陈述的目标。鉴于真实环境有变量 - 远远超过通常代表的东西 - 在流程模拟模型和培训大脑在国家运行空间中所需的模拟量，减少了维持物理基本原则的秩序模型训练大脑的方法。这些型号提供了一种方法来开发复杂的过程模拟，并且在运行时更快，这两者都允许更有效的方式来发展大脑。基于标签的工艺模拟器是一种简单的设计，易用性和适应各种模拟需求的能力，适用于培训基于DRL的大脑所需的模拟模型的要求。

在这个现代的年龄，当灯光和开关面板被降级到分级地板的后角时，基于标签的模拟器在制作自动化工程师的工作较少繁琐的时变得更加重要。在进入该领域之前，使用模拟来测试工厂验收测试（FAT）的系统是流程仿真软件的“面包和黄油”，几十年来 - 在现代灵孔的出现之前，就像“数字双胞胎”。相同的模拟器可用于培训AI发动机以有效地控制工业过程。为实现这一目标，模拟器需要能够在多个CPU上以分布式方式运行，并且可能在“云”中。需要在并行执行中锻炼，培训或评估潜在的新AI算法需要多次模拟实例。一旦实现了这一点，已经使用基于标签的模拟器开发的操作员培训师系统可用于培训基于DRL的AI发动机。

大脑的设计和训练

设计基于过程的大脑有针对性地加以控制是在开发一个成功的基于DRL-，最优控制解决方案是至关重要的。脑可以由不仅AI的概念，但也可以包括启发式，编程逻辑，和公知的规则。当从主题专家（SME）的信息被正确收集，能够实现使用该信息的大脑是关键，一个项目的成功。

使用主题专业知识构建洞察力培训方案对于开发强大的基于AI的控制系统至关重要。在DRL引擎可以用模型培训之前，人类必须决定模型的内容将被暴露为大脑的过程状态。过程状态通常是可用于自动化系统的测量值的集合。水平，温度，设定值等是典型的例子。曝光太少的过程状态将不允许大脑从足够的数据中学习。通过太大的状态，内部封面的数量可以迅速增长。这可以防止大脑尽快学习，因为它的一部分浪费以丢弃难以弄清楚过程状态的部分不太重要。与从大脑流到过程的数据发生类似的情况。人类必须决定哪些行动允许大脑操纵，这决定了控制过程中最理想状态所需的努力。通常，关于在大脑可用的动作中包含该方法的决定更容易确定，因为只有这么多的控​​制阀或其他可用于控制过程的机制。

关于过程状态和动作空间大小的决定归沸到哪些状态和动作结构中的仿真标签应该包括在内。图3显示了基于标签的模拟器的示例，其中定义了状态和操作。从列表中选择标签并单击按钮可以将它们添加到大脑使用的状态或动作结构中。

定义状态和行动空间

暗示是在训练DRL剂的用途来表达在一个紧凑的训练模式，表现力和易于理解的语法开发的语言。基于标签的模拟器可以被编程为自动生成定义为大脑的状态和动作结构暗示代码（图4中示出）。

一旦定义了状态和动作结构，就需要向大脑定义训练的目标。训练大脑的典型要求是构念，例如:目标、惩罚、课程计划和情景。在这个例子中，用户需要创建大约40行代码，才能使用模拟来训练人工智能大脑。图5中的Inkling代码描述了新生的人工智能大脑的两件重要事情——做什么和如何做。特别地，本规范的目的是通过使用上游流量控制和下游阻断阀来控制储罐内的液位。“目标”陈述描述了大脑行动的预期结果，在这种情况下，实际水平应该接近设定值水平。

选择与目标相匹配的适当课程和场景是大脑设计师和SME之间适当合作的结果，而不是溢出水箱。“教训”和“情景”语句告诉大脑如何学习目标。在这种情况下，场景指导大脑以随机的，但有限制的水平和设置开始每个训练阶段。

创建代码来创建一个人工智能的大脑

大脑的有效的培训，需要加以探讨操作的一个非常大的状态空间。云技术允许将集装箱化和大规模并行环境中运行模拟器。然而，渴望成功的结果时，测试思路，训练大脑需要通过仿真本地首先运行“铁去”的错误。一旦用户满意，模拟器可以集装箱化，并在云中运行。典型的脑培训课程可以训练迭代1,000,000 300,000的任何地方。图6显示了大脑的一个简单的演示坦克训练进度。云资源可以管理培训要求的百万次迭代一半不到一小时的模拟器。

图7显示了大脑训练的进度与迭代次数的函数关系。“目标满意度”参数是训练片断的移动平均值，导致目标被满足的总数。通常情况下，一个人需要达到100%的目标满意值，才能实现大脑对所有练习场景的有效控制。

评估训练的大脑

培训大脑后，需要测试以评估其可行性。在此阶段，大脑对模型进行判断以判断其行为。但是，这次方案应该在模拟中变化 - 在大脑上对大脑进行测试，在原始的测试期间可能没有遇到的情况。

例如，如果一个值是由三个阀门组合控制的，如果一个阀门现在不可用，会发生什么?如果其中一个瓣膜卡住或无法维修，大脑能做些合理的事情吗?这是为操作员训练器系统或控制系统测试开发的模拟器模型可以适应的地方。就像控制系统测试一样，AI控制器需要经过严格的正式测试程序。带有自动化测试计划的模拟器可以显著减少评估“训练有素的”大脑所需的努力。

部署大脑

一旦大脑通过了评估测试，就可以部署。虽然有许多部署方式，但使用用于测试控制系统的基于标签的模拟器的独特优势是它们可以用作中间件，以将大脑与控制系统集成。对于各种控制系统的大量可用驱动程序，集成到客户特定的网站比使用自定义解决方案更容易。此外，从软件维护透视图，始终欣赏最小化自定义部署的数量。

人工智能的用例

基于drl的大脑已经被设计用于超过100个用例，并且已经被部署到各种各样的行业和垂直市场。

提出了几种用例和相应的唯一，挑战或应用，以说明基于DRL的大脑的力量。

建筑HVAC能源优化

优化建筑能源使用，同时确保CO₂下面法律限制级别状态，需要工程师建立冷水机组的设定值，虽然保持室内温度窄的范围内最大限度地降低成本。复杂的电平被加到此由于在日常范围改变通过一天的环境温度，以及季节性变化。基于DRL-控制考虑到实时气象数据（诸如环境温度和湿度）和使用机器在与过去的性能和环境条件的关系的模型结合学习提供更加优化的解决方案。

对许多人类可能假设的违反思考，冷却塔和冷却器的AI推荐设定值增加，同时也增加了泵输送水的速度，以实现能量减少的整体目标，同时保持所需的温度。由于世界转向更可持续的解决方案，基于DRL的解决方案可以提供更优化的能源效率，以满足公司的可持续发展目标。

食品生产质量控制

最大限度地提高产品质量，减少不合格产品是很多厂商的共同目标。在这种情况下，需要操作人员的专业知识，在适当的条件下运行设备。

基于AI的解决方案和集成的在线视频分析以及传统的过程输入，使得能够在尊重处理设备的限制的同时同时控制多个输出的大脑。结果是对过程偏差和较少的偏离产品产品的响应更快。

化学处理控制

聚合物生产需要紧密控制反应器上的设定值。参与聚合物生产中涉及的典型挑战包括瞬态控制，特别是在从一个等级的聚合物的变化过程中，当脱离规格生产的机会很高时。这里的挑战还可以最佳地控制并提供一致的结果。控制变量的数量很大，并且在控制过程中使用多次人类经验，因为这是一种学习的技能，结果的变化导致了涉及的操作员经验和主观性的可变性。部署培训的大脑，探讨了与瞬态操作相关的所有状态空间，并包含最有经验丰富，最佳性能的运营商的智慧允许对操作员提供更快，更一致的操作建议，并最大限度地降低规格产品的数量。

上面的用例显示了一些应用程序，但AI技术使用可以扩展到可以使用模拟建模的任何复杂问题。应用技术可以应用的问题类型如图8所示。一些其他行业问题落入所列出的类别：

• 油气上游气举优化
• 控制油气上游平台设备的间歇生产干扰
• 炼油厂/化工植物性能优化和控制
• 化学植物中的启动序列优化和控制启动序列
• 离散制造业的物流和供应链优化
• 警报合理化。

AI用于下一代高级控制

基于AI，机器学习控制系统显示用作先进的控制的下一个进化，特别是对于具有大状态空间复杂的系统，部分在问候变量之间测量的状态和非线性相关性。然而，需要技术的几个关键部分实现这一诺言。

除了“数字双胞胎”的炒作之外，学习代理必须可以访问定向准确的模拟模型，以练习和部署学习代理以在工厂中做出决策的方法。用于高级过程控件的建筑物和AI学习代理的端到端进程是：培训模拟中的代理，教导代理跨多种优化目标和方案，评估代理，最后将代理部署在边缘上作为生产控制系统。

Kence安德森是主要的计划经理，自治系统，与微软。温斯顿•詹金斯是应用智能与技术总监木， 和Prabu Parthasarathy博士是应用智能与副总裁木是一家系统集成商，也是CFE Media and Technology内容合作伙伴。由内容经理马克·t·霍斯克编辑，控制工程那CFE媒体和技术那mhoske@cfemedia.com。

更多的答案

关键词：人工智能，控制系统，VP链路，盆景，仿真，加固学习

考虑一下这一点

你会为你的下一个控制系统提供它需要的工具来学习如何更好地服务于它的应用程序?