核心结论:论文提出数据驱动的火电机组燃烧优化系统 DeepThermal(深燧):先按机组"制粉→燃烧→汽水循环"的真实机理构建 LSTM 层次化燃烧过程仿真器,再通过模型式离线强化学习框架 MORE 在安全约束下做受限探索的策略学习。DeepThermal 已在国能南宁、国能廊坊、山西兴能、华电忻州广宇四家大型燃煤电厂真实部署并通过行业专家验收,多个负荷工况下燃烧效率提升 0.31%–0.65%;MORE 在 D4RL 标准基准上也达到或超越 MOPO、BCQ、BEAR、BRAC-v 等主流离线强化学习算法。

问题背景:高维强耦合、不可试错的火电燃烧优化难题

火电至今仍是全球电力供应的支柱:仅中国就有 2000 多座燃煤电厂,贡献了全国 60% 以上的发电量。火电机组燃烧效率每提升一点都有巨大的经济与环境价值——论文测算,一台 600MW 机组的燃烧效率仅提高 0.5%,每年即可节约 4000 多吨煤、减少数百吨 CO₂ 与 NOx 等排放。经过数十年的工程优化,现代火电机组的燃烧效率已达 90%–94%,但想从控制层面再进一步,却异常困难,目前大多数电厂仍依赖半自动控制系统和人工操作员的经验。

困难来自问题的本质属性。火电机组的发电过程包含三个强耦合的主要阶段(如下图所示):制粉阶段——给煤机的原煤经磨煤机磨成细粉后送入燃烧器,给煤量需匹配需求负荷,一次风机(冷、热风机)阀门需调节以保证合适的一次风温;燃烧阶段——煤粉与二次风经燃烧器上 20–48 个喷口(视燃烧器结构而定)注入炉膛,每个喷口的二次风阀门都需精确控制,以在炉膛中心形成大火球、促进充分燃烧,同时保证炉膛负压、污染物排放低于限值等安全与监管要求;汽水循环阶段——炉膛将锅炉中的水汽化为高温高压蒸汽,推动汽轮机发电,蒸汽还需满足多项温度、压力指标,由引风机阀门、冷却水量等控制。整个过程涉及 70–100 个主要连续控制变量以及煤的化学特性,是一个典型的高维、强耦合、非线性优化问题。

火电机组运行机理示意图:给煤机、磨煤机、送风机、锅炉、汽轮机、引风机之间的水、风、蒸汽、煤流与控制回路(论文 Figure 1)
火电机组运行机理:制粉、燃烧、汽水循环三个阶段强耦合,控制回路遍布全流程(论文 Figure 1)。

传统控制方法在这里集体失灵:PID 控制器表达能力有限,无法处理如此高维的联合优化;模型预测控制(MPC)在大规模随机系统上建模复杂度与在线求解成本都难以接受。因此现有的燃烧优化方案大多把机组拆成若干小子系统,各自只优化少量状态与控制变量,难以触及全局最优。深度强化学习虽然具备强大的函数逼近能力,但其既有成果几乎全部局限于在线设定——智能体可以与真实系统或完美仿真器自由交互;而在火电这样的关键生产系统中,一个有问题的控制策略可能带来灾难性后果,训练期的在线试错根本不可行,且系统过于复杂、部分状态无法被传感器完整观测,也不可能构建高保真仿真器。

离线强化学习(Offline RL)提供了一条出路:电厂长期积累了大量传感器运行数据,可以直接从静态历史数据中学习策略、无需环境交互。但离线 RL 自身的核心难题是分布偏移(distributional shift):当学到的策略对数据中从未出现过的 OOD 样本做出反事实查询时,会产生不可纠正的外推误差。既有离线 RL 算法的思路是把策略约束在数据分布附近,这虽然稳妥却过于保守,使策略难以超越本就不优的历史行为策略。如何在"利用模型泛化能力超越历史策略"与"避免 OOD 外推误差"之间取得平衡,正是这篇论文要解决的核心问题。


核心方法:机理结构仿真器 + 限制性探索的离线强化学习

DeepThermal 把燃烧优化建模为带安全约束的马尔可夫决策过程(CMDP):状态包括煤的化学特性以及燃烧各阶段的温度、压力、风量、水量等传感器读数;动作为影响燃烧过程的全部关键连续控制变量(如阀门、挡板开度);奖励是燃烧效率与 NOx 减排的加权组合(部署系统中权重取 0.8/0.2,效率优先);负荷、炉膛压力、温度达标等一系列安全要求则被建模为成本函数,要求折扣累计成本不超过阈值 l。在此建模之上,系统由两大组件构成。

组件一:按机组机理设计的数据驱动燃烧过程仿真器

DeepThermal 首先从离线数据中学习一个数据驱动的燃烧过程仿真器,作为近似动力学模型预测下一步状态、奖励与成本。精确拟合燃烧过程非常困难:机组是高度复杂、部分可观测的开放系统,炉内某些部位温度压力极高导致部分状态无法被传感器捕捉,环境温度、煤质等外部因素也在持续影响燃烧。为此论文没有使用通用黑盒网络,而是设计了一个内部结构与实际物理过程对齐的定制循环神经网络(RNN):

燃烧过程仿真器的 RNN 单元结构:制粉、燃烧、汽水循环三个 LSTM 子模块按物理因果顺序串联(论文 Figure 2)
燃烧过程仿真器的 RNN 单元结构:输入按制粉、燃烧、汽水循环三个阶段分块,LSTM 子模块按物理因果顺序串联传递隐状态(论文 Figure 2)。

如上图所示,输入的状态-动作对被拆分为三块以编码物理与层次依赖:先用制粉阶段的状态、动作连同外部输入(环境温度、煤质)预测下一时刻制粉相关状态;再把制粉阶段的影响(编码在隐状态中)与燃烧阶段的状态、动作结合,预测燃烧阶段下一状态;最后把燃烧阶段的影响与汽水循环阶段的状态、动作结合,预测汽水循环下一状态。LSTM 层负责捕捉时间相关性。这种设计把领域知识直接嵌入网络结构,有助于缓解部分可观测系统中信息缺失的影响,显著提升模型精度与鲁棒性。训练上还叠加了两项强化技术:seq2seq 结构 + scheduled sampling 提升长期预测精度;噪声数据增强——训练时对状态输入施加逐渐衰减的高斯噪声,提高鲁棒性、防止过拟合。

论文将仿真器与时序预测常用基线做了对比,在 RMSE 与 MAE 两项指标上均显著领先,验证了机理结构设计的价值:

模型RMSEMAE
ARIMA3.05×10⁻¹2.66×10⁻¹
GBRT1.97×10⁻¹2.65×10⁻¹
DNN(前馈神经网络)2.05×10⁻²2.73×10⁻²
堆叠 LSTM1.69×10⁻³2.50×10⁻²
DeepThermal 仿真器6.54×10⁻⁴1.55×10⁻³

组件二:MORE——带限制性探索的模型式离线强化学习

仿真器毕竟是从有限离线数据中学到的不完美模型,其预测误差主要来自两处:某些区域数据不足、模型能力或系统复杂度导致拟合不充分。MORE(Model-based Offline RL with Restrictive Exploration)的核心思想是:只在模型"有把握"的地方信任仿真器,并进一步区分仿真样本是否落在数据分布内,整体框架如下图所示。

MORE 框架图:真实数据预训练奖励/成本 critic 与 actor,仿真器经限制性探索产出模拟数据,与真实数据混合训练(论文 Figure 3)
MORE 框架:真实数据预训练 actor 与双奖励 critic、成本 critic;仿真器 rollout 经限制性探索筛选后与真实数据混合训练(论文 Figure 3)。

在安全策略优化层面,MORE 同时学习两类 Q 函数:奖励价值 Qr 与成本价值 Qc。奖励侧采用 Clipped Double-Q 技术(取两个 Qr 的最小值)缓解 off-policy 训练中常见的高估问题——这一技巧刻意不用于 Qc,以免低估成本。安全约束则通过拉格朗日松弛转为无约束的极小极大问题,用原对偶迭代求解:原始阶段固定乘子 λ 做策略梯度更新,对偶阶段固定策略、按对偶梯度上升更新 λ,从而把策略优化从单纯"最大化奖励"变为"在满足负荷、压力、温度等约束的前提下寻找更优控制"。

在限制性探索(restrictive exploration)层面,MORE 从模型与数据两个视角量化不完美仿真器带来的风险:

  • 基于模型敏感度的过滤(βu):对一个输入状态-动作对注入 K 组独立同分布高斯噪声,以输出扰动的方差作为模型在该点的敏感度指标——敏感度高意味着模型在此处不确定、预测不鲁棒。只有敏感度低于阈值 lu(取离线数据集上预评估敏感度的 βu 分位数)的仿真样本才会被保留,其余直接过滤。
  • 基于数据密度的过滤(βp):用一个状态-动作变分自编码器(VAE)拟合离线数据分布,以其 ELBO 近似数据密度。通过敏感度筛选的样本再按密度阈值 lp(βp 分位数)划分为正样本(高密度、分布内)与负样本(低密度、潜在 OOD):正样本原样保留以充分利用模型的泛化能力;负样本不直接丢弃,而是按密度差距施加软奖励惩罚 r̂ ← r̂ / (1 + [κ(lp − pm)]⁺),引导策略更新远离高风险区域。

最后是混合训练(hybrid training):actor、奖励 critic 与成本 critic 先在真实数据上预训练以获得良好初始参数(实践中可提升稳定性、加快收敛);正式训练时,每个批次把真实数据、正样本与施加惩罚的负样本组装进一个局部缓冲区共同训练。这一机制在"过度保守"与"盲目外推"之间建立了中间地带:既保留了模型帮助策略超越历史操作策略的能力,又抑制了不可靠区域带来的错误利用。


D4RL 基准实验:medium 数据集全面领先,mixed 数据集与 MOPO 相当

论文在标准离线 RL 基准 D4RL 上评估 MORE,选取与真实应用更相关的三个运动任务(hopper、halfcheetah、walker2d)和两种数据类型:medium(由部分训练的 SAC 策略 rollout 100 万步生成)与 mixed(训练 SAC 至预定性能阈值后取其整个回放缓冲区)。对比对象包括约束策略贴近行为策略的 model-free 算法 BCQ、BEAR、BRAC-v,以及 model-based 算法 MOPO(MBPO 加奖励惩罚)。由于 D4RL 任务没有安全约束,这些实验中移除了 MORE 的成本 critic。结果如下表(5 个随机种子平均):

数据集BCBEARBRAC-vBCQMBPOMOPOMORE(本文)
halfcheetah-medium4202.74513.05369.54767.93234.44972.35970
hopper-medium924.11674.51031.41752.4139.9891.51264
walker2d-medium302.62717.03733.42441.3582.8817.03649
halfcheetah-mixed4488.24215.15419.24463.95593.06313.05790
hopper-mixed364.4331.99.7688.71600.82176.82100
walker2d-mixed518.51161.436.21057.81019.11790.71947

整体看,MORE 在多数任务上达到或超越全部 model-free 与 model-based 基线:在 halfcheetah-medium 上以 5970 取得全表最优,大幅超过最强的 BRAC-v(5369.5);MOPO 在 mixed 数据集上大幅领先 model-free 方法,但在动作多样性不足的 medium 数据集上表现不佳,而 MORE 在 mixed 上与 MOPO 相当、在 medium 上则大幅超越 MOPO(如 halfcheetah-medium 5970 对 4972.3,walker2d-medium 3649 对 817.0)。论文分析认为,正是"按模型敏感度有条件地移除不可靠仿真样本 + 对 OOD 样本施加基于数据密度的奖励惩罚"这两项设计,为策略学习提供了更可靠、更有信息量的模拟数据,从而在不完美模型下依然取得好结果——这也直接回应了 BCQ、BEAR、BRAC-v 等过度保守方法难以超越次优行为策略的问题。


工业部署实验:四家大型燃煤电厂的真实机组验证

DeepThermal 已在中国四家大型燃煤电厂成功部署——国能南宁、国能廊坊、山西兴能与华电忻州广宇电站,并在全部四家电厂开展了真实机组实验,系统在保障安全运行的同时均取得良好效果,通过了行业专家的项目验收。部署时使用各机组 1–2 年的历史运行数据(更老的数据因设备老化、工况漂移不采用);原始系统涉及 800 多个传感器、约 100 个待优化控制变量,经特征工程(合并监测相似状态的传感器值、合并操作模式相同的控制变量)压缩为约 100–170 维状态与 30–50 维动作,再重采样为 20–30 秒等间隔数据,通常得到 100–200 万条训练记录。在线运行时,策略根据实时传感器数据流给出优化动作建议,由运行人员在集控室参考执行;系统每隔数月可用新产生的运行数据对策略做再训练与微调,适应机组状态的缓慢变化。

国能南宁电站:三种负荷工况效率全面提升

论文报告了南宁电站在 270MW、290MW、310MW 三种负荷设定下的前后对比实验(每次持续 1–1.5 小时,运行人员按 RL 策略给出的推荐动作调整机组控制):与初始值相比,约 60 分钟内燃烧效率最大提升分别为 0.52%、0.31%、0.48%;脱硝反应器前的平均 NOx 浓度保持相对稳定,而反映燃烧充分程度的三项关键指标——飞灰含碳量、烟气含氧量、排烟温度——在全部实验中均有一定程度下降,为燃烧改善提供了清晰证据。

国能南宁电站 270/290/310MW 三种负荷实验曲线:燃烧效率上行,飞灰含碳量、烟气含氧量与排烟温度下行(论文 Figure 4)
国能南宁电站 270/290/310MW 三种负荷实验:燃烧效率上行,飞灰含碳量、烟气含氧量与排烟温度均有下降(论文 Figure 4)。

国能廊坊电站:效率、NOx、排烟温度同步改善

在廊坊电站,DeepThermal 使用机组 700 多个传感器的数据、优化 70 多个控制变量,并在 2020 年 7 月完成了三组负荷实验:

  • 250MW 工况(7 月 17 日):约 60 分钟内燃烧效率最大提升 0.56%,排烟温度最大下降 9.8°C,NOx 与烟气含氧量保持稳定;
  • 200MW 工况(7 月 18 日):燃烧效率从 93.34% 升至 93.99%(最大提升 0.65%);平均 NOx 浓度从 128.46 降至 118.61 mg/Nm³(最大下降约 10 mg/Nm³);排烟温度从 136.7°C 降至 128.1°C;
  • 300MW 工况(7 月 22 日):燃烧效率从 93% 升至 93.51%(最大提升约 0.51%);飞灰含碳量在约 60 分钟内从 0.56% 降至 0.38%。
国能廊坊电站 250/200/300MW 三组负荷实验曲线:燃烧效率上升,NOx、飞灰含碳量与排烟温度改善(论文 Figure 9)
国能廊坊电站 250/200/300MW 三组负荷实验:燃烧效率上升的同时,NOx、飞灰含碳量与排烟温度等指标同步改善(论文 Figure 9)。

三种负荷设定下,DeepThermal 都有效提升了燃烧效率并降低了其余关键指标。对一台本已运行在 90%–94% 高效率区间的机组而言,0.3%–0.65% 的效率增益对应着实实在在的煤耗与排放下降,工程价值明确。


消融实验:探索阈值怎么定,安全约束守不守得住

论文在 halfcheetah 环境上对 MORE 的两个关键阈值做了系统消融,结论与真实工业直觉高度一致——模型可靠时宜宽松,模型不可靠时宜收紧:

  • 模型敏感度阈值 βu:在 mixed 数据集上(数据覆盖广、仿真器能学好并泛化),βu = 70% 优于 βu = 40%——更宽容的过滤鼓励了模型泛化;而在 medium 数据集上(动作多样性差、模型不完美),βu = 70% 反而劣于 βu = 40%,因为过宽的阈值放进了过多有问题的仿真样本。
  • 数据密度阈值 βp:mixed 数据集上较小的 βp = 10% 表现更好,medium 数据集上中等取值 βp = 40% 更佳。这同样说明:动力学模型可靠时,对潜在 OOD 仿真样本更宽容是有益的;模型不完美时,谨慎控制正负样本比例对取得最佳性能至关重要。βp 的取值实际上调节着 MORE 在"激进探索数据分布之外"(小 βp)与"保守规避 OOD 误差"(大 βp)之间的行为。

针对安全约束,论文在 halfcheetah-mixed 上额外构造了带约束的实验:以智能体对各关节施加的折扣累计力矩(每步成本为动作向量的 L2 范数)作为安全成本,在约束上限 l ∈ {30, 40, 50} 下分别测试。结果表明 MORE 对不同的 l 取值都很鲁棒,所有测试中累计成本均被控制在给定约束限值之下——这正是 DeepThermal 能被允许进入真实电厂集控室的前提。


结语:离线强化学习首次走进真实关键控制任务

DeepThermal 的贡献在于展示了一条面向真实复杂工业系统的 AI 控制路径:不依赖训练期在线试错,也不假设存在完美仿真器,而是从电厂积累的历史运行数据出发——用按物理机理构建的层次化仿真器扩展数据,用限制性探索在"充分利用模型泛化能力"与"避免 OOD 错误利用"之间取得平衡,并在拉格朗日框架下显式守住安全约束。按论文作者所述,这是首个在真实世界关键任务控制场景中完成部署的离线强化学习应用,已在四家大型燃煤电厂落地并通过行业专家验收;其核心算法 MORE 在 D4RL 标准基准上同样达到或超越了当时的最优离线 RL 算法。

这项工作对工业 AI 的启示是普适的:把工艺结构与领域知识写进数据驱动模型、在离线强化学习中显式处理模型不确定性与 OOD 风险、把算法性能推进到真实生产系统的安全部署与持续迭代——这正是让 AI 不只是"预测"工业系统、而是真正参与其安全决策与优化的关键一步。

论文作者:Xianyuan Zhan, Haoran Xu, Yue Zhang, Xiangyu Zhu, Honglei Yin, Yu Zheng(AAAI 2022)