核心结论:TELS 将动力系统的时间反演对称性(T-symmetry)引入隐空间逆动力学建模,把离线强化学习中的“状态拼接”迁移到更紧凑、更可泛化的隐空间中完成;在小样本 D4RL 任务与真实工业控制测试环境中,同时展现出更强的样本效率、分布外泛化能力与安全约束保持能力。

问题背景:离线强化学习的“小样本困境”

离线强化学习的价值在于:不依赖高保真仿真器,也不要求智能体在真实环境中反复试错,而是直接利用历史数据学习策略。这对工业控制、机器人、医疗等场景尤其重要,因为这些场景往往数据采集成本高、在线探索风险大、约束条件严格。

但传统离线强化学习算法通常依赖大量覆盖较全的数据。一旦数据量不足,模型就更容易在分布外区域产生价值高估;为了稳定训练,许多方法又会引入动作层面的保守约束,进一步削弱策略对未见过状态的泛化能力。结果是:在真实工业场景最常见的“小数据、窄覆盖、强约束”条件下,很多离线 RL 方法难以学到可用策略。

TELS 的切入点很明确:与其在原始动作空间上继续加保守约束,不如先学习一个由基本动力学对称性约束的隐空间,再在这个隐空间里完成状态拼接和策略优化。


核心方法:把时间反演对称性写进隐空间

TELS 的全称是 Offline RL via T-symmetry Enforced Latent State-Stitching。它的关键不是单一模块,而是一套围绕“隐空间表征—状态拼接—动作还原”展开的训练框架。

TS-IDM:用逆动力学学习可泛化表征

TELS 首先构建 T-symmetry enforced inverse dynamics model(TS-IDM)。从输入输出看,它像逆动力学模型:给定当前状态和下一状态,推断中间动作;但在内部,它同时学习状态编码器、状态解码器、隐空间逆动力学模块、动作解码器,以及一对隐空间 ODE 正向/逆向动力学预测器。

fig-000.png
  • 状态编码与解码:把原始状态映射到紧凑隐空间,同时保证隐表征还能还原原始状态,避免过度失真。
  • 隐空间逆动力学:通过状态转移反推动作,让隐空间编码隐含环境动力学信息。
  • 正向/逆向 ODE 动力学:用一对方向相反的隐空间动力学模型刻画系统随时间正反两个方向的演化。
  • T-symmetry 一致性约束:要求正向动力学与逆向动力学在隐空间满足时间反演对称关系,过滤不符合基本动力学规律的表征。

隐空间状态拼接:绕开动作级保守约束

在学到的隐空间中,TELS 学习状态价值函数,并训练一个 guide-policy 来输出“奖励最大化”的下一隐状态。由于策略优化发生在状态/隐状态层面,而不是直接约束动作是否接近数据集中的行为动作,TELS 能绕开许多离线 RL 方法中过强的动作级行为正则化。

同时,TELS 将 TS-IDM 的 T-symmetry 一致性损失作为 guide-policy 的额外正则项:如果某个隐状态转移不符合基本动力学对称性,就更可能是错误泛化,应在优化中被抑制。

动作还原:从最优下一隐状态回到可执行动作

guide-policy 给出优化的下一隐状态后,TELS 再把它作为目标状态输入 TS-IDM 的隐空间逆动力学模块,推断并解码出最终动作。这样,策略学习充分利用了隐空间泛化能力,而执行端仍然落在真实动作空间。


极小样本性能测试

论文在缩减版 D4RL 基准上评估 TELS,训练数据规模覆盖 5k–100k 样本,约相当于原始数据量的 0.5%–10%。这类任务对离线 RL 很苛刻:数据只稀疏覆盖状态-动作空间,算法必须具备足够强的 OOD 泛化能力,才可能把零散轨迹拼接成高回报策略。

fig-002.png
任务数据量最强基线基线分数TELS亮点
Hopper-me10k(0.5%)TSRL50.9 ± 8.6100.9 ± 6.8 ↑接近归一化满分,约为最强基线 2 倍
Walker2d-me10k(0.5%)TSRL46.4 ± 17.487.4 ± 13.3 ↑在极低数据量下显著提升稳定性与上限
Hopper-m10k(1%)TSRL62.0 ± 3.777.3 ± 10.7 ↑相对成熟小样本方法仍继续拉开差距
Walker2d-mr10k(3.3%)TSRL26.0 ± 11.354.8 ± 6.0 ↑中低质量数据下收益更明显
Antmaze-u10k(1%)TSRL76.1 ± 15.688.7 ± 7.7 ↑迷宫导航任务中更稳定地到达目标
Antmaze-m-p100k(10%)IDQL9.4 ± 14.762.9 ± 17.8 ↑多数基线接近失效,TELS 仍能拼接长程路径
Antmaze-l-p100k(10%)IDQL9.7 ± 8.547.3 ± 13.1 ↑大地图稀疏数据下仍保持有效泛化
Door-human5k(原始小数据)IDQL10.5 ± 1.511.8 ± 1.6 ↑真实人类演示小数据上也有小幅领先

整体看,TELS 在小样本任务上呈“全面领先或接近最优”的状态;个别任务如 Pen-human 上,TELS 77.4 ± 17.2 与 TSRL 80.1 ± 18.1 接近,未拉开显著差距。更关键的差异出现在 Antmaze-medium/large 这类长程、稀疏、强泛化任务中:多数基线接近 0 分,而 TELS 仍能学到可到达目标的策略。


强泛化能力实验验证

这是论文里最能体现 TELS 技术价值的一组实验:不是简单减少数据量,而是主动删掉最优轨迹附近的关键区域,迫使算法在“看起来像 OOD”的区域里做合理状态拼接。

fig-003.png
  • 实验设置:基于 100k Antmaze-m-d 数据,沿起点到终点的关键路径随机删除 5 个关键区域的数据,并设置不同删除比例。
  • 对比结果:IQL 只有在删除比例为 0% 时才有部分成功;POR 在所有删除设定下都未能稳定到达目标。
  • TELS 表现:即使在 70% 甚至 100% 删除率下,TELS 仍能利用删除区域边界残留的稀疏样本,拼接出到达目标的最优策略。
  • 技术含义:T-symmetry 约束让隐空间更像“动力学规律空间”,而不是单纯记忆数据分布,因此面对缺失区域时仍能进行符合物理规律的外推。

工业场景控制验证

研究进一步在真实数据中心冷却控制测试环境中验证 TELS。测试平台包含 22 台服务器与空调冷却单元,训练使用 61 天采集的 43k 真实运行样本,状态-动作特征维度为 105。目标是在不发生热安全违规的前提下降低 ACLF(空调能耗 / 服务器能耗,越低越好)。

指标CQLIQLTSRLTELS
服务器能耗41.44 kWh39.80 kWh40.30 kWh40.61 kWh
空调能耗4.16 kWh16.27 kWh10.95 kWh8.19 kWh ↓
ACLF10.3%40.89%27.16%20.17% ↓
热安全违规率40.99%0.00%0.00%0.00%

在相近服务器能耗水平下,TELS 在“零热安全违规”的约束内取得最低 ACLF;相比之下,CQL 虽然空调能耗更低,但以 40.99% 的热安全违规率为代价,说明它不是可用的工业控制策略。


消融实验:T-symmetry 是性能跃迁的核心来源

论文通过逐项拆解 TS-IDM 验证各模块贡献。结果显示,仅做自编码式逆动力学无法提供可用表征;加入正反向隐空间动力学有温和提升;进一步约束解码器 ODE 属性后明显改善;最终加入 T-symmetry 一致性损失后,性能出现最大幅度跃迁。

TS-IDM 变体Hopper-meHalfcheetah-meWalker2d-me
仅编码/解码 + 隐空间逆动力学17.2 ± 7.029.7 ± 3.624.5 ± 10.1
加入正向 / 逆向隐空间动力学35.5 ± 7.331.3 ± 1.133.6 ± 9.2
再加入解码器 ODE 属性约束61.4 ± 23.731.2 ± 1.258.5 ± 18.1
完整 TS-IDM(加入 T-symmetry 一致性)100.9 ± 6.8 ↑40.7 ± 1.2 ↑87.4 ± 13.3 ↑
fig-005.png

结语:让离线强化学习在“小数据工业系统”里可用

这篇论文的核心贡献,是把离线强化学习从“依赖大量覆盖数据”推进到“在有限数据下仍能可靠泛化”的方向。TELS 通过 TS-IDM 学习受时间反演对称性约束的隐空间,把策略学习中的关键步骤——价值估计、下一状态优化、动作还原——都组织在这个更符合动力学规律的空间里完成。

因此,TELS 的亮点不只是某个基准分数更高,而是同时证明了三件事:小样本 D4RL 上能稳定领先,Antmaze 关键路径被删除时仍能完成强 OOD 状态拼接,真实工业控制环境中能在零热安全违规下实现更优能效。这正好对应 Zenfex 研究页想表达的主线:面向物理世界的可靠决策。

论文作者:Peng Cheng, Zhihao Wu, Jianxiong Li, Ziteng He, Haoran Xu, Wei Sun, Youfang Lin, Yunxin Liu, Xianyuan Zhan(ICLR 2026)