强化学习能不能替代 MPC
强化学习在仿真和研究中可以取得很好的控制效果，但真实建筑不是可以无限试错的游戏环境。设备磨损、舒适投诉、医疗环境和安全联锁都要求策略在投运前可解释、可限制、可回退。
MPC 与 RL 的差别不在“有没有 AI”
MPC 使用显式模型和约束求未来最优控制，计算过程可以解释。RL 通过与环境交互学习策略，往往不依赖显式模型，但需要大量样本或高质量仿真环境。
因此两者不是简单的先进程度排序。MPC 更强调约束和预测，RL 更强调从数据中学习长期策略。实际项目可以组合使用。
真实建筑的约束
RL 的动作空间必须被限幅，奖励函数不能忽略舒适、设备寿命和峰值功率。训练环境与现场偏差会导致策略在未见过工况下失效。
2025 年针对真实建筑部署的综述指出，现场实施数量远少于研究数量，安全、组织流程和长期维护仍是障碍。仿真中的节能率不能直接作为现场承诺。
适合先做什么
可以先让 RL 在仿真或离线数据中学习建议策略，再由 MPC、规则或值班人员筛选执行。也可以让 RL 调整 MPC 的权重或预测参数，而不是直接控制设备。
对于高压差、洁净度、感染控制和设备保护场景，直接端到端控制的门槛更高。分层后更容易把不可接受动作隔离在现场控制层。
验收要看可重复性
RL 策略需要固定随机种子、模型版本、训练数据范围和动作过滤规则。每次上线改动都应可追溯，并能在异常时切回规则控制。
衡量效果应使用连续多工况数据，而不是挑一个表现最好的实验周。还要记录舒适、压差、设备启停次数和约束违反情况。
文献依据与适用范围
下列文献用于约束本文的技术边界。文章为工程解读，不复制论文全文，也不把论文实验值换算成智枫昊元的项目承诺。
- A Review of Reinforcement Learning Applications to Control of Heating, Ventilation and Air Conditioning SystemsSierla, S.; Ihasalo, H.; Vyatkin, V. · Energies · 2022综述强化学习在 HVAC 控制中的应用、动作空间、奖励设计和落地挑战。
- Reinforcement learning for control and optimization of real buildings: Identifying and addressing implementation hurdlesKannari, L.; Wessberg, N.; Hirvonen, S.; Kantorovitch, J.; Paiho, S. · Journal of Building Engineering · 2025聚焦真实建筑中的强化学习部署障碍，说明仿真成绩不能直接等同于现场可靠性。
- All you need to know about model predictive control for buildingsDrgona, J.; Arroyo, J.; Cupeiro Figueroa, I.; et al. · Annual Reviews in Control · 2020从控制与建筑工程两个视角讨论建筑 MPC 的建模、优化、实施和运行问题。
- ASHRAE Guideline 36-2024 High-Performance Sequences of Operation for HVAC SystemsASHRAE · ASHRAE · 2024面向常见 HVAC 系统的高性能标准控制序列，强调可复用的顺序、联锁和故障处理。
常见问题
强化学习比 MPC 更先进吗？
不能这样排序。它们使用不同方法处理控制问题，适合的任务和验证方式不同，实际系统常采用分层或组合方案。
强化学习可以没有模型吗？
可以免去显式预测模型，但仍需要环境、状态、动作和奖励设计，也需要大量数据或可信仿真。
真实建筑能直接上线 RL 吗？
只能在动作被限制、约束由现场层保护、有回退策略和长期运维能力的条件下逐步试点，不能直接端到端接管所有设备。
本文相关专业问答
本文只用于解释公开文献和工程方法。项目设计、医疗感控、安全联锁和正式节能量结论，应以合同、现场资料、现行标准及有资质机构意见为准。