微网作为能源互联网的重要组成部分，对于风、光等新能源的就地消纳具有重要意义。但分布式风光出力的间歇性、波动性及负荷侧用电需求的随机性给微网的优化调度带来巨大挑战。如何应对微网中源荷双侧不确定性、柔性负荷和电力电子设备的动态特性以及不同能源设备之间的相互配合，成为微网能量优化管理的关键所在。目前人工智能技术在电力系统领域应用广泛，成为广大学者的研究重点，本文从单个微网和微网群两个角度综述了深度强化学习这一人工智能算法在微网优化运行中的应用。

（1）从目前研究较多的单个微网和微网群两个层面分析微网的优化运行现状。

（2）从微网的源侧、储能侧和负荷侧以及微网群多主体博弈等方面对深度强化学习的应用进行综述，并对典型微网的优化调度进行研究。

（3）分析了深度强化学习在微网电压频率控制方面的应用，能够有效的应对系统非线性问题。

本文从深度强化学习原理、深度强化学习在单个微网以及微网群优化运行中的应用进行了综述与分析，最后对应用中所面临的算法可解释性、奖励函数设置、用户隐私性等方面进行了展望。

近年来，深度学习与强化学习广泛结合形成了一个研究热点领域—深度强化学习。由于深度学习强大的感知能力，适用于处理高维、复杂的环境特征，结合强化学习适用于进行策略学习的能力，深度强化学习同时具备复杂环境感知与决策能力。

⬇ 表1 常见深度强化学习算法特性描述

微网优化调度问题是一个具有多目标、多维变量、多约束条件的非凸非线性问题，优化目标包括经济性、可靠性以及环保性，约束条件包括电力系统约束、天然气系统约束以及热能系统约束等。

⬇ 表2 基于深度强化学习的微网优化调度场景综述

微网中集成了各种分布式发电机，其中分布式新能源占比较大，带来了频率失稳的风险，且微网中存在的不确定性、逆变器等电力电子装置的非线性以及复杂性，导致无法通过精确的模型进行刻画，因此传统的基于模型的方法可能无法保证控制的性能。通过利用基于无模型强化学习算法，能够在自适应微网不确定性因素和应对非线性的基础上，对微网中出现扰动和故障时的电压和频率进行控制，保持电压和频率的稳定性。

综上所述，在构建新型电力系统过程中，微网作为终端网络状态，将发挥终端用能交互与自治协调的重要作用。未来微网的组成将是多种能源子系统相互耦合、新能源占比高或者完全由新能源进行电能供应的小型配电系统，大量储电、储氢、储热、储冷等能源转化装置需要协调配合，同时逆变器等电力电子设备、新兴负荷接入，增加了微网的非线性、不确定性和复杂性，难以建立精确的系统模型。深度强化学习作为一种解决序贯决策问题的有效方式，因其通过与环境交互来进行学习，可以在没有先验知识和精确模型条件下寻找最优策略，同时深度强化学习中的深度神经网络也可以解决微网优化控制面临的变量维数高的问题。

王继业教高团队长期从事能互联网、能源电力数字化、电力信息通信等领域的科研与产业实践。近年来，主持国家重点研发计划项目，承担国家级科技项目及工程示范等科研攻关项目8项，获科技进步奖项多项，发表论文60余篇，制定国行团标11项。

陈    盛

王新迎