美国能源部联邦能源管理计划（FEMP）的部署后电池储能系统评估方法，以长期运行数据（例如至少 1 年的时间序列）估算性能指标；这是系统性能评估的示例，不是 AI Agent 验收的统一门槛。FEMP 部署后电池储能系统评估方法 对储能电站 AI Agent 验收，本周先锁定只读权限与验收记录，再用历史数据回放、实时影子运行逐项核对建议；验证通过并完成审批前，不开放设备控制指令。
负责能源管理系统（EMS）或运维软件的开发者，可据此规划接入和上线门槛。能源数据团队，可用流程设计回放与影子测试。项目运维负责人，可据此划定复核、回退和停用条件。
第一步：动手前先锁定 Agent 的权限边界
“给建议”“等人确认”和“向设备写入控制指令”是不同权限，验收时应分别记录，不能把成功生成建议当成获得设备控制权限。应以 EMS 接口说明、控制策略文件和项目权限表为依据，明确 Agent 能读取哪些字段、可返回哪些建议，以及哪些动作一律禁用。
| 权限层级 | Agent 可做什么 | 验收时要确认什么 |
|---|---|---|
| 调度建议 | 读取获准的数据并给出建议，不写入控制接口 | 输入字段、建议格式、策略版本和依据均可追溯 |
| 人工确认 | 将建议交由有权限的人员审核 | 审批身份、确认或拒绝记录、建议失效条件均有记录 |
| 设备控制 | 向 EMS 或下游设备发送控制动作 | 有单独授权、动作白名单、审计记录及可演练的停用方式 |
在接入前，开发团队应检查权限配置是否让 Agent 只能读取运行所需的数据；测试账号不得复用现场人员凭据，控制写入路径应与只读数据路径区分。美国能源部的能源系统 OT 安全资料提醒，数据或设定值被擅自修改，可能导致设备在预设安全阈值之外运行；NIST 的 OT 安全指南也强调，运行技术需兼顾可靠性与安全性。能源系统 OT 网络安全资料 NIST OT 安全指南 因此，权限检查不是界面设置，而是上线验收的一部分。
⚠️ 如果项目权限表尚未说明 Agent 是否能够写入控制接口，验收应停留在只读建议阶段；不要用“暂时没人会触发”代替权限隔离。
第二步：整理能重复使用的历史遥测数据
回放的价值取决于输入数据能否还原当时的运行状态。最低限度应对齐时间戳、充放电指令、设备运行状态、荷电状态（SOC）和告警记录，并记录时区、采样周期、字段单位与数据来源。若不同接口的时钟不一致，建议和实际工况就可能错位；若告警或指令记录缺失，团队也很难解释 Agent 为什么在那个时点给出某项建议。
DOE 的电池储能系统评估方法指出，计算相关指标的数据需要包含至少 1 个完整充放电循环以及循环起始和结束时的电池 SOC；报告还描述了数据不完整、调度不规则造成分析错误的情况。这些是该评估方法的适用条件，不是所有 Agent 测试集必须采用的统一门槛，但可用来检查数据集是否足以解释一次运行过程。FEMP 评估方法报告
| 数据项 | 准备时核对的内容 | 缺失或异常时的处理 |
|---|---|---|
| 时间戳 | 时区、精度、重复记录及设备间对时方式 | 保留原始值与修正记录，不静默覆盖 |
| 运行状态与指令 | 充电、放电、待机等状态是否可还原 | 标出状态缺口，避免推断成确定事实 |
| 功率与 SOC | 单位、量程、边界值及来源接口 | 与设备或 EMS 字段定义核对 |
| 告警 | 告警时间、等级、恢复或确认记录 | 保留告警生命周期，不只留摘要 |
| 数据版本 | 导出时间、字段字典、清洗规则和文件校验信息 | 重新导出时生成新版本，保留旧版 |
DOE 的快速运行验证计划（ROVI）要求项目按规定整理数据点、格式和传输信息，并讨论实验室、现场及合成数据的整合。该计划面向储能技术验证，不是 Agent 上线规范；但它说明了一个适用于测试管理的原则：字段和数据版本要明确，团队才能复现分析过程。DOE ROVI 数据要求与模板说明
对于测试数据脱敏，不要把“设备编号换个名字”当作完整保护。应按项目约定删除凭据、账号、精确位置和不需要的网络细节；设备标识可替换为稳定的测试代号，以保留同一设备跨记录关联的能力，映射表则单独限权保存。NIST 的去标识化指南指出，去标识化要结合共享目的与再识别风险评估；电站遥测不一定是个人信息，但其运行规律和设施信息仍可能敏感。NIST SP 800-188 去标识化指南
第三步：在历史回放中逐条核对工况约束
给定固定数据集和 Agent 版本，按时间顺序重放遥测、告警及指令，再将每条建议与设备可用功率、SOC 限制、并网约束和项目既定策略核对。不要只统计“建议被接受的比例”：一条看似合理的建议若依赖缺失数据、忽略告警或与策略文件冲突，就应作为未通过项留下记录。
每条记录至少包含：输入快照或其版本标识、Agent 版本、建议内容及依据、对应工况、触发的限制、人工判定和判定理由。测试集应包含正常运行片段，也要覆盖告警、数据缺失、状态切换和约束收紧等情况；具体场景由项目风险与设备策略决定，不存在可通用照搬的固定比例。
| 验收方式 | 数据与权限 | 能证明什么 | 不能证明什么 |
|---|---|---|---|
| 历史回放 | 固定历史数据；不接现场控制 | 建议是否符合已知工况与策略 | 不能证明实时链路或现场效果 |
| 影子运行 | 读取实时数据；控制写入关闭 | 接口时序、数据中断反应、建议稳定性 | 不能证明设备执行后的结果 |
| 现场控制 | 可能触发真实设备动作 | 经审批后的端到端控制表现 | 不能用前两阶段的结果直接替代 |
上表是工程验收的阶段区分，不是行业统一标准。NIST AI 风险管理框架是自愿性框架，强调系统全生命周期的风险管理；团队可以参考其治理与评估思路，但仍应以项目策略、设备约束和适用要求确定验收条件。NIST AI 风险管理框架
第四步：用影子模式观察实时链路，不让建议落到设备
历史回放通过后，再让 Agent 读取实时遥测并生成建议，但在 EMS 或下游控制接口侧保持写入关闭。此时重点检查数据到达与建议生成之间的时间关系、断流后的表现、重复告警是否造成重复建议，以及相近输入下建议是否出现无法解释的跳变。延迟阈值应由项目根据控制周期和接口要求设定，不要照搬别的电站数字。
| 影子运行检查项 | 可接受的证据 | 需触发复核的现象 |
|---|---|---|
| 数据新鲜度 | 带时间戳的输入与接口监控记录 | 迟到、时钟偏移或数据停更 |
| 告警与状态变化 | 原始告警、Agent 输入与建议日志 | 重复告警导致重复建议，或告警被遗漏 |
| 建议稳定性 | 连续建议及对应输入快照 | 输入变化很小，建议却明显改变且无可解释依据 |
| 控制隔离 | 权限配置、接口策略和写入审计 | Agent 账号可写入，或测试无法证明写入被阻断 |
美国能源部的分布式能源网络安全基线资料把资产范围界定与基线优先级作为实施起点；这支持先明确哪些组件和接口属于验收范围，而不是只测试 Agent 本身。若现场遥测包含运行敏感信息，应同时评估跨 IT 与 OT 网络的数据路径，并限制不必要的访问。DOE 分布式能源资源网络安全基线资料
第五步：演练拒绝、回退与停用流程
上线前先写清楚三类情况的处理动作：人工拒绝建议后由谁接手；关键数据缺失或异常时 Agent 如何停止给出可执行建议；EMS 接口失联时如何回到现有人工流程或原有控制策略。将流程写入操作规程还不够，必须用权限配置、操作记录和演练结果证明相关角色能完成停用与回退。
✅ 验收清单：
- [ ] EMS 接口说明、策略文件和权限表均有版本记录。
- [ ] 建议、人工确认、设备写入三种权限已分开核对。
- [ ] 测试集保留字段字典、缺失值记录和数据版本。
- [ ] 回放记录包含建议依据、约束冲突及人工判定。
- [ ] 影子运行留有带时间戳的输入、输出和接口监控证据。
- [ ] 数据异常、人工拒绝和接口失联均有明确的停用或回退责任人。
- [ ] 未通过项、批准人和复测条件已写入验收记录。
提醒：NIST AI 风险管理框架强调持续监测、定期复核与明确职责；这不代表它规定了储能 Agent 的统一验收步骤。团队应把它作为风险治理参考，而不是用框架名称代替现场批准。
第六步：上线后按变更触发复核
验收记录应包含测试集版本、Agent 与策略版本、未通过项、批准人、回退演练结果和复测条件。数据分布改变、Agent 版本更新、字段含义调整或控制接口变化时，应重新执行受影响的检查；不能因为旧版本曾通过，就默认新版本也符合原有约束。能源系统 OT 安全资料也提醒，网络与资产变更需要纳入运维管理。
如果现有方案是把回放、影子运行和现场控制都堆在同一台共享开发机上，常见问题是测试环境与生产凭据混用、版本难以复现、访问权限难以区分；自购设备则需要自行维护系统和隔离环境。Vuncloud 的 Mac 租赁可作为临时开发或数据回放环境的一个选项，前提是工具链与目标平台兼容；它不是现场 OT 网关，也不能替代 EMS 权限隔离、现场审批或控制安全验证。需要对比自购与租赁时，可查看 Mac mini 配置与价格信息；如要评估临时远程环境，可了解 Vuncloud Mac 云租用服务 和帮助中心。
验收记录模板可直接从文中的字段表和清单整理：先复制数据版本、建议依据、人工判定、异常处理与批准人等栏目，再按自身 EMS 接口和审批流程增删。若只需临时运行回放或开发验证工具，可考虑隔离的租赁环境；若任务要求稳定的长期重负载、专用物理接口或现场 OT 接入，则应优先评估适配的自有设备与现场网络方案。
为调度 Agent 验收搭建稳定的远程测试环境
用 Vuncloud 云端 Mac mini M4 运行数据分析脚本、历史回放与自动化测试，让验收任务拥有独立的计算环境。
支持按天或按周起步，先验证工具链和任务负载，再决定是否选择月付或季付，控制前期成本。