2026: Wie prüfen Sie vor dem Go-live eines KI-Agenten die Dispatch-Empfehlungen eines Speicherkraftwerks?

Die FEMP-Methode zur Bewertung von Batteriespeichern nach der Inbetriebnahme berücksichtigt Messgrößen wie nutzbare Energie und Systemwirkungsgrad (FEMP-Bewertungsmethode). Für die Abnahme eines KI-Agenten im Speicherkraftwerk folgt daraus keine automatische Freigabe: Erst historische Wiedergaben und ein Shadow-Betrieb liefern nachvollziehbare Prüfbelege. Bis diese Prüfungen bestanden und dokumentiert sind, sollte der Agent Empfehlungen erzeugen, aber keine Steuerbefehle anlagenseitig ausführen dürfen.

Dieser Ablauf ist für Entwicklungsteams an einem Energiemanagementsystem (EMS), Energiedaten-Teams und Verantwortliche im Anlagenbetrieb gedacht.
Entwicklung und Datenengineering erhalten eine prüfbare Testfolge statt einer Freigabe auf Basis einzelner überzeugender Antworten.
Der Betrieb kann damit Zuständigkeiten, manuelle Freigaben und Bedingungen für den Rückfall in den bisherigen Prozess festlegen.

Vor dem ersten Test die Berechtigungsgrenze festlegen

„Empfehlung“, „Freigabe“ und „Steuerung“ sind unterschiedliche Berechtigungsstufen. Ein Textvorschlag, der etwa eine Lade- oder Entladeentscheidung beschreibt, ist noch kein gültiger Anlagenbefehl; erst recht ist ein dokumentierter Vorschlag nicht gleichbedeutend mit einer technisch zulässigen Aktion. Diese Trennung muss sich in Schnittstellen, Zugangsdaten und Betriebsabläufen widerspiegeln.

Legen Sie vor dem Anschluss des Agenten schriftlich fest, welche Daten er lesen darf, welche Ausgaben er erzeugen soll und welche Aktionen ausdrücklich gesperrt bleiben. Als Quellen für diese Abgrenzung eignen sich die EMS-Schnittstellenbeschreibung, die freigegebenen Regelstrategien und eine projektbezogene Berechtigungsmatrix. Unklare oder widersprüchliche Vorgaben sollten als offener Abnahmepunkt behandelt werden, nicht als stillschweigende Zustimmung.

Prüfen Sie dabei insbesondere, ob der Agent nur lesen oder auch über eine Schnittstelle schreiben kann, ob Test- und Produktionsdaten technisch getrennt sind und wer im Störungsfall Zugänge sperren darf. Für Energiesysteme mit Betriebstechnik sind außerdem Netzsegmentierung, Authentifizierung und kontrollierte Kommunikationswege relevant. Der Leitfaden des US-Energieministeriums zur Cybersicherheit von Betriebstechnik in Energiesystemen und der NIST-Leitfaden zur Sicherheit von Operational Technology bieten dafür Sicherheitskontext; sie sind jedoch kein projektspezifischer Freigabebescheid.

Welche Prüfungen gehören vor den Go-live? Mindestens die Berechtigungsgrenze, Datenqualität, Einhaltung von Anlagen- und Netzrestriktionen, Verhalten bei fehlenden oder widersprüchlichen Daten sowie der manuelle Rückfallweg. Die Tabelle dient als Entscheidungsraster, nicht als verbindliche Norm: Welche zusätzlichen Prüfpunkte gelten, hängt von EMS, Anlage und genehmigtem Betriebskonzept ab.

Schritt eins: Ein reproduzierbares Telemetrie-Testset erstellen

Historische Daten sind nur dann als Testgrundlage geeignet, wenn sich später rekonstruieren lässt, was der Agent zu einem bestimmten Zeitpunkt tatsächlich sehen konnte. Ein Datensatz ohne dokumentierte Zeitbasis, Alarmzustände oder Versionsangabe kann plausibel aussehen und trotzdem einen anderen Anlagenzustand darstellen als den, auf den eine Empfehlung hätte reagieren müssen.

Erstellen Sie deshalb ein Feldverzeichnis, das für jedes Signal mindestens Bedeutung, Einheit, Zeitstempelquelle und Umgang mit fehlenden oder ungültigen Werten aufführt. Ordnen Sie dazu die Zeitreihen den Lade- und Entladebefehlen, dem Anlagenzustand und den relevanten Alarmen zu. Halten Sie außerdem fest, ob Zeitstempel aus unterschiedlichen Komponenten stammen oder ob Werte nachträglich korrigiert beziehungsweise zusammengeführt wurden. Diese Angaben sind nötig, um Verzögerungen oder zeitliche Verschiebungen später von einer fehlerhaften Agentenentscheidung unterscheiden zu können.

Kennzeichnen Sie das Testset mit einer unveränderlichen Versionsangabe und bewahren Sie Feldverzeichnis, Aufbereitungsschritte und Ausschlussregeln gemeinsam auf. Die FEMP-Methodik zur Bewertung von Batteriespeichern beschreibt die Bedeutung nachvollziehbarer Betriebsdaten für die Leistungsbewertung; die dazugehörige FEMP-Berichtsfassung liefert den Bewertungsrahmen. Für standardisierte Datenerfassung und Vorlagen stellt die DOE-Initiative ROVI Informationen zu Datenanforderungen bereit. Beides unterstützt die Planung, ersetzt aber nicht die Prüfung, ob die konkrete Datenerfassung des Projekts vollständig ist.

Enthält das Testset Informationen, die Rückschlüsse auf Personen, Standorte oder betriebliche Schwachstellen erlauben, sollten Zugriff und Weitergabe vor der Nutzung geklärt werden. Für die De-Identifizierung liefert die NIST-Leitlinie SP 800-188 einen methodischen Rahmen. Entfernen Sie nicht pauschal alle Zeit- oder Zustandsinformationen: Werden für den Test benötigte Zusammenhänge zerstört, muss das als Einschränkung des Datensatzes dokumentiert werden.

Wie müssen Daten zum Batteriezustand geschützt werden? Beschränken Sie die Testkopie auf die Felder, die für den jeweiligen Prüfzweck erforderlich sind, und prüfen Sie, ob Zeitstempel, Anlagenkennungen oder Alarmtexte sensible Betriebsinformationen offenlegen. Pseudonymisierte Kennungen sind nicht automatisch anonym; halten Sie deshalb fest, wer die Zuordnung besitzt, wer auf die Testdaten zugreifen darf und wann Kopien gelöscht werden. Die anwendbaren Datenschutz- und Sicherheitsanforderungen sind projektspezifisch zu prüfen.

Schritt zwei: Empfehlungen gegen historische Betriebsfälle prüfen

Beim Replay erhält der Agent einen festgelegten historischen Datenstand und erzeugt dazu zeitlich zugeordnete Vorschläge. Prüfen Sie nicht nur, ob ein Vorschlag im Nachhinein vernünftig klingt, sondern ob er mit den Informationen und Grenzen vereinbar war, die zum jeweiligen Entscheidungszeitpunkt vorlagen. Später eingegangene Messwerte oder ein nachträglich bereinigter Alarm dürfen nicht unbemerkt in die Prüfung einfließen.

Vergleichen Sie jeden Vorschlag mit den verfügbaren Leistungsgrenzen, den zulässigen Ladezuständen, den Netzrestriktionen und der freigegebenen Betriebsstrategie. Prüfen Sie außerdem, ob der Agent bei fehlenden Messwerten, widersprüchlichen Statusmeldungen oder aktiven Alarmen eine unsichere Empfehlung erzeugt oder stattdessen auf eine menschliche Prüfung verweist. Die Abweichung von einer bisherigen Handlung ist nicht für sich genommen ein Fehler: Entscheidend ist, ob sie innerhalb der geltenden Grenzen begründet und für den Betrieb nachvollziehbar ist.

Pro Prüffall sollten Empfehlung, zugrunde liegende Eingaben, erkannte Konflikte und menschliche Beurteilung in einem gemeinsamen Datensatz stehen. Die FEMP-Bewertungsmethode ist für die Leistungsbewertung eines Batteriespeichers nach der Inbetriebnahme gedacht. Eine Replay-Prüfung eines KI-Agenten ist davon zu unterscheiden: Sie belegt, wie die Software mit ausgewählten historischen Daten umgeht, nicht die reale Anlagenleistung und auch keine sichere Wirkung eines künftigen Steuerbefehls.

Wie lässt sich ein Vorschlag mit historischen Telemetriedaten wiederholen? Laden Sie eine versionierte, zeitlich geordnete Testsequenz in eine vom Produktivsystem getrennte Umgebung, legen Sie vorab die sichtbaren Eingaben fest und speichern Sie jeden erzeugten Vorschlag mit seiner Begründung und den verwendeten Daten. Ein nachträglich verändertes Testset ist ein neuer Prüfstand; Ergebnisse unterschiedlicher Versionen sollten nicht ohne Kennzeichnung zusammengefasst werden.

Schritt drei: Im Shadow-Betrieb den Echtzeitpfad beobachten

Im Shadow-Betrieb liest der Agent reale oder kontrolliert bereitgestellte Betriebsdaten, sendet aber keine Steuerbefehle an das Batteriespeichersystem. Damit wird eine andere Frage geprüft als beim Replay: Nicht nur, ob ein Vorschlag unter festgelegten Bedingungen plausibel ist, sondern auch, ob Datenfluss, Schnittstellen und Protokollierung im laufenden Betrieb zuverlässig zusammenarbeiten.

Überwachen Sie Zeitstempel an Eingang und Ausgabe, die Aktualität der Messwerte, Verbindungsabbrüche, doppelte Alarme und die Stabilität aufeinanderfolgender Empfehlungen. Prüfen Sie, ob ein Datenabriss erkennbar zu einer gekennzeichneten Nichtverfügbarkeit führt oder ob der Agent scheinbar weiterarbeitet, obwohl seine Eingaben unvollständig sind. Erfassen Sie die Beobachtungen mit Zeitmarken in Agentenprotokollen und Schnittstellenmonitoring. Die Ergebnisse beschreiben den beobachteten Zeitraum und die konkrete Systemkonfiguration; sie sind keine pauschale Aussage über die künftige Anlagenleistung.

„Shadow“ ist keine Sicherheitsgarantie, wenn dieselben Zugangsdaten zugleich Schreibzugriff erlauben. Sperren Sie die Steuerungsmöglichkeit auf Schnittstellen- oder Berechtigungsebene und prüfen Sie diese Sperre ausdrücklich. Ein bloßer Hinweis im Agentenprompt, keine Befehle auszuführen, verhindert keinen technischen Schreibzugriff.

Was unterscheidet Shadow-Betrieb von direkter Steuerung? Beim Shadow-Betrieb werden Empfehlungen beobachtet, ohne dass der Agent die Anlage steuert; bei direkter Steuerung kann eine Ausgabe auf das System wirken. Ein Shadow-Protokoll kann daher die Funktion des Echtzeitpfads belegen, aber weder die sichere Wirkung eines Steuerbefehls noch dessen Verhalten unter allen Anlagenbedingungen.

Schritt vier: Freigabe, Rückfall und Stilllegung festlegen

Die technische Prüfung ist erst dann betriebsrelevant, wenn feststeht, wer eine Empfehlung bestätigt, wer sie ablehnen kann und was bei fehlenden Daten oder einem Schnittstellenfehler geschieht. Schreiben Sie diese Fälle in eine Betriebsanweisung, die sowohl für den normalen Dienst als auch für Störungen verständlich ist. Eine einzelne Sammelregel wie „bei Fehlern manuell übernehmen“ reicht nicht, wenn unklar bleibt, wer den bisherigen Prozess aktiviert und wie der Agent gestoppt wird.

Definieren Sie mindestens diese Auslöser: eine Ablehnung durch die zuständige Person, unvollständige oder widersprüchliche Telemetrie, Verbindungsverlust, ein unerwarteter Alarm und eine nicht nachvollziehbare Empfehlung. Legen Sie für jeden Fall den verantwortlichen Kontakt, die zulässige nächste Aktion und die Sperrung beziehungsweise Abschaltung fest. Prüfen Sie anschließend in einer kontrollierten Übung, ob Berechtigungen tatsächlich entzogen werden können und ob der etablierte manuelle Betrieb ohne Agentenfortschritt fortgesetzt werden kann.

Das NIST AI Risk Management Framework unterstützt die strukturierte Betrachtung von Risiken, Zuständigkeiten und laufender Überwachung. Für Projekte mit verteilten Energieressourcen sind zudem die DOE-Cybersicherheitsbaselines und zugehörigen Hinweise relevant. Diese Unterlagen sind Orientierungshilfen; sie entscheiden nicht anstelle des Betreibers, welche Freigabe für eine konkrete Schnittstelle erforderlich ist.

Verwenden Sie für die Entscheidung eine einfache Regel: Bleibt ein Grenzkonflikt offen, sind relevante Daten nicht reproduzierbar oder wurde der Rückfallweg nicht praktisch erprobt, bleibt der Agent im reinen Vorschlagsmodus. Ist die Prüfung bestanden, wird eine mögliche Erweiterung der Berechtigungen separat dokumentiert und freigegeben, statt sie aus einem erfolgreichen Replay abzuleiten.

Nach dem Start Abnahmebelege und Änderungen nachhalten

Eine belastbare Abnahmeakte enthält mindestens die verwendete Testset-Version, Agentenversion, geprüften Regeln, offene Abweichungen, verantwortliche Prüfer und die Bedingungen für eine Wiederholungsprüfung. Ergänzen Sie die verwendeten Eingaben, die zugehörigen Empfehlungen und menschliche Bewertungen so, dass ein anderer Prüfer den Entscheidungsweg nachvollziehen kann. Kennzeichnen Sie nicht bestandene Fälle ausdrücklich; ein Mittelwert oder ein Gesamteindruck darf einzelne sicherheitsrelevante Konflikte nicht verdecken.

Führen Sie die betroffenen Prüfungen erneut aus, wenn sich Datenverteilung, Agentenmodell, Prompt- oder Regelversion, Telemetrieaufbereitung oder Steuerungsschnittstelle wesentlich ändern. Dabei ist keine pauschale Wiederholung sämtlicher Tests erforderlich: Entscheidend ist, die Änderung mit den betroffenen Eingaben, Berechtigungen und Betriebsfällen zu verknüpfen und die Wiederholungsentscheidung zu begründen. Ein Wechsel der Schnittstelle kann beispielsweise die Sicherheitsprüfung berühren, während eine Veränderung der Zeitstempelaufbereitung vor allem die Reproduzierbarkeit der Replay-Fälle betrifft.

Als Arbeitsblatt kann die Abnahmeakte diese Felder enthalten:

• Anlagen- und EMS-Kontext sowie dokumentierter Prüfzweck
• Version von Agent, Testdaten, Feldverzeichnis und Regelwerk
• Lesbare Eingaben und gesperrte Aktionen
• Replay-Fälle, Shadow-Protokolle und offene Abweichungen
• Ergebnis der menschlichen Prüfung mit Begründung
• Verantwortliche Freigabeperson und genehmigte Berechtigungsstufe
• Rückfallauslöser, Sperrweg und Ergebnis der praktischen Übung
• Änderungsbedingungen, die eine erneute Prüfung auslösen

Die Abnahme für einen KI-Agenten ist somit eine begrenzte technische und betriebliche Entscheidung, kein Nachweis universeller Eignung. Ein erfolgreiches Replay zeigt noch keine Qualität unter Live-Daten; ein sauberer Shadow-Betrieb belegt noch keine sichere direkte Steuerung. Werden diese Grenzen in der Dokumentation mitgeführt, kann das Team später erkennen, welche Aussagen tatsächlich geprüft wurden und welche weiterhin offen sind.

Wenn die vorhandene Testumgebung auf gemeinsam genutzten Entwicklerrechnern, wechselnden Zugangsdaten oder einem schwer reproduzierbaren lokalen Setup beruht, entstehen vermeidbare Unsicherheiten: Testergebnisse lassen sich schlechter zuordnen, Test- und Betriebsdaten können vermischt werden, und Änderungen an der Umgebung erschweren den Vergleich. Für kurzfristige, isolierte Entwicklungs- und Replay-Umgebungen kann ein gemieteter Mac von Vuncloud eine Alternative sein, sofern Laufzeit und Werkzeuge mit macOS kompatibel sind. Vor einer Anmietung sollten Sie außerdem die Hinweise im Vuncloud-Hilfecenter zu Nutzung und Zugang mit den Anforderungen Ihrer Testumgebung abgleichen. Ein gemieteter Mac ersetzt weder ein produktionsnahes EMS noch eine zugelassene Steuerungsumgebung und passt nicht zu dauerhaftem Hochlastbetrieb oder Tests, die physische Anlagenanschlüsse erfordern. Nutzen Sie die obige Abnahmestruktur als Vorlage und passen Sie Freigabe, Schnittstellen und Rückfallregeln an das eigene Betriebskonzept an, bevor Empfehlungen über den Vorschlagsmodus hinausgehen.