Eine Aufgabenart, ein definierter Testbereich
Das Pilotformat setzt eine ausreichend beschriebene Aufgabe voraus. Geeignet kann beispielsweise das Erstellen eines Entwurfs aus freigegebenen Wissensbausteinen sein. Nicht vorausgesetzt wird, dass KI die richtige Lösung ist. Vor dem Aufbau werden eine einfache Vergleichsvariante, die vorhandene Arbeitsweise und der geplante KI-Ansatz gegenübergestellt. So bleibt erkennbar, welcher zusätzliche Aufwand überhaupt gerechtfertigt wäre.
Der Pilotsteckbrief hält fest, welche Eingaben erlaubt sind, welches Ausgabeformat erwartet wird und wer die fachliche Prüfung übernimmt. Ebenso wichtig sind ausdrücklich ausgeschlossene Vorgänge. Eigenständige Zahlungen, verbindliche Zusagen oder ungeprüfte Veröffentlichungen gehören nicht automatisch zu einem Pilotauftrag. Schnittstellen, Systemzugänge und mögliche Änderungen benötigen eine gesonderte Abstimmung.
Mit Fällen testen, die nicht nur gut aussehen
Eine Vorführung mit einem einfachen Beispiel reicht nicht als Entscheidungsgrundlage. Ein sinnvoller Testbestand enthält typische Eingaben, unvollständige Informationen und bekannte Ausnahmefälle. Die erwarteten Eigenschaften einer guten Antwort werden vor der Auswertung beschrieben. Wo mehrere Antworten vertretbar sind, helfen fachliche Kriterien mehr als der Vergleich mit einem einzigen Mustertext.
Der Test dokumentiert sowohl brauchbare Ergebnisse als auch Fehler. Dazu gehören fehlende Quellen, unbelegte Ergänzungen, Formatabweichungen und Situationen, in denen der Ablauf an eine Person übergeben werden sollte. Laufzeit und gegebenenfalls erkennbare Nutzungskosten werden unter den jeweiligen Testbedingungen erfasst. Daraus entsteht keine pauschale Aussage über spätere Produktionskosten oder eine feste Zeitersparnis.
- Abgegrenzter Testablauf mit nachvollziehbaren Ein- und Ausgaben.
- Prüffälle, Bewertungsbogen und dokumentierte fachliche Rückmeldungen.
- Beschreibung von Fehlerfällen, erforderlicher menschlicher Kontrolle und bekannten Grenzen.
- Übergabeunterlagen mit Betriebsvoraussetzungen, offenen Risiken und einer nächsten Entscheidung.
Nach dem Test bewusst entscheiden
Ein erfolgreicher Test kann einen nächsten, etwas größeren Test begründen. Er beweist noch nicht, dass eine Lösung ohne weitere Prüfung im laufenden Betrieb eingesetzt werden sollte. Vor diesem Schritt sind unter anderem Zugriffsrechte, Aufbewahrung, Überwachung, Verantwortlichkeiten und ein Rückfall auf den bisherigen Prozess zu klären. Welche Anforderungen im Einzelfall gelten, hängt vom Anwendungsgebiet und Ihrer Organisation ab.
Zum Abschluss werden die Ergebnisse gemeinsam eingeordnet: fortsetzen, überarbeiten oder beenden. Auch ein gestoppter Pilot liefert ein nützliches Ergebnis, wenn die Ursache nachvollziehbar ist. Die Zusammenarbeit umfasst nur den vereinbarten Testbereich. Produktivsetzung, laufender Betrieb, zusätzliche Lizenzkosten und spätere Erweiterungen müssen separat beschrieben und freigegeben werden.