Eine überzeugende KI-Demo beantwortet eine vorbereitete Frage in Sekunden. Ein nützliches Werkzeug im Unternehmen muss mit unvollständigen Anfragen, veralteten Dokumenten und dem richtigen Zeitpunkt für menschliche Hilfe umgehen. Genau diesen Unterschied sollte ein Pilot untersuchen.
Vier Wochen sind ein Planungsrahmen, keine Zusage, jede Integration innerhalb eines Monats liefern zu können. Das Ziel sind Belege für eine Entscheidung: erweitern, überarbeiten oder stoppen. Begrenzen Sie den Umfang auf ein Team, einen Ablauf und wenige freigegebene Informationsquellen.
Woche eins: Aufgabe auswählen und Ausgangslage messen
Beginnen Sie mit einer Aufgabe, deren Ergebnis ein Mensch beurteilen kann. Ein Antwortentwurf aus einer freigegebenen Support-Wissensbasis ist leichter zu bewerten als „Produktivität verbessern“. Auch die Extraktion festgelegter Felder aus eingehenden Dokumenten eignet sich, sofern das Team die Werte prüfen kann.
Fragen Sie zunächst, ob KI überhaupt nötig ist. Sind alle Eingaben strukturiert und Entscheidungen durch feste Regeln beschrieben, lässt sich gewöhnliche Automatisierung oft einfacher testen und betreiben. KI ist besonders dann relevant, wenn Sprachverständnis oder wechselnde Dokumentformen einen wesentlichen Teil der Arbeit ausmachen.
Erfassen Sie Menge, Bearbeitungszeit, Korrekturen und Eskalationsgründe. Nutzen Sie alltägliche und schwierige Beispiele. Benennen Sie einen Prozessverantwortlichen, der akzeptable Ergebnisse definieren kann, und halten Sie ausdrücklich fest, welche Aktionen außerhalb des Piloten liegen.
Woche zwei: Quellen und faire Bewertung vorbereiten
Bei Fragen zu Unternehmensunterlagen sucht Retrieval-Augmented Generation, kurz RAG, passende Textstellen und gibt sie dem Sprachmodell als Kontext. Microsoft unterscheidet im Leitfaden zur RAG-Entwicklung und Bewertung zwischen der Qualität des Abrufs und der Qualität der fertigen Antwort.
Beginnen Sie mit wenigen aktuellen Dokumenten. Erfassen Sie Verantwortliche und Prüfdatum je Quelle. Entfernen oder kennzeichnen Sie überholte Anweisungen, damit sie nicht als aktuelle Vorgehensweise erscheinen. Ein Modell sollte keinen undokumentierten Widerspruch zwischen Abteilungen auflösen müssen.
Trennen Sie Bewertungsfälle von Beispielen, mit denen Sie den Assistenten verbessern. Ein möglicher Start sind 100 Fälle: 60 gewöhnliche, 20 mehrdeutige, 10 ohne belegbare Antwort und 10 zur Prüfung von Zugriffsgrenzen oder manipulierten Anweisungen. Das ist ein Beispiel, kein allgemeiner Standard; passen Sie die Verteilung an den tatsächlichen Ablauf an.
Definieren Sie je Fall erwartetes Ergebnis, stützende Quelle und schwere Fehler. Berücksichtigen Sie Rumänisch, Englisch und Deutsch, wenn alle drei Sprachen genutzt werden. Gute englische Antworten zeigen noch nicht, dass eine rumänische Anfrage das richtige deutsche Quelldokument findet.
Woche drei: parallel zum bestehenden Prozess arbeiten
Lassen Sie Mitarbeitende Entwürfe prüfen, bevor diese Kunden erreichen oder Geschäftsdaten verändern. Zeigen Sie relevante Quellpassagen neben dem Entwurf, damit die Kontrolle effizient bleibt. Erfassen Sie Annahme, Bearbeitung oder Ablehnung samt Begründung.
Die reguläre Anwendungsautorisierung muss bestimmen, welche Dokumente ein Nutzer abrufen darf. Prompt-Anweisungen ersetzen keine Berechtigungen. OWASP beschreibt, wie Anweisungen in abgerufenen Inhalten Modellverhalten umlenken können, und empfiehlt begrenzte Rechte sowie menschliche Freigaben für folgenreiche Aktionen. Siehe den Leitfaden zu Prompt Injection.
Lassen Sie ausführende Aktionen deaktiviert, sofern sie nicht ausdrücklich zum Testumfang gehören. Ein Assistent für Supportentwürfe benötigt keine Erlaubnis für Erstattungen. Kommt diese Funktion später hinzu, braucht sie einen eigenen Autorisierungs- und Bestätigungsablauf mit passenden Abnahmetests.
Fehler sollten zu einem hilfreichen nächsten Schritt führen: nicht belegbare Fragen gehen mit dem vorhandenen Kontext an einen Menschen. Für jede Frage zwingend eine Antwort zu verlangen, begünstigt überzeugend formulierte Vermutungen und macht die Auswertung weniger aussagekräftig.
Messen Sie die tatsächlich zurückgewonnene Arbeitszeit
Tokenverbrauch und Antwortgeschwindigkeit bilden nur einen Teil des Betriebsaufwands ab. Berücksichtigen Sie Kontrolle, Korrekturen, Eskalation, Quellenpflege und Überwachung. Vergleichen Sie vollständige Bearbeitungszeiten ähnlicher Aufgaben statt die Generierungszeit mit dem gesamten bisherigen Prozess.
Ein Rechenbeispiel: Bisher dauern 100 Anfragen jeweils sechs Minuten, insgesamt 600 Minuten. Mit Assistent benötigen 60 Anfragen je zwei Minuten, während 40 bei sechs Minuten bleiben. Das ergibt 360 Minuten. Weitere 40 Minuten für Bewertung und Pflege erhöhen die Summe auf 400 Minuten. Netto bleiben 200 Minuten Ersparnis je 100 Anfragen.
Bei 500 vergleichbaren Anfragen monatlich wären das etwa 16,7 Stunden. Das ist eine Szenariorechnung und keine Prognose. Prüfen Sie sie erneut, wenn Komplexität, Kontrollaufwand oder Anteil brauchbarer Entwürfe anders ausfallen. Das Team muss außerdem festlegen, welche produktive Arbeit die gewonnene Zeit nutzen kann.
Woche vier: ausdrücklich über den Ausbau entscheiden
Betrachten Sie wenige Kennzahlen: Qualität belegter Antworten, schwere Fehler, richtige Eskalation, Zeit pro abgeschlossener Anfrage und gesamte Betriebskosten. Werten Sie Sprachen und Anfragetypen getrennt aus, damit ein Durchschnitt keine schwache Kategorie verdeckt.
Legen Sie Abnahmekriterien vor der abschließenden Auswertung fest. Eine beobachtete unberechtigte Offenlegung sollte den Ausbau stoppen, bis Ursache und erneuter Test geklärt sind. Vereinbaren Sie für weniger kritische Qualitätsprobleme eine zum Ablauf passende Toleranz und prüfen Sie die Erkennbarkeit der Fehler. Ein Pilot ohne beobachteten schweren Fehler beweist trotzdem nicht, dass solche Fehler unmöglich sind.
Schließen Sie mit einer dokumentierten Entscheidung, einem Betriebsverantwortlichen und den benötigten Belegen für die nächste Phase ab. Unsere KI-Entwicklung und Automatisierung kann Ablauf, Bewertung und Integration gemeinsam planen. Bringen Sie eine wiederkehrende Aufgabe und Beispiele guter Ergebnisse mit, damit wir einen messbaren Piloten gestalten können.