Freitextauswertung mit KI
Bei der Freitextauswertung fasst ein Sprachmodell offene Antworten zu Themen zusammen und ordnet ihnen eine Tendenz zu. Das macht Nachbefragungen erstmals vollständig auswertbar, verlangt aber eine Stichprobenkontrolle durch Menschen. Sie ersetzt das Lesen nicht, sie macht es erst vollständig möglich.
Das Problem, das sie löst
Offene Fragen liefern die brauchbarsten Antworten und werden trotzdem selten ausgewertet. Bei 800 Teilnehmenden kommen leicht 300 Freitexte zusammen, und die liest niemand vollständig. In der Praxis werden dann zwanzig überflogen und der Rest archiviert. Genau hier liegt der Gewinn: Ein Modell kann alle 300 lesen, wiederkehrende Themen bündeln und zeigen, wie oft etwas genannt wurde.
Was verlässlich funktioniert
Das Zusammenfassen zu Themen und das Zählen. Wenn 40 Antworten die Schlangen am Check-in erwähnen, findet das Modell diese 40 zuverlässig, auch wenn die Formulierungen auseinandergehen. Ebenso gut gelingt die Zuordnung zu vorgegebenen Kategorien, etwa Organisation, Programm, Verpflegung, Räumlichkeiten. Für die Nachbefragung ist das der eigentliche Fortschritt: Sie bekommen erstmals eine Rangfolge statt eines Bauchgefühls.
Wo es systematisch danebengeht
Bei Ironie, bei Verneinungen und bei gemischten Aussagen. "Das Catering war super, wenn man um zwölf da war" ist keine positive Rückmeldung, wird aber häufig als solche eingeordnet. Ebenso schwierig sind Antworten, die zwei Dinge zugleich bewerten, und sehr kurze Antworten ohne Kontext. Verlassen Sie sich deshalb nicht auf eine Stimmungsnote als einzelne Zahl. Sie ist der unzuverlässigste Teil der Auswertung und zugleich der, den Präsentationen am liebsten zeigen.
Die Stichprobe, die Sie nicht auslassen sollten
Lassen Sie sich zu jedem gefundenen Thema die Originalantworten anzeigen und lesen Sie von jedem Thema fünf bis zehn selbst. Das dauert eine Viertelstunde und beantwortet die einzige Frage, die zählt: Steht in den Antworten wirklich das, was die Zusammenfassung behauptet? Diese Kontrolle ersetzt keine Statistik, aber sie deckt die Fälle auf, in denen ein Thema erfunden oder zwei verschiedene Beschwerden zusammengeworfen wurden.
Datenschutz und Kennzeichnung
Freitexte sind personenbezogen, sobald sie Rückschlüsse zulassen, und sie enthalten häufiger als erwartet Namen von Mitarbeitenden oder Angaben zur Gesundheit. Vor der Auswertung gehört deshalb geklärt, auf welcher Rechtsgrundlage nach Artikel 6 DSGVO sie erfolgt, ob eine Einwilligung nötig ist und welche Löschfrist gilt. Wird ein externer Dienst genutzt, braucht es einen Auftragsverarbeitungsvertrag. Für die Auswertung selbst greift die Kennzeichnungspflicht in der Regel nicht, weil kein Inhalt veröffentlicht wird; wohl aber die Kompetenzpflicht aus der KI-Verordnung.
Wie Sie die Fragen stellen sollten
Die Auswertung wird besser, wenn die Frage enger ist. "Was sollen wir nächstes Mal anders machen?" liefert brauchbarere Themen als "Wie hat es Ihnen gefallen?", weil die Antworten dann konkrete Vorschläge enthalten statt allgemeiner Zustimmung. Zwei bis drei gezielte offene Fragen bringen mehr als eine große. Und stellen Sie dieselben Fragen bei der nächsten Veranstaltung erneut, sonst haben Sie zwar eine Auswertung, aber keinen Vergleich.
Häufige Fragen
Wie zuverlässig ist die automatische Auswertung?
Beim Bündeln zu Themen und beim Zählen gut, bei Stimmungsnoten deutlich schlechter. Ironie, Verneinungen und gemischte Aussagen werden regelmäßig falsch eingeordnet.
Muss ich die Ergebnisse prüfen?
Ja. Lesen Sie zu jedem gefundenen Thema fünf bis zehn Originalantworten. Das deckt erfundene oder zusammengeworfene Themen auf und dauert etwa eine Viertelstunde.
Sind Freitextantworten personenbezogen?
In der Regel ja, sobald sie Rückschlüsse auf Personen zulassen. Häufig enthalten sie zusätzlich Namen Dritter oder sensible Angaben.
Wie formuliere ich die Fragen am besten?
Eng und konkret. Zwei bis drei gezielte offene Fragen liefern brauchbarere Themen als eine allgemeine, und sie sollten bei der nächsten Veranstaltung unverändert wiederholt werden.
