Qualitative Interviews liefern uns wertvolle Einblicke in die Kund:innen-Systeme für die Standortbestimmung und Ableitung weiterer Schritte in der Transformationsberatung. Die Auswertung ist aber oft sehr zeit- und ressourcenintensiv, da oft seitenweise unstrukturierter Text analysiert und geclustert werden muss, um die Essenzen rauszuarbieten.

In unserer Transformationsformel hXt steht das t für technology und stellt auf unsere Neugierde ab Technologien zu nutzen. Deshalb hat unsere Kollegin Teresa Havlicek kurzerhand getestet, wie KI-Tools uns im Auswertungsprozess unterstützen können.

Unser Versuch: KI für die Interviewauswertung

Klingt nach einem perfekten Anwendungsfall für KI, oder? Dem wollten wir jedenfalls auf den Grund gehen, und haben getestet, welche Tools sich für die KI-gestützte Interview-Auswertung eignen.

Nach einer ersten Recherche probierten wir einige Werkzeuge mit kurzen internen Interviews und komplexeren Kundenprojekten aus

Tool 1: Maxqda / Atlas.ti

• Automatisierte Zusammenfassungen mehrer Dokumente möglich
• Hypothesentesting möglich
• Qualität der Transkription kann nicht beurteilt werden
• Codes („Tags“) müssen händisch vergeben werden

Tool 2: Microsoft Copilot

• Keine Zusammenfassungen mehrerer Dokumente möglich
• Kein automatisiertes Hypothesentesting
• Transkriptionsqualität bei vielen englischen Begriffen/Fachbegriffen verbesserungswürdig

Tool 3: Dorevveal.com

• Automatisierte Zusammenfassungen mehrer Dokumente möglich
• Hypothesentesting möglich
• Kein händisches Vergeben von Codes

Maxqda und Atlas.ti als KI für qualitative Interviews

Im universitären Bereich werden schon seit Jahren Tools zur Auswertung von qualitativen Texten benutzt, und diese haben mittlerweile auch AI-Erweiterungen. Zu diesen Tools gehören Maxqda und Atlas.ti.

Die Tools können unterschiedliche Medientypen (Video- und Audiofiles) transkribieren und auswerten, allerdings erfordern die AI-Features manuelle Codierung.

Das bedeutet, die Nutzer:innen müssen einzelne Textabschnitte auswählen und das Thema, das darin angesprochen wird, definieren. Man kann zwar von der KI Vorschläge erstellen lassen, muss diese aber trotzdem einzeln kontrollieren und annehmen.

Da man mit diesen Tools durch das manuelle Hinzufügen von Codes immer noch relativ große Textmengen persönlich durchgehen muss, waren sie für unseren Anwendungsfall keine ausreichend große Erleichterung, um das Tool auszuprobieren.

Microsoft Copilot zur automatisierten Gesprächsauswertung

Da viele Organisationen ohnehin bereits die MS365-Suite benutzen, liegt der Versuch der Interview-Auswertung mit MS Copilot auf der Hand.

Wenn man eine Microsoft Co-Pilot-Lizenz hat, kann man seine Gespräche direkt über MS Teams aufzeichnen und transkribieren lassen. Zusammenfassungen kann man dann direkt im Word-Dokument mit Co-Pilot generieren.

Bei unserem Versuch ließ die Qualität der Zusammenfassungen allerdings mit zunehmender Länge und Komplexität der Inhalte ab, sodass man mehr Zeit für das Ausprobieren unterschiedlicher Prompts benötigt, als man für das eigenständige Zusammenfassen der Kernaussagen brauchen würde.

Zusätzlich muss das Aggregieren der verschiedenen Gespräche in eine Tabelle oder in ein Dokument immer noch händisch ausgeführt werden.

doreveal.com ist KI für Textauswertung

In unserer Desktop-Research fanden wir auch Tools, die scheinbar genau für unseren Anwendungsfall gemacht sind: Reveal und Coloop transkribieren hochgeladene Videos automatisch und fassen die Ergebnisse in einer tabellarischen Ansicht, gegliedert nach Hypothesen oder Forschungsfragen zusammen.

Nachdem Coloop sehr intransparent bezgl. Pricing ist und Reveal ein flexibles „pay-as-you-go“-Modell mit 9,50$ pro hochgeladenem Interview verfolgt, entschieden wir uns dazu, Reveal zu testen.

Die Ergebnisse sind erstmal ziemlich beeindruckend: Das Tool transkribiert die Antworten in guter Qualität, und ordnet sie automatisch zuvor definierten Hypothesen oder Forschungsfragen zu. In der Tabelle bekommt man zusätzlich eine Übersicht, wer sich zu welchem Thema wie geäußert hat.

Unser Fazit

In Summe ist es absolut beeindruckend wie viele Schritte einem KI-Tools abnehmen können und wie weitreichend die Funktionalitäten sind. Mit Reveal kann man mehrere Stunden Arbeit automatisieren, auch wenn man bedenken muss, dass Transkription und Analyse circa 15 Minuten pro Video benötigen.

Dennoch sind KI-Tools sicherlich nicht immer der effizienteste Weg zu Lösung: Zu unserer Arbeit gehört auch oft, den Bias unterschiedlicher Rollen mitzudenken, zwischen den Zeilen zu lesen, und auf Basis der Tonalität oder der Häufigkeit der Nennung manche Aussagen schwerer zu gewichten als andere. Nicht vergessen darf man dabei auch den Lernprozess bei den auswertenden Personen im Rahmen der Auseinandersetzung mit den Texten bzw. das Processing der eigenen Gedanken dabei. Immerhin ist die Auswertung ja nur ein wichtiger Schritt am Weg zu den weiteren Maßnahmen und kein Selbstzweck.

Manchmal ist es dabei zielführender, die wichtigsten Punkte nach jedem Interview zu notieren und mit einer Kolleg:in zu sparren, anstatt seitenweise Text auszuwerten.

Willkommen in der fifty1 Welt

Mit unserem hXt Beratungsangebot und der fifty1 Akademie machen wir Menschen wirksam und Organisationen zukunftsfit. Dazu gehört auch fortlaufend zu lernen und Neues auszuprobieren.

Hast du dir etwas aus diesem fifty1 Insight mitnehmen können? Hast du vielleicht Fragen? Beschäftigen dich diese Themen auch? Dann melde dich gerne!

Wir freuen uns auf dich! 😊