Conversational AI
AI Analyst liefert schnelle Kennzahlen und zuverlässige Insights
Conversational AI macht Daten so zugänglich wie nie zuvor. Statt Berichte abzuwarten oder Tabellen zu durchsuchen, reicht heute eine einfache Frage im Chat. Der AI Analyst zeigt, wie daraus schnelleres Wissen und bessere Entscheidungen entstehen.
Stell dir vor: Es ist Montagmorgen, und dein Chef fragt nach aktuellen Kennzahlen, etwa zu einem Standort, einer Produktlinie oder einer Kundengruppe und deren Entwicklung. Was wie eine Routinefrage klingt, zieht oft einen aufwendigen Prozess nach sich. Erst eine Anfrage ans Data-Team, dann das Zusammenführen von Daten aus unterschiedlichen Quellen. Bis die Antwort vorliegt, können Stunden oder sogar Tage vergehen.
.jpg)
Mit Conversational AI verändert sich der Alltag für viele Mitarbeiter schon heute spürbar. In Microsoft Teams können sie dem AI Analyst schreiben, der binnen weniger Sekunden eine präzise Antwort gibt. Kein Warten, keine Excel-Tabellen, kein Umweg über andere Abteilungen.
Der digitale Kollege im Chat
Hinter dem AI Analyst verbirgt sich ein Chatbot, der sich das Konzept der Retrieval Augmented Generation (RAG) zunutze macht. Dabei werden User-Anfragen in eine SQL-Query übersetzt und an das Data Warehouse der AGK geschickt. Danach werden die aus der Query hervorgehenden Daten wieder in natürlicher Sprache dem User in Microsoft Teams zurückgespielt. Für Nutzer entsteht so ein intuitives System, das ohne große Erklärungen funktioniert. Hinter den Kulissen sorgt eine durchdachte technische Architektur dafür, dass dieser Prozess nahtlos und zuverlässig abläuft.
Retrieval Augmented Generation
Retrieval Augmented Generation ist ein Ansatz, bei dem ein KI-Modell nicht nur auf seinem vortrainierten Wissen basiert, sondern zusätzlich relevante Informationen aus externen Datenquellen abruft, bevor es eine Antwort generiert. Dadurch kann die KI aktuelles, kontextbezogenes Wissen einbeziehen, das über ihr ursprüngliches Trainingswissen hinausgeht. Diese Kombination aus Information Retrieval und Textgenerierung erhöht sowohl die Genauigkeit als auch die Nachvollziehbarkeit der Ergebnisse. RAG wird vor allem dort eingesetzt, wo präzise, kontextreiche Antworten gefragt sind, wie etwa in Chatbots, Wissensdatenbanken oder Analyse-Tools.
Wie sich der AI Analyst von klassischen Chatbots unterscheidet
Im Gegensatz zu vielen Chatbots, die wir aus dem Alltag kennen, liefert der AI Analyst nicht einfach nur Antworten, sondern arbeitet deutlich strukturierter, konsistenter und verlässlicher. Ein wichtiger Unterschied ist sein deterministischer Ansatz: Wenn mehrere Personen dieselbe Frage stellen, erhalten sie auch dieselbe Antwort, anders als es zum Beispiel bei ChatGPT der Fall ist. Das sorgt für Vertrauen und macht die Ergebnisse nachvollziehbar – eine zentrale Voraussetzung im professionellen Einsatz.
Damit der Analyseprozess jederzeit überprüfbar bleibt, arbeitet der AI Analyst mit sogenannten „Structured Outputs“. Das bedeutet, dass jeder Schritt der Verarbeitung einem festgelegten Format folgt und einzeln analysiert und bei Bedarf verbessert werden kann. So entstehen nachvollziehbare und stabile Ergebnisse anstelle von schwer einzuordnenden Chatbot-Antworten.
Das sorgt für Vertrauen und macht die Ergebnisse nachvollziehbar.
Auch bei der Erstellung von SQL-Abfragen geht der AI Analyst über klassische Chatbots hinaus. Mithilfe sogenannter „Few Shots“ – gespeicherter Beispielanfragen samt passender SQL-Queries – hat das Modell immer drei relevante Beispiele als Orientierung. Außerdem berücksichtigt es unternehmensspezifisches Vokabular und Synonyme, damit es Fachbegriffe korrekt versteht und präzise umsetzt.
Der AI Analyst ist damit nicht nur ein Gesprächspartner, sondern ein verlässliches Analysewerkzeug, das konsistente Ergebnisse liefert und sich gezielt an die Anforderungen eines Unternehmens anpassen lässt.
Kernkomponenten der Systemarchitektur
Die Architektur des AI Analyst basiert auf drei zentralen Komponenten. Snowflake dient als strukturierte und validierte Datenbasis, in der alle relevanten Unternehmensdaten sowie Feedback zur Antwortqualität gespeichert sind. Zudem sind die Few-Shot-Beispieltabellen in Snowflake materialisiert und werden über Snowflakes Cortex Search dem Bot passgenau zur Kontexterweiterung bereitgestellt. Cortex Search ermittelt via hybrider Suche semantisch und lexikalisch ähnliche Fragen. Die Auswahl von Snowflake folgt der bestehenden Infrastruktur und ist auf andere Plattformen übertragbar.
Microsoft Azure bildet das technische Rückgrat, bietet Skalierbarkeit, DSGVO-Konformität und den Zugriff auf aktuelle OpenAI-Modelle. Durch die Nutzung von Azure OpenAI EU Data Zones bleiben alle Daten garantiert innerhalb der EU. Zusätzlich ermöglicht die Integration mit Microsoft Entra ID eine granulare Zugriffskontrolle, die genau steuert, welcher Nutzer auf welche Daten zugreifen darf.
Als dritte Komponente übernimmt FastAPI die Schnittstellenlogik und gewährleistet die nahezu Echtzeit-Kommunikation zwischen dem Microsoft-Teams-Frontend und dem Backend des Bots.
Von der Frage zur Antwort
Der Verarbeitungsprozess einer Nutzerfrage gliedert sich in insgesamt neun Schritte. Zunächst erfolgt die Eingabe der Fragestellung im Microsoft-Teams-Chat. Anschließend wird mithilfe eines LLM eine Intent-Klassifikation durchgeführt, um zu bestimmen, ob eine Datenbankabfrage erforderlich ist, zusätzliche Informationen benötigt werden oder die Antwort direkt aus dem Businesskontext abgeleitet werden kann.
Darauf folgt die Use-Case-Klassifikation, bei der relevante Datenbereiche identifiziert werden. Basierend auf den in Snowflake strukturierten Data Marts wird festgelegt, in welchen Tabellen nach der Antwort gesucht werden muss.
Im nächsten Schritt werden über Snowflake Cortex Search ähnliche Fragen und passende SQL-Beispiele ermittelt (Few-Shot-Abfrage), die der KI als Orientierung dienen. Anschließend erfolgt die Kontextanreicherung, bei der alle relevanten Informationen zur Laufzeit zusammengestellt und dem LLM zur Verfügung gestellt werden. Dazu gehören der Businesskontext, Tabellen- und Spaltenbeschreibungen des identifizierten Use Cases, Beispielwerte sowie die zuvor gefundenen Few-Shots.
Der gesamte Ablauf dauert nur wenige Sekunden und ersetzt Wartezeiten von Tagen oder Wochen.
Auf dieser Grundlage erzeugt das LLM die SQL-Abfrage, die anschließend einer Validierung unterzogen wird. Dabei wird überprüft, ob sie syntaktisch korrekt ist und ob alle referenzierten Tabellen und Spalten tatsächlich existieren. Bis zu fünf automatische Korrekturschleifen sorgen dafür, dass Fehler erkannt und behoben werden.
Nach erfolgreicher Prüfung wird die Query in Snowflake ausgeführt, und die gewonnenen Rohdaten werden entsprechend aufbereitet. Abschließend übernimmt das LLM die Antwortbereitstellung, indem es die Daten in verständlicher Sprache zusammenfasst und direkt im Teams-Chat ausgibt, optional ergänzt durch einen Excel-Export.
Der AI Analyst im Live-Betrieb
Der Rollout des AI Analyst erfolgt typischerweise in gestaffelten Phasen. Zunächst wird das System mit einer fokussierten Nutzergruppe getestet, bevor es schrittweise auf alle Mitarbeiter ausgeweitet wird. Diese iterative Einführung ermöglicht eine kontrollierte Skalierung und eine frühzeitige Identifikation von Optimierungspotenzialen.
Die modulare Architektur des Systems gewährleistet eine kontinuierliche Weiterentwicklung parallel zu Unternehmensveränderungen. Neue Use Cases lassen sich durch die einfache Anbindung zusätzlicher Data Marts nahtlos integrieren, wodurch der Bot flexibel auf veränderte Geschäftsanforderungen reagieren kann.
Die modulare Architektur des Systems gewährleistet eine kontinuierliche Weiterentwicklung.
Ein zentraler Erfolgsfaktor ist das systematische Feedback-Management. Während der Nutzung können User direkt im Chat mittels Buttons und Freitext Feedback zur Antwortqualität abgeben. Das Nutzerfeedback wird über ein Dashboard analysiert, wodurch sowohl Fehlerbehebungen als auch die Erweiterung der Few-Shot-Beispiele ermöglicht werden.
Diese kontinuierliche Optimierung führt zur sukzessiven Abdeckung von Edge Cases und einer stetigen Verbesserung der Antwortqualität des Systems.
Die Zukunft der datengetriebenen Zusammenarbeit
Die Einführung des AI Analyst steht stellvertretend für eine Entwicklung, die weit über ein einzelnes Projekt hinausgeht. Weltweit wächst der Markt für Conversational AI rasant. IDC prognostiziert ein Volumen von über 31 Milliarden US-Dollar bis 2028, und generative KI kann laut McKinsey einen jährlichen wirtschaftlichen Mehrwert von bis zu vier Billionen US-Dollar schaffen.
Doch jenseits solcher Zahlen geht es vor allem um eine grundlegende Veränderung im Umgang mit Daten: weg von zentralisierten Expertenteams hin zu einer Arbeitsweise, bei der jeder Mitarbeiter direkt im Arbeitskontext verlässliche Antworten auf geschäftsrelevante Fragen erhält.
Entscheidungen entstehen nicht mehr nur auf Basis von Intuition oder Erfahrungswerten, sondern fundiert und datenbasiert – ohne Umwege über spezialisierte Teams. Eine Frage zu aktuellen Zahlen, auf die ein zeitraubender Prozess folgte, wird zu einer selbstverständlichen, alltäglichen Interaktion.
Unternehmen, die heute solche Lösungen einführen, schaffen damit nicht nur effizientere Prozesse, sondern verändern auch ihre Kultur. Sie machen Daten zum festen Bestandteil jeder Entscheidung und eröffnen ihren Teams neue Handlungsspielräume – jeden Montagmorgen aufs Neue.
Du möchtest die Möglichkeiten eines AI Analyst in deinem Unternehmen entdecken?
