Generative KI

Das Aufkommen von generativer KI und den dazugehörigen Large Language Models (LLMs) eröffnet völlig neue Möglichkeiten für Bots, um Interaktionen natürlicher, vielseitiger und effizienter zu gestalten. Verschiedene Anbieter bieten Modelle an, die flexibel in unterschiedliche Anwendungen integriert werden können. 

Die meisten dieser Modelle sind ausschließlich in der Cloud verfügbar, während einige auch als On-Premises-Lösungen installiert werden können. Unabhängig davon, ob sie in der Cloud oder lokal eingesetzt werden, sollte die Nutzung stets DSGVO-konform erfolgen und den Anforderungen des EU AI Acts entsprechen, um rechtliche und ethische Standards einzuhalten.

Generative KI kann auf mehreren Ebenen eingesetzt werden, um Bots zu unterstützen und ihre Leistungsfähigkeit zu erweitern:

1. Unterstützung bei der Erstellung von Bots

• Automatisierte Antwortgenerierung: Generative KI kann genutzt werden, um Bot-Antworten automatisch zu erstellen, wodurch Entwicklungszeiten drastisch verkürzt werden.
• Generierung von Trainingsmaterial: Die KI kann Variationen von Benutzereingaben simulieren, die zur Verbesserung der Intent- und Entity-Erkennung des Bots genutzt werden.
• Verhaltenssimulation: Durch die Nachbildung des Verhaltens potenzieller Nutzer können verschiedene Szenarien durchgespielt und der Bot gezielt darauf optimiert werden.

2. KI-Assistenten zur Interaktion

• Standardisierte Reaktionen: Bots können KI-Assistenten verwenden, um Benutzereingaben dynamisch zu interpretieren und zu beantworten.
• Individuelle Anpassung: Der Assistent wird über Systemanweisungen ("Prompting") und Anwendungsdaten konfiguriert. So können spezifische Funktionen definiert werden, z. B. die Übergabe der Kontrolle an den Bot zur weiteren Verarbeitung einer Aufgabe (z.B. eines Geschäftsfalls wie eine Überweisung im Zahlungsverkehr).

3. Retrieval-Augmented Generation (RAG)

• Für komplexe Systeme mit großen, individuellen Datensätzen bietet die RAG-Architektur eine besonders flexible Lösung. Sie kombiniert die Stärken der generativen KI mit einer effizienten Datenabfrage aus Wissensquellen.

Retrieval-Augmented Generation (RAG)

Ein RAG-System besteht aus zwei zentralen Komponenten:

1. Embedding

• Datensammlung: Anwendungsdaten werden aus verschiedenen Quellen wie Webseiten („Scraping“), Dokumenten oder Datenbanken extrahiert.
• Chunking: Die Daten werden in kleinere Einheiten ("Chunks") aufgeteilt. Jeder Chunk enthält ein Wissenselement mit begrenzter Größe, die auf die Verarbeitungskapazitäten des LLM abgestimmt ist.
• Vektorisierung: Jeder Chunk wird mithilfe des LLMs in einen Vektor umgerechnet. Dieser Vektor repräsentiert den Inhalt im Merkmalsraum und kann aus tausenden Dimensionen bestehen.
• Vektordatenbank: Alle erzeugten Vektoren werden in einer speziellen Vektordatenbank gespeichert.
• Abfrage durch Benutzereingaben: Benutzereingaben werden ebenfalls in Vektoren umgewandelt. Die KI sucht dann in der Datenbank nach Vektoren, die im Vektorraum räumlich der Eingabe am nächsten kommen. Diese Vektoren repräsentieren die potenziell relevantesten Informationen.

2. Generierung der Antwort

• Datenabfrage und Prompting: Die zu den gefundenen Vektoren gehörigen Chunks und die Benutzereingabe werden zusammen mit spezifischen Anweisungen („Prompts“) an die generative KI übergeben.
• Antworterstellung: Die KI generiert eine textuelle Antwort, die die abgerufenen Informationen sinnvoll integriert und präsentiert.

Qualitätskontrolle in der RAG-Architektur

• Cluster-Analyse: Die Vektoren in der Datenbank werden analysiert, um logische Gruppen (Cluster) zu bilden, die idealerweise Wissensdomänen (z. B. Tarifmodelle oder Mobilfunkgeräte) repräsentieren.
• Automatische Cluster-Bestimmung: Mithilfe von LLMs werden die Inhalte der einzelnen Cluster zusammengefasst.
• Manuelle Optimierung: Fehlende Informationen oder Lücken im Wissen können durch gezielte Überprüfung der Cluster erkannt werden. 
  Beispiel: Ein Cluster zu "Filialen" könnte zeigen, dass Benutzer häufig nach der nächstgelegenen Filiale suchen. Diese Information ist oft nicht direkt in den Unternehmensdaten verfügbar und muss separat behandelt werden.

Ethische und rechtliche Aspekte

Beim Einsatz von generativer KI müssen ethische und rechtliche Vorgaben, wie die DSGVO oder der EU AI Act, berücksichtigt werden. Insbesondere beim Umgang mit sensiblen Daten oder der Beantwortung kritischer Anfragen ist Transparenz entscheidend.

Das CreaLog Bot Framework bietet umfangreiche Monitoring- und Analyse-Möglichkeiten, die:

• eine transparente Nachvollziehbarkeit der KI-Entscheidungen ermöglichen,
• den Einsatz kontrollierbar machen, und
• die Einhaltung von gesetzlichen Vorgaben gewährleisten.

Fazit

Generative KI, unterstützt durch leistungsstarke Modelle und Architekturen wie RAG, revolutioniert die Art und Weise, wie Bots Inhalte verarbeiten, Wissen abrufen und mit Nutzern interagieren. Durch die Kombination von Echtzeitdaten, intelligenter Analyse und benutzerzentrierten Antworten schaffen Bots nicht nur eine effizientere Interaktion, sondern setzen auch neue Standards in der digitalen Kommunikation.