Elasticsearch Relevance Engine
Generative KI trifft Unternehmensdaten
Die Elasticsearch Relevance Engine (ESRE) von Elastic ermöglicht es, generative KI für den Einsatz mit Unternehmensdaten heranzuziehen. Matt Riley, General Manager Enterprise Search bei Elastic, erläuterte im Gespräch mit LANline, welche Möglichkeiten dies eröffnet und wie ein Anwenderunternehmen dabei vorgehen sollte.
„Die Relevance Engine, die wir gebaut haben, ist im Grunde eine Zusammenstellung leistungsstarker Datenabfragetechniken, darunter die lexikalische Suche auf der Basis von BM25, die schon seit jeher die Basis für Datenabfragen und Relevanz-Rankings bei Elasticsearch bildet“, sagt Matt Riley, Director of Engineering bei Elastic. „Aber sie enthält auch zusätzliche Features, die in den letzten Jahren aufgekommen sind.“ So unterstütze ESRE neben der Vektorsuche jetzt mit Hybrid Search auch eine Kombination der beiden Verfahren.
All diese Ansätze erfordern laut Riley unterschiedliche Technologien und Implementierungen. Hybrid Search nutze dabei RRF (Reciprocal Rank Fusion), eine Methode, um mehrere Ergebnislisten mit unterschiedlichen Relevanzindikatoren zu einer einzigen Ergebnismenge zusammenzuführen.
Bislang pflegten Unternehmen ihre verteilten Datenbestände anhand von Schlagwörtern zu durchsuchen. Dies ändere sich nun durch die neuen Transformer-Modelle wie GPT-3 und -4: „Mit den Neuerungen wollen wir sie (die Anwender, d.Red.) in die Lage versetzen, mehr Fragen in natürlicher Sprache zu stellen und sehr viel präzisere Antworten zu erhalten“, so Riley, „nicht nur eine Reihe von Links, sondern beispielsweise eine Zusammenfassung dessen, was gefunden wurde.“
Dabei ermögliche es Elastic den Anwendern nun, eigene Transformer-Modelle mit Elasticsearch zu nutzen. „Dass man einen Transformer in Elasticsearch einbringen und das Transformer-Modell ausführen kann, um zum Beispiel Vektoren für die Vektorensuche zu kreieren, ist eine neue grundlegende Fähigkeit“, so Riley. Damit könne ein Unternehmen die Relevanzmodelle erstellen, die für seine Anwendungen am besten geeignet sind.
Das Zusammenspiel zwischen Elastics Relevanz-Ranking und Transformer-Modellen beschreibt Riley so: Elasticsearch könne einem Unternehmen zum Beispiel helfen, die für eine Fragestellung jeweils wichtigsten fünf oder zehn Dokumente im internen Datenpool aufzuspüren; „und dann“, so Riley, „können wir diese Modelle auffordern: ,Hey, kannst du bitte diese Frage im Zusammenhang mit den Daten beantworten, die wir aus dem internen Inhaltskorpus abgerufen haben?’“
Damit schließe ESRE eine Lücke beim Einsatz generativer KI wie ChatGPT. Denn die großen Sprachmodelle (Large Language Models, LLMs) seien sehr leistungsstark, so Riley, aber: „Sie haben kein Wissen über das spezifische Unternehmen oder über die spezifischen internen Daten in diesem Unternehmen. Sie brauchen also ein Context Window.“ Gemeint ist: eine Reihe von Tokens, die das KI-Modell nutzen kann, um den Kontext für seinen Output herzustellen.
ESRE erlaube es einem Anwenderunternehmen, eben diesen Kontext für die Arbeit mit einem LLM zu erstellen. „Dazu müssen wir die Abfrage in natürlicher Sprache mit verschiedenen Arten semantischer Suche verarbeiten“, so Riley. „Das geht nicht ‚out of the Box‘ mit einer herkömmlichen BM25-Schlagwortsuche.“
Einfachere Nutzung generativer KI
Wichtig nicht zuletzt aus Datenschutzperspektive: Elastics ESRE erleichtert die Nutzung generativer KI im Unternehmen selbst – man ist also nicht auf den Umweg über einen US-amerikanischen Cloud-Service angewiesen. „GPT-3 und -4 sind sehr, sehr große Sprachmodelle, die Hunderte von GByte RAM benötigen“, führt Riley aus, „aber wir sehen, dass diese Modelle im Laufe der Zeit immer weiter verfeinert werden. Sie benötigen immer weniger Speicher und immer weniger Rechenleistung, um die Aufgaben in natürlicher Sprache zu erfüllen, die sie so gut erledigen können. Wenn diese Modelle destilliert werden, können wir sie in Elasticsearch speichern und lokal ausführen lassen.“
Dabei arbeitet ESRE aber nicht direkt mit ChatGPT zusammen „Mit ChatGPT können wir so nicht vorgehen, weil GPT nicht Open Source ist“, sagt Riley. „Aber es gibt eine große Familie, ja ein ganzes Universum von Open-Source-LLMs, die man heute schon in Elasticsearch laden kann.“
Über diese Open-Source-LLMs sagt Riley: „Sie können Fragen beantworten oder Texte zusammenfassen, vielleicht mit dem Vorbehalt, dass sie heute noch etwas weniger performant sind als etwas so Mächtiges wie GPT. Aber wir erwarten, dass wir mit der Zeit in der Lage sein werden, den Anwendern diese Art von Leistung zu bieten, während alles komplett lokal läuft.“
Wie aber sollte ein Unternehmen vorgehen, um generative KI mittels ESRE für sich fruchtbar zu machen? „Das Wichtigste bei der Nutzung von Elastic für so etwas ist zunächst einmal, dass alle Ihre Daten in Elasticsearch indiziert werden“, erläutert Riley. „Wir haben dafür eine Reihe von Konnektoren, also sofort einsatzfähige Software, die mit Google Drive oder Confluence kommuniziert und Ihre internen Inhalte für Sie in Elasticsearch indiziert.“ Diese Konnektoren seien größtenteils Point-and-Click, erforderten also keine Software-Expertise.
Anders sehe die Lage aus, wenn Unternehmen hauseigene Tools oder Datenbanken verwenden. „In diesen Fällen benötigen sie einen Softwareentwickler, der einen Ingestion-Prozess einrichtet, um die Inhalte zu indizieren“, sagt Riley. „Danach interagiert man in erster Linie per APIs und mit bereits trainierten Modellen, die man aus Repositories wie Hugging Face abrufen kann.“
Ein Unternehmen müssel also nicht unbedingt Data-Science-Fachwissen im Hause haben, um ein Open-Source-Modell verwenden zu können. „Wenn Sie jedoch über dieses Fachwissen verfügen“, so der Elastic-Fachmann, „können Sie Ihr eigenes Modell erstellen, komplett offline trainieren und es, sobald es trainiert ist, in Elasticsearch übernehmen.“
Unterstützung für dieses Projekt finde man direkt bei Elastic oder aber bei Partnern: „Wir haben hier bei Elastic interne Teams, die Beratung und professionelle Dienstleistungen anbieten“, sagt Riley. „Und wir haben eine starke Partner-Community, weil wir auf Open-Source-Software aufbauen, sodass viele Unternehmen um Elasticsearch herum entstanden sind.“
Die Einstiegshürde liege dabei niedrig, wie Riley betont: „Es gibt nicht viele Schranken für die Software hier bei Elastic. Man kann sie herunterladen und auf dem eigenen Laptop ausführen oder in unserer Cloud mit einer kostenlosen Testversion nutzen. Es ist Open Software, auf die man zugreifen und aufbauen kann, sei es selbsttätig oder mit Hilfe eines unserer internen Beratungsteams oder eines externen Partners. All diese Optionen stehen offen.“
Lesen Sie mehr zum Thema
