Michael Rifkin

In der Welt der KI-gestützten Informationsverarbeitung spielt die präzise Beantwortung von Fragen eine zentrale Rolle – besonders bei Retrieval-Augmented Generation (RAG). Eine Schlüsselkomponente solcher Systeme sind Transformer-Modelle, die nach dem Abrufen relevanter Textstellen aus einer Vektordatenbank zum Einsatz kommen. Die Rolle von Transformer-Modellen in RAG In einer RAG-Pipeline besteht der erste Schritt darin, passende Dokumentenabschnitte aus einer Vektordatenbank abzurufen – also jenen Kontext, der mit der Benutzerfrage am besten übereinstimmt. Anschließend übernimmt ein Transformer-Modell die Aufgabe, basierend auf diesem Kontext eine Antwort zu generieren. Diese Modelle sind besonders leistungsfähig, wenn es darum geht, die Feinheiten der menschlichen Sprache zu erfassen und Informationen aus mehreren Textquellen zusammenzuführen. So entstehen fundierte und…

Was ist eine Vektordatenbank und warum ist sie wichtig? Vektordatenbanken speichern sogenannte „Vektoren“. Das sind Zahlenlisten, die den Inhalt von Texten oder Bildern beschreiben. Diese Technik wird zum Beispiel bei Chatbots oder Suchsystemen mit Künstlicher Intelligenz (KI) verwendet. Wenn man viele Dokumente hat, hilft eine Vektordatenbank dabei, schnell die Inhalte zu finden, die zu einer Frage passen – nicht nur mit Schlüsselwörtern, sondern auf Basis der Bedeutung. Normale Datenbanken sind für strukturierte Daten gedacht, zum Beispiel Tabellen. Vektordatenbanken sind speziell dafür gemacht, Millionen oder sogar Milliarden solcher Vektoren schnell zu durchsuchen. Das ist besonders wichtig, wenn man viele Daten hat – zum Beispiel 10 Gigabyte an Texten. Welche Open-Source-Vektordatenbanken gibt…

Bei der Entwicklung moderner NLP-Anwendungen, insbesondere im Bereich der Retrieval-Augmented Generation (RAG) oder semantischen Suche, ist die Generierung von Text-Embeddings ein zentraler Bestandteil. Doch bei großen Datenmengen kann dieser Prozess schnell zu einem Engpass werden. In diesem Beitrag zeige ich praxisnahe Strategien zur Optimierung der Embedding-Geschwindigkeit, ohne die Modellqualität aus den Augen zu verlieren. 1. Beschleunigung durch spezialisierte Bibliotheken Für eine besonders schnelle Embedding-Generierung lohnt sich der Einsatz optimierter Bibliotheken wie fastembed. Diese nutzt die ONNX-Laufzeitumgebung, die im Vergleich zur traditionellen PyTorch-Inferenz signifikante Performance-Vorteile bieten kann – besonders bei CPU-basierten Deployments. 2. GPU-Nutzung für maximale Performance Wenn GPU-Ressourcen zur Verfügung stehen, sollte deren Potenzial unbedingt genutzt werden. Bibliotheken wie sentence-transformers…

Einleitung Künstliche Intelligenz (KI) verändert, wie Unternehmen mit Dokumenten arbeiten. Besonders große Sprachmodelle (LLMs) helfen dabei, Texte zu verstehen und Fragen zu beantworten. Viele glauben, dass das beste LLM-Modell die besten Ergebnisse liefert. Doch in Wirklichkeit ist etwas anderes viel wichtiger: die richtige Aufbereitung der Daten. Die Herausforderung unstrukturierter Daten Rund 80 % aller Daten weltweit sind unstrukturiert. Dazu gehören Word-Dokumente, Excel-Tabellen, PDFs und Bilder. Während sich Word- und Excel-Dateien relativ einfach für ein LLM aufbereiten lassen, sind PDFs und Bilder eine viel größere Herausforderung. Das liegt daran, dass sie oft keine klare Struktur haben und die wichtigen Informationen erst herausgefiltert werden müssen. Warum PDFs und Bilder so schwer zu…

Die Welt ist voller unstrukturierter Daten. Von Artikeln, Blogs, sozialen Medien bis hin zu wissenschaftlichen Berichten – ein Großteil der wertvollen Informationen liegt in Form von Text vor. Aber wie können wir aus diesen Daten konkrete Fakten und Beziehungen extrahieren? Hier kommt OpenIE (Open Information Extraction) ins Spiel, eine Methode, die Informationen aus Texten automatisiert extrahiert und sie in strukturierte Form überführt. Was ist OpenIE? OpenIE steht für Open Information Extraction und bezeichnet eine Technik der Informationsextraktion (IE), die darauf abzielt, Fakten, Beziehungen und Entitäten aus unstrukturierten Texten zu identifizieren. Dabei unterscheidet sich OpenIE von traditionellen IE-Methoden, die oft vordefinierte Ontologien oder domänenspezifische Regeln erfordern. OpenIE arbeitet domänenunabhängig und verwendet…