Michael Rifkin

Explainable AI: Nachvollziehbare Antworten mit GraphRAG Die rasante Entwicklung von Künstlicher Intelligenz (KI) und insbesondere von großen Sprachmodellen (LLMs) wie ChatGPT hat in vielen Bereichen neue Möglichkeiten eröffnet. Doch trotz ihrer beeindruckenden Fähigkeiten gibt es ein zentrales Problem: die Nachvollziehbarkeit der Antworten. Warum ist das wichtig, und wie können Technologien wie GraphRAG helfen, Antworten nachvollziehbarer zu machen? Die Notwendigkeit von Nachvollziehbarkeit In sensiblen Branchen wie dem Bankwesen oder der Medizin ist Transparenz von zentraler Bedeutung. Banken müssen Entscheidungen über Kreditvergaben oder Risikobewertungen klar begründen können. In der Medizin ist es lebenswichtig, die Grundlagen von Diagnosen oder Therapieempfehlungen zu verstehen. Fehlerhafte oder unklare Informationen können gravierende Folgen haben. Hier zeigt sich…

Große Sprachmodelle (LLMs) wie GPT arbeiten mit Textdaten, um Aufgaben wie das Verfassen von Texten, das Beantworten von Fragen oder die Übersetzung von Sprachen zu bewältigen. Dabei spielen die Begriffe „Tokens“ und „Chunks“ eine zentrale Rolle. In diesem Blogeintrag erklären wir, was es damit auf sich hat und warum sie für die Funktionsweise von LLMs so wichtig sind. Was sind Tokens? Ein Token ist eine kleinere Einheit eines Textes, die ein Sprachmodell verarbeitet. Tokens können aus Wörtern, Wortteilen oder sogar einzelnen Zeichen bestehen. Die genaue Definition eines Tokens hängt von der Tokenizer-Strategie ab, die das Modell verwendet. Zum Beispiel: Die Anzahl der Tokens in einem Text hängt also davon ab,…

Wie funktioniert CAG (RAG using Cache) überhaupt? CAG kombiniert die Grundidee von RAG mit einem Zwischenspeicher (Cache), der häufig abgefragte oder berechnete Informationen speichert. Dadurch können wiederholte Datenbankabfragen oder Berechnungen vermieden werden. Die Haumptmerkmale eines CAG Bevor wir über die Funktionsweise eines CAG sprechen, möchte ich dir drei Begriffe in diesem Zusammenhang erklären: Wie funktioniert es nun? Vorteile von CAG Cache-Hit-Rate Wann sollte CAG (RAG using Cache) eingesetzt werden?Die Effektivität des Systems hängt davon ab, wie viele Anfragen den Cache nutzen können. CAG ist eine leistungsstarke Technik, die das Beste aus Retrieval-Augmented Generation herausholt und dabei die Effizienz durch einen Cache-Mechanismus erheblich steigert. Besonders in Anwendungen mit hohem Anfragevolumen (hoher…

In der heutigen digitalen Welt gewinnen große Sprachmodelle (LLMs) immer mehr an Bedeutung. Sie sind in der Lage, menschenähnliche Texte zu generieren, komplexe Fragen zu beantworten und sogar kreative Aufgaben zu übernehmen. Eine der spannendsten Entwicklungen in diesem Bereich ist sicherlich Ollama, eine Open-Source-Plattform, die es ermöglicht, diese leistungsstarken Modelle lokal auf deinem Computer auszuführen. Was ist Ollama? Ollama ist eine Plattform, die entwickelt wurde, um die Nutzung von großen Sprachmodellen zu vereinfachen. Im Gegensatz zu vielen anderen Lösungen, die eine ständige Internetverbindung erfordern, können Sie mit Ollama Modelle wie Llama 2, Mistral und viele andere direkt auf Ihrem Gerät ausführen. Dies bietet mehrere Vorteile: Wie funktioniert Ollama? Ollama nutzt…

Vektoren und Einbettungen sind wie eine Art Übersetzung. Sie helfen dem Computer, die Bedeutung von Wörtern und Texten zu verstehen, indem sie sie in Zahlen umwandeln. Stell dir vor, du möchtest alle Wörter einer Sprache in einem Raum anordnen. Jedes Wort bekommt einen bestimmten Platz in diesem Raum zugewiesen. Wörter, die sich ähnlich bedeuten oder oft zusammen vorkommen (z.B. „Katze“ und „Hund“), werden nahe beieinander platziert. Wörter mit völlig unterschiedlichen Bedeutungen liegen weiter auseinander. Dieser Raum ist ein Vektorraum, und die Position jedes Wortes in diesem Raum wird durch einen Vektor beschrieben. Dieser Vektor ist eine Zahlenfolge, die die Koordinaten des Wortes im Raum angibt. Was sind nun Vektoren? Was…