KI-Chat mit eigener Suchmaschine: RAG in YaCy
Referierende:
Michael Christen (Berater, YaCy.net) / Homepage
Termin: So, 13:00 - Raum V7 - Dauer 30 Min.
Möchte man eine spezielle Datenmenge mit einem KI-Chat verbinden, so muss man diese Daten in einer speziellen Art und Weise mit dem Chat-System verbinden, die man RAG (Retrieval Augmented Generation) nennt. Man benötigt dazu eine Suchmaschine für diese speziellen Daten und ein Chat-System, das die Suche in dieser Suchmaschine durchführt.
Hier bietet es sich an, in YaCy einen KI-Chat einzubauen, damit der YaCy-Suchindex für den Chat genutzt werden kann. Genau das haben wir gemacht und zeigen:
- wie man in YaCy einen geeigneten Suchindex aufbaut,
- wie man ein lokales LLM Inference System installiert (mit Ollama),
- wie man YaCy so konfiguriert, dass es das LLM verwendet,
- wie das Chat System in YaCy aussieht.
Das ist genau die Lösung für das, was ansonsten bei Cloud-Diensten als »GPT« oder »Agent« angeboten wird. Hier ist es aber ein KI/RAG-System, das auf dem eigenen Rechner läuft und damit auch im Intranet oder für private Daten geeignet ist.
Erwünschte Vorkenntnisse: keine bzw. »schon mal ChatGPT benutzt«
