KI Chat mit eigener Suchmaschine: RAG in YaCy
Referierende:
Michael Christen (Berater, YaCy.net) / Homepage
Termin: So, 13:00 - Raum V7 - Dauer 30 Min.
Möchte man eine spezielle Datenmenge mit einem KI Chat verbinden, so muss man diese Daten in einer speziellen Art und Weise mit Chat-System verbinden, die man RAG (Retrieval Augmented Generation) nennt. Man benötigt dazu eine Suchmaschine für diese speziellen Daten und ein Chat-System, das die Suche in dieser Suchmaschine durchführt.
Hier bietet es sich an, in YaCy einen KI Chat einzubauen, damit der YaCy Suchindex für den Chat genutzt werden kann. Genau das haben wir gemacht und zeigen:
- wie man in YaCy einen geeigneten Suchindex aufbaut
- wie man ein lokales LLM Inference System installiert (mit Ollama)
- wie man YaCy so konfiguriert, dass es das LLM verwendet
- wie das Chat System in YaCy aussieht.
Das ist genau die Lösung für das, was ansonsten bei Cloud-Diensten als "GPT" oder "Agent" angeboten wird. Hier ist es aber ein KI/RAG System, das auf dem eigenen Rechner läuft und damit auch im Intranet oder für private Daten geeignet ist.
Erwünschte Vorkenntnisse: keine / "schon mal ChatGPT benutzt"
