Wie funktioniert ChatGPT? Gibt es das auch als Open Source?
Speakers:
Michael Christen (Maintainer von YaCy.net und SUSI.ai, YaCy.net) / Homepage
Scheduled time: Saturday, 11:30 - Room V5 - Duration 90 Min.
Der Vortrag zeigt zunächst in Form einer Zeitreise die Entwicklung von Neuronalen Netzen bis hin zu Transformern und der Architektur von ChatGPT und LLMs (Large Language Models).
Weiterhin wird gezeigt dass man sehr leicht etwas ähnliches wie ChatGPT selber mit Open Source betreiben kann und dies sogar auf einem kleinsten Computer wie einem Raspberry Pi gelingt - in Form einer Live Demo.
Im Kontext werden auch Techniken wie RAG (Retrieval Augmented Generation, Integration von semantischer Suchmaschinentechnik) und LLM-Agents (zusätzliche APIs, Speicher und Planung) erwähnt und erklärt.
Website: https://susi.ai
Desired previous knowledge: Es werden im Vortragsteil über die Geschichte und Funktionsweise von LLMs keine Vorkenntnisse erwartet, vielmehr richtet sich der Vortrag hier an alle interessierte Personen. Im zweiten Vortragsteil über die Inbetriebnahme eines eigenen Sprachmodells nutzen wir einfache Linux Befehle, hier geht es weniger um Linux selbst sondern nur um die Nutzung der Kommandozeile zur Installation von Software von github und zur Inbetriebnahme von Docker. Dies sollte leicht reproduzierbar sein.
Further information: Short paper
Supplemental material: Slides (40334 KiB), Further information (external)
Download MP4 (353 MiB)
