Wie funktioniert ChatGPT? Gibt es das auch als Open Source?

ChatGPT hat das Thema Künstliche Intelligenz 2023 neu belebt. Es gibt nun unter dem Schlagwort „Generative AI“ eine ganz neue Gattung von KI-Werkzeugen, die nicht nur erkennend (z.B. Bilderkennung, Audiotranskription etc.) wirkt, sondern eben generierend (Bild-, Audio-, Text-Generierung) ist. Zur Text-Generierung existieren freie Sprachmodelle (LLMs, Large Language Models) mit Open Source – lizensierten Mitteln (Daten und Programme) bereitgestellt werden.

Der Vortrag hat zwei Abschnitte:

1. Abschnitt: Theorie und Funktionsweise von Sprachmodellen

Wir interessiern uns im Rahmen dieses Vortrags für die Funktionsweise von LLMs – und damit auch für die Funktionsweise von ChatGPT. Zum Verständnis dieser komplexen Materie ist Hintergrundwissen der verwendeten Technologieen notwendig; dieses wird im Rahmen dieses Vortrags in einer Zeitreise über 120 Jahren anschaulich so präsentiert, dass auch mit geringem Vorwissen den Zuhörenden ein Verständnis der Materie näher gebracht wird.

2. Abschnitt: Installation von Sprachmodellen und Anwendungen auf dem eigenen Rechner

Damit das Wissen nicht nur aus Theorie besteht und den Zuhörenden die Möglichkeit gegeben werden soll, ein eigenes Sprachmodelle selbst in Betrieb zu nehmen und Anwendungen darauf entwickeln zu können, schliesst sich ein Praxisteil an. Wir nehmen als Hardwaregrundlage einen Raspberry Pi und installieren darauf freie Software und ein frei lizensiertes Sprachmodell. Der Raspberry Pi dient dabei nur als kleinste annehmbare Hardware, hier kann jede Person selbst eine andere Linux-basierte Hardware (z.B. den eigenen Laptop) nehmen um den Praxisteil zu reproduzieren.

Sprachmodelle sind nur ein Bestandteil von Anwendungs-Architekturen, das Modell selbst prägt seine Funktion in Form einer API aus und Anwendungen sind Client-Applikationen auf solchen APIs. Wir erklären hierbei die OpenAI-API, welche ebenfalls bei freien Sprachmodellen implementiert wird und somit ein Drop-In Replacement für ChatGPT darstellt. Eine typische Anwendung ist ein Chat-Interface, es sind aber auch Integrationen in sogenannte LLM-Agents möglich. Weiterhin können LLMs mit aktuellen oder privaten Daten verknüpft werden, dies geschieht mit Hilfe von RAG (Retrieval Augmented Generation, Integration von semantischer Suchmaschinentechnik). Im Praxisteil erläutern wir das Konzept und zeigen auch Anwendungen.


- Gibt es eine praktische Vorführung im Rahmen des Beitrages?
Ja!

- Welche einschlägigen Webseiten/Literaturquellen gibt es zum Thema?
Der Vortrag und die installierte Software wird unter https://susi.ai und https://github.com/yacy/yacy_expert bereitgestellt. Im Kontext liefern wird auch eine sehr umfangreiche Quellenangabe zur Timeline in https://github.com/yacy/yacy_expert/blob/master/doc/AI_Timeline.txt

- Welches Vorwissen ist erforderlich?
Es werden im Vortragsteil über die Geschichte und Funktionsweise von LLMs keine Vorkenntnisse erwartet, vielmehr richtet sich der Vortrag hier an alle interessierte Personen.
Im zweiten Vortragsteil über die Inbetriebnahme eines eigenen Sprachmodells nutzen wir einfache Linux  Befehle, hier geht es weniger um Linux selbst sondern nur um die Nutzung der Kommandozeile.