Wie arbeitet ein großes Sprachmodell?

In dem Artikel „KIller Instinkt“ in raum&zeit 247 wurde nicht explizit darauf hingewiesen, dass Large Language Models (LLM, Große Sprachmodelle) nicht mit AGI (Artificial General Intelligence) identisch sind. AGI (bislang hypothetisch) besitzen kognitive Fähigkeiten und können strategisch vorgehen. Man kann nicht ausschließen, dass sich eine AGI selbstständig macht. LLMs dagegen sind reine Sprachverarbeitungsprogramme ohne eigene kognitive Fähigkeiten. Sie erwecken beim Anwender den Eindruck, es mit einer bewussten Wesenheit zu tun zu haben, weil sie auf neuronalen Netzwerken basieren. Diese arbeiten nicht mit Algorithmen. Interessant ist, dass LLMs zwar mit unzähligen Informationen gefüttert werden, diese sind jedoch nicht als Datenbanken fest ins LLM eingebaut. Man darf es sich also nicht so vorstellen, als ginge jemand in eine Bibliothek, um in einem Buch (=Datenbank) eine bestimmte Information zu suchen. Vielmehr sind die Informationen aus diesem Buch und Tausenden weiteren in einer Struktur des LLM angeordnet, die Fachleute „Hyper-Dimensional Probability Relationship Network“ (deutsch etwa „Hyperdimensionales Wahrscheinlichkeitsbeziehungssystem“) nennen. Dieses ermöglicht es dem LLM, das nächste folgende Wort eines Satzes aufgrund ihres Trainings vorherzusagen. Da dieser Prozess stochastisch (also nicht-deterministisch) ist, variieren die Antworten meist etwas. Man stelle sich zig Milliarden Lichtpunkte in einem Raum vor, jeder Lichtpunkt repräsentiert ein Token (Sprachelement). Von jedem Lichtpunkt gehen Pfeile unterschiedlicher Gewichtung zu anderen Lichtpunkten. Die jeweilige Stärke der Pfeile repräsentiert die Beziehung eines Tokens zu den anderen. Der Computer simuliert so ein neuronales Netzwerk, arbeitet also wie ein menschliches Gehirn. Und wie dieses ein bestimmtes Weltbild aufgrund der zur Verfügung stehenden Informationen entwickelt, kann auch ein LLM eine Art Weltbild annehmen. Speist man es z. B. ausschließlich mit Wikipedia-Infomationen (ein Vorschlag, der bereits ernsthaft vorgebracht wurde), so wird es unseren herrschenden Zeitgeist widerspiegeln und beispielsweise sagen, dass ein Mann menstruieren könne. Allerdings besteht bei einem Basis-LLM die Möglichkeit, vorhandene Informationen durch Training mit anderen Daten zu aktualisieren oder zu überschreiben. Dann werden die Gewichte und Parameter des Modells entsprechend angepasst, um die neuen Informationen zu integrieren. (s. hierzu auch Infopunkt „Infrastruktur der Freiheit“ auf S. 46) (DS)

Bildnachweis Einstiegsbild: © Matthieu/Adobe Stock