Amdahlsches Gesetz
Einen Teil einer Arbeit zu beschleunigen, hilft nur für diesen Teil. Macht ein Schritt die Hälfte der Zeit aus, spart man selbst dann nur die Hälfte, wenn er sofort erledigt ist.
Glossar · KI von morgen
Glossar
Die Fachwörter des Notizbuchs, einfach erklärt. Auf den Seiten ist das erste Vorkommen jedes Begriffs gepunktet unterstrichen und verweist hierher.
Benchmark
Eine Reihe von Fragen mit bekannten Antworten, um Modelle nach denselben Regeln zu vergleichen. MMLU, GSM8K oder AIME sind Beispiele.
Bestärkendes Lernen
Lernen durch Versuch und Irrtum: Das Modell probiert, eine Note belohnt es oder nicht, und es passt seine Parameter an, um bessere Noten zu bekommen. So werden viele Denkmodelle trainiert.
Destillation
Das Wissen eines großen „Lehrer“-Modells an ein kleineres „Schüler“-Modell weitergeben, indem man den Schüler auf den Antworten des Lehrers trainiert. In diesem Notizbuch sprechen wir auch davon, Wissen in Programme zu destillieren.
Expertenmischung (MoE)
Ein Modell, aufgeteilt in viele Teilnetze, die „Experten“. Für jedes Token schaltet ein kleiner Verteiler nur wenige davon ein: viel Wissen für wenig Rechenaufwand.
Externer Speicher
Ein Bestand an Texten oder Karteikarten, den das Modell nachschlägt, statt alles in seinen Parametern zu behalten, so wie man ein Wörterbuch aufschlägt, statt es auswendig zu lernen.
Inferenz
Die Nutzung des Modells nach dem Training: eine Frage beantworten. Diese Kosten fallen bei jeder Antwort an, daher das Interesse, sie zu senken.
Kaskade (und Verteiler)
Man fragt zuerst ein kleines, billiges Modell und steigt nur zum großen auf, wenn die Antwort nicht überzeugt. Der Verteiler ist das Programm, das entscheidet, wohin jede Frage geht. In einer Expertenmischung wählt ein Verteiler ebenso aus, welche Experten anspringen.
Kollaps (Model Collapse)
Was passiert, wenn Modelle vor allem aus Texten lernen, die andere Modelle geschrieben haben: Zuerst verschwinden die seltenen Fälle, dann sinkt die Qualität von Generation zu Generation.
Parameter (Gewicht)
Eine Zahl, die beim Training eingestellt wird. Ein Modell enthält Milliarden davon, und zusammen bilden sie sein Wissen. Bild: die Milliarden kleiner Regler an einem riesigen Mischpult.
Prüfer (Richter)
Was sagt, ob eine Antwort stimmt: Tests für Code, eine Rechnung für Mathematik oder ein anderes Modell. Prüfen ist oft viel leichter als Finden.
Quantisierung (weniger Bits)
Jede Zahl des Modells mit weniger Bits schreiben. Mit 16 Bit kann eine Zahl 65 536 Werte annehmen, mit 4 Bit nur 16. Wie Preise auf den Euro runden: leichter, etwas ungenauer.
Skalierungsgesetz
Ein gemessener Zusammenhang zwischen der Größe eines Modells, der Datenmenge und der erreichten Qualität. Er erlaubt, das Ergebnis eines großen Trainings aus kleinen vorherzusagen.
Speichermauer
In einem Computer kostet es weit mehr Energie und Zeit, eine Zahl zwischen Speicher und Recheneinheit zu bewegen, als die Rechnung selbst. Das ist eine der Hauptbremsen großer Modelle.
Spekulatives Dekodieren
Ein kleines Modell schlägt mehrere Wörter im Voraus vor, und das große prüft sie alle in einem Durchgang. Der fertige Text ist derselbe wie beim großen Modell, entsteht aber schneller.
Token
Das Textstück, das ein Modell liest: oft ein kurzes Wort oder ein Wortteil. „Unglaublich“ kann drei Tokens ergeben. Datenmengen und Preise werden in Tokens gezählt.
Training
Die Phase, in der das Modell lernt: Es liest Texte, rät, was folgt, und seine Parameter werden nach jedem Fehler korrigiert. Das ist lang und teuer, geschieht aber nur einmal.
Verlust (Loss)
Die Fehlernote des Modells beim Training: Je niedriger sie ist, desto besser rät es, was folgt. Oft vergleicht man zwei Methoden „bei gleichem Verlust“.