Strikte Reihenfolge
Vom Leichten zum Schweren nach Wortschatzvielfalt sortiert, ergibt sich +1,8 % mittlere Genauigkeit mit 17,9 % weniger Schritten.
Vertiefung · Folio II
Geordnet lernen
Niemand lernt mit Proust lesen. Trotzdem trainiert man Modelle, indem man alles zufällig mischt. Was passiert, wenn man ihnen die Texte vom einfachsten bis zum schwierigsten vorlegt?
Die Idee, einfach erklärt
Heute werden die Milliarden Trainingstexte zufällig gemischt und nur einmal gelesen. Auf einen Kindertext kann ein Aufsatz über höhere Mathematik folgen.
Curriculum Learning (Lernen nach Lehrplan), 2009 von Yoshua Bengio vorgeschlagen, geht von einer Schulintuition aus: mit dem Leichten beginnen, Schritt für Schritt aufsteigen. Es ist eine Hierarchie in der Zeit: Die Daten bleiben gleich, nur die Reihenfolge ändert sich.
Wie man vorgeht
Es braucht drei Zutaten. Ein Schwierigkeitsmaß: Eine Maschine weiß nicht, was „schwer“ ist, sie braucht einen berechenbaren Anhaltspunkt. Ein Tempo: auf einen Schlag vom Leichten zum Schweren springen oder sanft ansteigen. Einen Zeitpunkt: das ganze Training ordnen oder nur den Anfang.
Die Studie von Zhang und Koautoren (EACL 2026) prüfte 15 Maße und behielt sechs. Die nützlichsten: die Kompressionsrate (ein Text, der sich gut komprimieren lässt, ist repetitiv, also leicht), die Wortschatzvielfalt (MTLD) und die Länge des Textes. Die Perplexität, also die Überraschung des Modells, hilft anfangs und drückt dann die Ergebnisse: „überraschende“ Texte sind oft einfach Rauschen.
Quelle: Zhang et al., Beyond Random Sampling (EACL 2026)
Abb. A — Zwei Förderbänder
Zufällig
Geordnet
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Was die Experimente zeigen
Über 200 Trainingsläufe, vor allem mit Modellen von 0,5 Milliarden Parametern und 10 Milliarden Tokens, mit einer Überprüfung bei 1 Milliarde Parametern.
Ein sanfter Anstieg
Mit linearem Tempo erreicht die Kompressionsrate das beste Referenzniveau mit 39,5 % weniger Schritten. In verschränkter Form steigt der Gewinn auf 41,7 %.
Aufwärmen, dann mischen
Nur den Anfang zu ordnen und dann zum Zufall zurückzukehren, hinterlässt einen dauerhaften Vorsprung: bis zu +3,5 % bei 0,5 Milliarden Parametern und +3,2 % bei 1 Milliarde.
Es ist wirklich die Reihenfolge
Entscheidende Kontrolle: Dieselben „leichten“ Daten zufällig zu mischen, hilft ein wenig, aber weniger, als sie geordnet vorzulegen. Der Gewinn kommt also nicht nur von der Auswahl.
Der Kontrapunkt
Eine andere Studie (Modelle mit 14 bis 410 Millionen Parametern, 300 Milliarden Tokens) findet, dass die Reihenfolge vor allem kleine Modelle stabilisiert und der Vorteil mit der Größe schrumpft.
Quelle: Elgaar & Amiri, Curriculum Learning for LLM Pretraining (2026)
Die umgekehrte Reihenfolge der Industrie
Labore machen oft das Gegenteil eines Lehrplans: Sie heben die besten Daten für den Schluss auf. OLMo 2 (Ai2) verwendet seine letzten 5 bis 10 % Rechenaufwand auf eine hochwertige Mischung (Mathematik, Naturwissenschaften, Frage-Antwort). Man nennt das Mid-Training oder „Annealing“.
Doch auch diese Platzierung ist umstritten: Eine Studie von 2025 zeigt, dass ganz am Ende nicht immer der beste Moment ist, und erklärt, warum Annealing mit Mathematikaufgaben dem Llama 3 mit 8 Milliarden Parametern half, dem mit 405 Milliarden aber nicht. Die richtige Reihenfolge hängt vom Zeitpunkt im Lernen ab, nicht nur von den Daten.
Quelle: OLMo et al., 2 OLMo 2 Furious (Ai2, 2025), Predicting Training Re-evaluation Curves (2025)
Die Grenzen
Diese Ergebnisse stammen von mittelgroßen Modellen, nur auf Englisch. Die Schwierigkeit wird einmalig vor dem Training berechnet: Sie passt sich nicht an das an, was das Modell schon weiß. Und die Gewinne sind zwar echt, bleiben aber bei wenigen Prozent.
Was das für unsere Hypothesen ändert
Es ist eine bescheidene Stütze für Hypothese H1: Daten zu strukturieren, hilft, vor allem am Anfang. Aber die hier gemessene „Schwierigkeit“ hat nur eine Dimension (kurz oder lang, einfach oder vielfältig). Unsere Idee ist reicher: Abstraktionsebenen (Beobachtung, Fakt, Regel, Prinzip). Soweit wir wissen, hat noch niemand ein Training nach diesen Ebenen geordnet.
H1 · Der Datenhunger kommt teils von einer fehlenden Hierarchie (55 %)
Was wir gern testen würden
Zwei gegensätzliche Lehrpläne an einem Mini-Modell: erst die Beispiele, dann die Regel (wie ein Kind) gegen erst die Regel, dann die Beispiele (wie ein Lehrbuch). Und ein Lehrplan, der sich anpasst: messen, was das Modell schon weiß, und ihm die nächste Stufe geben.