Vertiefung · Folio II
Eine Bibliothek ist nicht besser, weil sie mehr Bücher hat. Sie ist es, wenn Dubletten, zerrissene Seiten und Bücher, die man schon auswendig kennt, entfernt sind. Geht das auch mit den Daten einer KI?
Große Korpora stammen aus dem Web: viele Wiederholungen, sinnleere Seiten, fast identische Texte. Jeder nutzlose Text kostet Rechenaufwand, Energie und, wie in Teil I gesehen, Speicherkapazität des Modells.
Aussortieren heißt auswählen, was man behält. Die Frage ist nicht „wie viele Daten?“, sondern „welche Daten?“.
Rauschen entfernen: Ein kleiner Klassifikator bewertet jeden Text (etwa seinen Bildungswert), und nur die besten bleiben. Bedeutungsduplikate entfernen: Jeder Text wird in einen Raum gelegt, in dem bedeutungsähnliche Texte Nachbarn sind, und pro Gruppe bleibt ein Vertreter. Entfernen, was das Modell schon weiß: die Beispiele behalten, die ihm noch etwas beibringen.
Die ganze Kunst liegt im Maß: Eine gute Bewertung erlaubt es, viel wegzuwerfen, ohne etwas zu verlieren; eine schlechte wirft Schätze weg.
Abb. B — Das Sieb
nützlich Duplikat Rauschen
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Normalerweise sinkt der Fehler langsam, wenn man Daten hinzufügt (ein „Potenzgesetz“). Sorscher und Koautoren zeigen, dass er mit einem guten Aussortiermaß exponentiell sinken kann, also viel schneller. Getestet im Bildbereich (CIFAR-10, ImageNet), mit einem günstigen Maß, das nicht einmal Labels braucht.
Quelle: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
Ein feines Ergebnis: Hat man wenig Daten, sollte man die leichten Beispiele behalten; hat man viele, die schweren. Anders gesagt: Sind die Grundlagen da, lehren die seltenen, schwierigen Fälle am meisten.
Quelle: Sorscher et al., Beyond neural scaling laws (NeurIPS 2022)
SemDeDup (Meta) entfernt Texte oder Bilder, die in der Bedeutung fast identisch sind. Bei einem großen Bildkorpus kostet das Entfernen von 50 % der Daten kaum Leistung und halbiert die Trainingszeit. Bei Text (C4) liegt der Effizienzgewinn bei etwa 15 %.
FineWeb-Edu (Hugging Face) bewertet den Bildungswert jeder Webseite von 0 bis 5, mit einem kleinen Modell, das auf Urteilen von Llama 3 70B trainiert wurde. Es behält nur Werte ≥ 3: 1,3 Billionen Tokens von 15. Ergebnis: 33,6 % bei MMLU schon nach 38 Milliarden Tokens, wofür der beste Konkurrent 300 Milliarden brauchte.
Quelle: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
Ein Filter hat den Geschmack dessen, der ihn trainiert hat. Der von FineWeb-Edu bevorzugt deutlich Schulthemen und formelles Schreiben: Man gewinnt Qualität und verliert Vielfalt. Sehr lange Trainingsläufe brauchen außerdem genug einzigartige Texte, und zu strenge Filter geraten dann in Mangel. Schließlich stammen die meisten spektakulären Ergebnisse zur exponentiellen Kurve aus dem Bildbereich, noch nicht aus Text im großen Maßstab.
Quelle: Penedo et al., The FineWeb Datasets (Hugging Face, 2024)
Das Ergebnis „leichte bei Mangel, schwere bei Überfluss“ ist eine direkte Stütze für H3 und H4: Sind die Regeln gelernt, sind die Ausnahmen Gold wert. Gutes Aussortieren ähnelt unserer Kompressionsidee: die Regeln behalten und was ihnen entgeht, den Rest verwerfen. Was noch fehlt: ein Maß, das eine wertvolle Ausnahme von bloßem Rauschen unterscheidet, denn beide sind „überraschend“.
H3 · Regeln + Ausnahmen = Kompression (35 %) H4 · Ausnahmen sind der Anker (65 %)
An einem kleinen Korpus drei Siebe vergleichen: nach Qualität, nach Bedeutungsduplikaten und ein Sieb „Regeln + Ausnahmen“, das pro Gruppe ein typisches Beispiel plus alle abweichenden Fälle behält. Dann schauen, welches die seltenen Fälle am besten bewahrt.