Vertiefung · Hypothesen
H1 im Test: unsere Experimente
Die Hierarchie hilft anfangs bei synthetischen Daten; elf Versuche mit echten Texten zeigen keinen wesentlichen Vorteil der echten Hierarchie gegenüber gemischten Labels, nur einen winzigen Trend, der sich wiederholt. Protokolle und Grenzen ansehen.
Die Frage
H1 fragt, ob Datenstruktur einem Modell hilft, mit weniger Beispielen zu lernen. Wir vergleichen keine, flache, hierarchische und gemischte Labels bei gleichem Budget.
H1 · Der Datenhunger kommt teils von einer fehlenden Hierarchie (55 %)
Vier synthetische Pilotversuche
Drei erste und fünf neue Seeds zeigten anfangs schnelleres Lernen mit Hierarchie. Ein Kontrollversuch mischte die Struktur; ein weiterer kreuzte fünf Mischungen mit fünf Seeds. Bei 100 Schritten betrug der mittlere Verlust 2,0061 gegenüber 2,0988, bei 500 2,0003 gegenüber 2,0045. Fünf Vergleiche je Seed teilen sich eine Referenz und sind nicht unabhängig.
Erster Versuch mit echten Texten
Ein kleines zufällig initialisiertes Byte-Modell wurde für acht 20-Newsgroups-Kategorien mit drei Seeds an 640 Validierungsnachrichten geprüft. Bei 200 Schritten lag der Verlust bei 2,73333 mit echter und 2,73326 mit gemischter Hierarchie: kein klarer Vorteil. Der offizielle Testsatz blieb ungenutzt. Das Modell ohne Label erzielte sogar den niedrigsten Verlust (2,72897, gegenüber 2,73162 mit flachem Label): Das Modell nutzt die Labels noch nicht, daher konnte dieser Test die beiden Hierarchien nicht unterscheiden. Belastbarere Versionen folgen in den Abschnitten darunter.
Quelle: SetFit, 20 Newsgroups dataset
Längeres Training, Labels entfernt
Der erste Versuch mit echten Texten endete bei 200 Schritten, bevor das Modell seine Labels nutzte. Wir haben dasselbe kleine Modell 800 Schritte lang trainiert (drei Seeds, dieselben acht Kategorien) und an jedem Checkpoint zusätzlich mit verborgenen Labels bewertet. Diese Lücke ist null bei einem Modell, das ohne Labels trainiert wurde; bei 800 Schritten beträgt sie im Mittel 0,009 Nat pro Byte beim flachen Label, 0,020 bei der Gruppe allein, 0,025 bei der echten Hierarchie und 0,031 bei gemischten Labels. Die Labels werden also jetzt genutzt.
Dennoch erreichen die echte Hierarchie und die gemischten Labels bei 800 Schritten denselben Verlust, 2,5210 Nat pro Byte, gegenüber 2,5292 ohne Label und 2,5170 nur mit der Gruppe Computer/Freizeit. Details: Ergebnisse, Protokoll.
Quelle: OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
Fünf gemischte Codes
Eine einzelne Mischung könnte ein Glückstreffer sein. Wir haben den Test mit fünf verschiedenen gemischten Codes wiederholt, von denen keiner die Aufteilung in Computer und Freizeit beibehält, und mit fünf Seeds. Bei 800 Schritten erreicht die echte Hierarchie 2,5279, der Mittelwert der fünf gemischten Codes 2,5295: ein Unterschied von 0,0016 Nat pro Byte.
Die echte Hierarchie schlägt diesen Mittelwert bei vier von fünf Seeds, doch ihr Rang unter den sechs Codes reicht vom ersten bis zum letzten Platz (3., 1., 6., 1. und 2.), und allein die fünf gemischten Codes streuen um etwa 0,005. Der Unterschied ist kleiner als diese Streuung, wir lesen ihn deshalb als Nullergebnis.
Quelle: OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
Eine dreistufige Taxonomie
Zwei Gruppen mit je vier Kategorien sind eine dünne Hierarchie. Wir haben 16 Newsgroups genommen, die auf drei Ebenen angeordnet sind (4 Themen, 8 Unterthemen, 16 Blätter), und Teilcodes hinzugefügt: nur das Thema, dann Thema plus Unterthema. Bei 800 Schritten liegt jede codierte Variante zwischen 2,5187 und 2,5217 Nat pro Byte, gegenüber 2,5153 ganz ohne Label, dem niedrigsten Wert.
Die echte Hierarchie (2,5198) schlägt den Mittelwert von fünf gemischten Codes (2,5206) nur um 0,0007, bei vier von fünf Seeds, und liegt damit wieder unter der Streuung von 0,005 zwischen gemischten Codes. Eine zusätzliche Ebene hilft nicht klar: Die aufeinanderfolgenden Schritte (Thema, dann Unterthema, dann Blatt) verändern den Verlust um +0,0046, −0,0013 und +0,0012.
Quelle: OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
Datenmengen-Sweep: 30, 100 und 300 pro Kategorie
Die Idee hinter H1 ist, dass Struktur vor allem helfen sollte, wenn Daten knapp sind. Wir haben deshalb dasselbe winzige Modell 800 Schritte lang mit 30, 100 und 300 Nachrichten pro Kategorie trainiert (kleinere Mengen stecken in größeren; fünf Seeds, fünf gemischte Codes, dieselben acht Kategorien) und vorab drei Vorhersagen aufgeschrieben. Bei 300 pro Kategorie ergibt sich wieder das frühere Bild: Die echte Hierarchie liegt 0,0016 Nat pro Byte unter den gemischten Codes, weniger als die Streuung von 0,0052 zwischen ihnen (Vorhersage 1, bestätigt).
Bei 30 pro Kategorie überanpasst das Modell: Ohne Label steigt sein Verlust auf den zurückgehaltenen Nachrichten von 2,78 bei 200 Schritten auf 4,12 bei 800, weil es dieselben 240 Nachrichten etwa 80-mal durchläuft. Die echte Hierarchie liegt 0,0124 unter den gemischten Codes, bei vier von fünf Seeds, doch die gemischten Codes streuen untereinander schon um 0,0891: Der Unterschied geht im Rauschen unter (Vorhersage 3, ein klarer Unterschied bei 30 pro Kategorie, verfehlt). Das Modell stützt sich bei knappen Daten tatsächlich stärker auf seine Labels: Der Verlust steigt um 0,1243, wenn man bei der echten Hierarchie mit 30 pro Kategorie das Label verbirgt, gegenüber 0,0474 bei 300 (Vorhersage 2, bestätigt). Das Modell ohne Label bleibt bei 30 und bei 100 pro Kategorie das beste. Einzelheiten: Ergebnisse, Protokoll.
Regularisierung bei wenigen Daten
Überanpassung heißt: Das Modell lernt seine wenigen Beispiele auswendig, statt das, was auch für neue gilt. Wir haben den Test mit 30 und 100 pro Kategorie wiederholt, mit zwei gängigen Bremsen: Dropout 0,2 (zufällige Einheiten werden beim Training abgeschaltet) und Weight Decay 0,1 (ein Zug zu kleinen Gewichten). Dieselben Seeds und gemischten Codes wie beim Sweep, und wieder drei vorab geschriebene Vorhersagen.
Die Überanpassung sinkt: Bei 30 pro Kategorie und 800 Schritten beträgt der Verlust ohne Label 2,8208, gegenüber 4,12 ohne Regularisierung (Vorhersage 1, bestätigt), und der Verlustanstieg beim Verbergen des Labels der echten Hierarchie fällt von 0,1243 auf 0,0448 (Vorhersage 2, bestätigt). Die Streuung zwischen gemischten Codes sinkt von 0,0891 auf 0,0073. Die echte Hierarchie liegt bei 30 pro Kategorie bei vier von fünf Seeds 0,0023 unter ihnen und bei 100 gleichauf (0,0000, drei von fünf Seeds, Streuung 0,0020). Vorhersage 3 (mindestens vier von fünf Seeds und ein Unterschied größer als die Streuung, bei 30 oder 100) wurde verfehlt. Einzelheiten: Ergebnisse, Protokoll.
Wiederholung mit neuen Seeds und Permutationen
Der vorige Versuch hinterließ ein kleines negatives Vorzeichen: Die echte Hierarchie lag bei 200 und 400 Schritten leicht unter den gemischten Codes. Ein Vorzeichen kann Zufall sein, deshalb haben wir den Test mit fünf neuen Seeds und fünf neuen gemischten Codes wiederholt, mit denselben Daten und Einstellungen. Beobachtet werden vier Zellen (30 und 100 pro Kategorie, bei 200 und 400 Schritten), die wir nach dem vorigen Versuch ausgewählt haben, was den Test schwächt. Drei Vorhersagen wurden vorab geschrieben.
Das Vorzeichen ist in 4 von 4 Zellen negativ (Vorhersage 1, bestätigt), die echte Hierarchie gewinnt bei mindestens vier von fünf Seeds in 3 von 4 Zellen (Vorhersage 2, bestätigt), und keine Zelle zeigt einen wesentlichen Unterschied, also einen größeren als die Streuung zwischen gemischten Codes (Vorhersage 3, mindestens zwei von vier Zellen, verfehlt: 0 von 4). Die Unterschiede reichen von 0,0001 bis 0,0013 Nat pro Byte, bei Streuungen von 0,0012 bis 0,0037. Einzelheiten: Ergebnisse, Protokoll.
Andere Kategorien: Wissenschaft gegen Politik und Gesellschaft
Bisher nutzten alle Versuche außer der dreistufigen Taxonomie dieselben acht Kategorien, vier zu Computern und vier zu Freizeit. Wir haben die Wiederholung mit einer anderen Aufteilung wiederholt: vier Wissenschaftsgruppen (Kryptografie, Elektronik, Medizin, Raumfahrt) gegen vier Gruppen zu Politik und Gesellschaft (Waffen, Nahost, allgemeine Politik, christliche Religion), mit neuen Seeds, neuen gemischten Codes und denselben Einstellungen. Eine vierte Vorhersage prüft, ob das Modell seine Labels überhaupt nutzt.
Ergebnis: Das Vorzeichen ist in 4 von 4 Zellen negativ, die echte Hierarchie gewinnt bei mindestens vier von fünf Seeds in 4 von 4 Zellen, und 0 von 4 Zellen sind wesentlich. Der größte Unterschied beträgt 0,0016 Nat pro Byte (30 pro Kategorie, 400 Schritte), bei einer Streuung von 0,0044. Die Kontrolle hält (Vorhersage 4, bestätigt): Bei 100 pro Kategorie und 800 Schritten steigt der Verlust beim Verbergen des Labels um 0,0103 mit der echten Hierarchie und um 0,0110 mit gemischten Codes; das Modell nutzt sein Label also, ob es stimmig ist oder nicht. Einzelheiten: Ergebnisse, Protokoll.
Ein größeres Modell: 4 Schichten, Breite 128
Alle bisherigen Versuche nutzten dasselbe winzige Modell (2 Schichten, Breite 64). Wüchse der Nutzen der Hierarchie mit der Modellgröße, würde ein größeres Modell das zeigen; wir haben deshalb nur die Architektur geändert: 4 Schichten, Breite 128, mit denselben ersten acht Kategorien, 100 Nachrichten pro Kategorie, fünf Seeds, fünf gemischten Codes, Dropout 0,2 und Weight Decay 0,1 (nicht neu abgestimmt). Die beiden gelesenen Zellen, 200 und 400 Schritte, standen vorab fest; 800 Schritte werden ebenfalls gezeigt, waren aber nicht vorab registriert.
Die echte Hierarchie liegt bei 200 Schritten 0,0006 unter den gemischten Codes und bei 400 0,0003 (Unterschiede von −0,0006 und −0,0003 Nat pro Byte), bei Streuungen von 0,0024 und 0,0062 zwischen gemischten Codes. Sie gewinnt in beiden Zellen bei drei von fünf Seeds, und 0 von 2 Zellen sind wesentlich. Bei 800 Schritten (nicht vorab registriert) kehrt sich das Vorzeichen um: +0,0005, ein Seed von fünf, Streuung 0,0086. Der Unterschied wächst also nicht mit der Modellgröße. Das Modell nutzt sein Label durchaus (es zu verbergen erhöht den Verlust bei 800 Schritten um 0,0191), doch das Modell ohne Label bleibt bei 800 Schritten das beste: 2,3925, gegenüber 2,3980 für die echte Hierarchie und 2,3975 für die gemischten Codes. Einzelheiten: Ergebnisse, Protokoll.
Größeres Modell, andere Kategorien
Hängt das Ergebnis an den Kategorien Computer und Freizeit? Wir haben das größere Modell behalten und die Daten gegen die andere Aufteilung getauscht: vier Wissenschaftsgruppen gegen vier Gruppen zu Politik und Gesellschaft, mit neuen Seeds und neuen gemischten Codes. Gleiche Zellen, gleiche Einstellungen.
Der Unterschied beträgt −0,0004 bei 200 Schritten (drei von fünf Seeds, Streuung 0,0018) und +0,0002 bei 400 (zwei von fünf Seeds, Streuung 0,0050): eine von 2 Zellen ist negativ, 0 sind wesentlich. Bei 800 Schritten (nicht vorab registriert) sind es −0,0015 (drei von fünf Seeds), weiterhin innerhalb der Streuung von 0,0078. Das Verbergen des Labels erhöht den Verlust bei 800 Schritten um 0,0179, und das Modell ohne Label ist wieder das beste (2,3672, gegenüber 2,3753 für die echte Hierarchie). Einzelheiten: Ergebnisse, Protokoll.
Stärkere Regularisierung: Dropout 0,3, Weight Decay 0,3
Das größere Modell des ersten Versuchs war womöglich einfach zu schwach regularisiert: Mit mehr Platz kann es seine Trainingsnachrichten auswendig lernen. Wir haben Modell, Daten und Kategorien beibehalten und beide Bremsen zusammen erhöht, auf Dropout 0,3 und Weight Decay 0,3 (ihre einzelnen Wirkungen lassen sich daher nicht trennen), mit fünf neuen Seeds und fünf neuen gemischten Codes.
Der Unterschied beträgt −0,0008 bei 200 Schritten (fünf von fünf Seeds, Streuung 0,0017) und −0,0010 bei 400 (vier von fünf Seeds, Streuung 0,0032): Beide Zellen sind negativ, gewinnen bei mindestens vier von fünf Seeds, und 0 sind wesentlich. Bei 800 Schritten (nicht vorab registriert) wird das Vorzeichen positiv, +0,0011 (ein Seed von fünf, Streuung 0,0042). Das Modell ohne Label verbessert sich: 2,3717 bei 800 Schritten, gegenüber 2,3925 im ersten Versuch mit größerem Modell (ungepaarter Vergleich, andere Seeds), was nahelegt, dass jener Versuch wohl zu schwach regularisiert war. Das Verbergen des Labels erhöht den Verlust um 0,0116. Einzelheiten: Ergebnisse, Protokoll.
Gesamtbild: ein nicht wesentlicher Trend, reproduziert
Über drei Seed-Sätze und zwei Kategoriemengen liegt die echte Hierarchie bei 200 bis 400 Schritten sehr knapp unter den gemischten Codes: Unterschiede von etwa 0,0002 bis 0,0016 Nat pro Byte, rund 0,1 %, stets unter der Streuung zwischen gemischten Codes. Wir nennen das einen nicht wesentlichen Trend, reproduziert: Das Vorzeichen kehrt wieder, aber ein Unterschied, der kleiner ist als das Rauschen zwischen Permutationen, ist kein Effekt, den wir behaupten können.
Ein zweites Ergebnis zählt genauso: Das Modell ohne Label ist in fast allen Zellen besser oder gleich gut. Stimmige Labels stören etwas weniger als falsche; sie schlagen das Fehlen eines Labels nicht. Eine gemeinsame Auswertung der beiden regularisierten Versuche mit den ersten Kategorien (zehn Seeds, zehn gemischte Codes) zeigt in dieselbe Richtung, zum Beispiel 10 von 10 Seeds bei 100 pro Kategorie und 400 Schritten, mit einem Unterschied von 0,0006 gegenüber einer Streuung von 0,0013. Sie ist explorativ: Kein Protokoll hatte sie vorgesehen, und sie ist kein Signifikanztest.
Mit dem größeren Modell (drei Versuche) liegen die Unterschiede bei 200 und 400 Schritten zwischen −0,0010 und +0,0002 Nat pro Byte; 0 von 6 Zellen sind wesentlich, und der Unterschied wächst nicht mit der Modellgröße. Stärkere Regularisierung liefert das regelmäßigste Vorzeichen (negativ in beiden Zellen, bei fünf und vier von fünf Seeds), weiterhin unter der Streuung zwischen gemischten Codes. Bei 800 Schritten ist das Modell ohne Label in allen drei Versuchen besser oder gleich. Wir lesen das als schwachen, nicht wesentlichen Trend; das große Modell des ersten Versuchs war wohl zu schwach regularisiert. Wir behaupten weder Signifikanz noch eine Datenersparnis in Prozent; die 55 % Vertrauen in H1 bleiben unverändert.
Was die Zahlen nicht belegen
Die synthetischen Daten begünstigen die Hierarchie absichtlich. Die Versuche mit echten Texten nutzen ein winziges, zufällig initialisiertes Byte-Modell, das höchstens 800 Schritte trainiert wurde, auf kurzen Anfängen alter englischer Nachrichten aus einem einzigen Korpus, und nur drei Kategoriestrukturen (zwei Aufteilungen in zwei Gruppen zu je vier und eine dreistufige Taxonomie), alle von uns gewählt; die Labels sind bei der Auswertung vorhanden. Die vier in den letzten beiden Versuchen wiederholten Zellen wurden nach dem regularisierten Versuch ausgewählt und sind nicht unabhängig, da dieselben Seeds zwei Checkpoints speisen. Die Regularisierung ist eine einzige, nicht optimierte Einstellung, Dropout 0,2 und Weight Decay 0,1; die Versuche mit größerem Modell fügen nur eine größere Architektur hinzu (4 Schichten, Breite 128), die kein Skalierungsgesetz ist, und eine stärkere Einstellung (Dropout 0,3 und Weight Decay 0,3, gemeinsam geändert). Vergleiche zwischen Versuchen sind ungepaart, mit anderen Seeds. Wir führen keinen Signifikanztest durch, und diese Tests messen weder eine prozentuale Datenersparnis noch belegen oder widerlegen sie H1 für große Modelle. Die 55 % Vertrauen bleiben unverändert.
Und H10?
H10 bleibt pausiert. Der öffentliche Space enthält 14 Experiment-Exporte und 1.034 Zahlenwerte; die vollständige Reihe umfasst 15 Runden, beschrieben auf der Übersetzer-Seite. Dies sind weder unabhängige Ergebnisse noch eine Qualitätsnote. H1-Protokolle und Messungen sind dort ebenfalls verfügbar.
Weitere Vertiefungen
- Geordnet lernen
- Klug aussortieren
- Ein Gedächtnis im Modell
- Die Kosten werden logarithmisch
- In Ideen denken, nicht in Wörtern
- Nur einen Teil des Modells einschalten
- Zuerst das kleine Modell fragen
- In Programme destillieren, nicht in Modelle
- Mit weniger Bits rechnen
- Die Maschine ändern
- Prüfen kostet weniger als Schreiben
- Wie sich die sieben Ansätze kombinieren
- Ein kleines Modell auf Augenhöhe mit einem Riesen?
- Ein kleines Modell, das von selbst besser wird, auf einem gewöhnlichen Computer?
- Die Hypothesen auf dem Prüfstand
- Ein Modell übersetzen und nur das Nötige behalten?
- Wie unsere H1-Experimente funktionieren
- H2 im Test: unsere Spielzeug-Piloten
Quellen
- SetFit, 20 Newsgroups dataset
- OrigoTech, H1 real-text run: longer training with labels removed (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: five scrambled codes (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: three-level taxonomy (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: data-scale sweep, 30, 100 and 300 per category (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: regularized small data, dropout 0.2 and weight decay 0.1 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: replication with new seeds and permutations (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: other category groups, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, 4 layers and width 128 (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, other categories, science against politics and society (results, JSON; protocol alongside)
- OrigoTech, H1 real-text run: larger model, stronger regularization, dropout 0.3 and weight decay 0.3 (results, JSON; protocol alongside)
- OrigoTech AI Research Lab — H1, H2 and H10 results