Vertiefung · Methode
Wie unsere H1-Experimente funktionieren
Ein Leitfaden in einfacher Sprache zu unseren kleinen Tests: was das Modell ist, was ein Label ist, warum wir es mischen und wie man ein Nullergebnis liest.
Was wir tatsächlich trainieren
Ein winziges Sprachmodell: zwei Schichten, 64 Zahlen breit, gestartet mit Zufallswerten, es weiß also nichts. Es liest Text Byte für Byte und lernt, das nächste Byte zu erraten. Wir trainieren es einige hundert Schritte lang auf den ersten 96 Bytes alter Newsgroup-Nachrichten, 300 pro Kategorie; das dauert auf einer GPU weniger als eine Minute.
Spätere Versuche nutzen ein größeres Modell: vier Schichten, 128 Zahlen breit, mit demselben Trainingsrezept. Es bleibt klein im Vergleich zu einem echten Sprachmodell.
Die Labels
Vor jedem Ausschnitt schreiben wir zwei oder drei zusätzliche Symbole. Bei keinem Label sind sie leer. Bei einem flachen Label hat jede Kategorie ihr eigenes Symbol. Bei einer Hierarchie benennt das erste Symbol eine Gruppe (zum Beispiel Computer oder Freizeit), die folgenden grenzen sie weiter ein. Ein gemischter Code hat dieselbe Form, ordnet die Codes aber den falschen Kategorien zu. Wir testen außerdem die Gruppe allein und bei der dreistufigen Taxonomie nur das Thema sowie Thema plus Unterthema.
Warum wir mischen
Eine Hierarchie trägt zweierlei: Information (zu welcher Kategorie ein Text gehört) und Struktur (welche Kategorien Geschwister sind). Ein gemischter Code trägt dieselbe Information, aber seine Gruppen bedeuten nichts. Schlägt die echte Hierarchie gemischte Labels, hilft die Struktur; wenn nicht, tut es jeder Code ebenso gut. Weil eine einzelne Mischung ein Glückstreffer sein könnte, wiederholen wir sie fünfmal und verwerfen jede, die die echten Gruppen beibehält.
Wie wir bewerten
Wir messen den Verlust an zurückgehaltenen Nachrichten in Nat pro Byte (niedriger ist besser). Ein Modell, das jedes Byte zufällig rät, käme auf etwa 5,5; unsere enden bei rund 2,5. Innerhalb eines Seeds erhält jede Bedingung dieselben Daten, dieselben Batches und dieselben Startwerte, nur das Label unterscheidet sich. Um zu sehen, ob das Modell sein Label wirklich nutzt, bewerten wir es auch mit gelöschtem Label: Das ist eine Ablation, und die Differenz der beiden Werte zeigt, wie sehr es sich darauf stützt.
Weniger Daten, mehr Durchläufe
In den Versuchen mit wenigen Daten behalten wir nur die ersten 30, 100 oder 300 Nachrichten jeder Kategorie; kleinere Mengen stecken in größeren, und jede Größe wird mit denselben 640 zurückgehaltenen Nachrichten bewertet, sodass die Verluste vergleichbar sind. Die Zahl der Schritte bleibt bei 800, eine kleine Menge wird also oft gesehen: bei 30 Nachrichten pro Kategorie etwa 80-mal. Ein Modell, das dieselben wenigen Beispiele so oft sieht, beginnt sie auswendig zu lernen: das ist Überanpassung, und sie zeigt sich als Verlust auf den zurückgehaltenen Nachrichten, der wieder steigt (in unserem Sweep von 2,78 auf 4,12).
Bremsen gegen Überanpassung
Um die Überanpassung zu begrenzen, fügen wir zwei gängige Bremsen hinzu, zusammen Regularisierung genannt. Dropout 0,2 schaltet bei jedem Trainingsschritt zufällige Einheiten des Netzes ab, sodass kein einzelner Pfad ein Beispiel auswendig lernen kann. Weight Decay 0,1 zieht die Gewichte bei jedem Schritt zu kleinen Werten. Wir verwenden eine einzige Einstellung, einmal gewählt und nicht optimiert, für alle Bedingungen gleich. Der Verlust auf den zurückgehaltenen Nachrichten wird immer ohne Dropout gemessen.
Die Versuche mit größerem Modell starten mit denselben 0,2 und 0,1 und nutzen dann eine stärkere Einstellung, Dropout 0,3 und Weight Decay 0,3, um zu prüfen, ob das größere Modell seine Beispiele auswendig lernte. Wir stimmen weiterhin nichts ab.
Erst die Vorhersagen
Jedes Protokoll und seine Vorhersagen werden vor dem Lauf geschrieben. Die Revision des Datensatzes ist festgelegt, der offizielle Testsatz wird nie verwendet, und der Code wird in der Ergebnisdatei per Fingerabdruck festgehalten. Ein Nullergebnis wird wie jedes andere veröffentlicht.
In einem Protokoll listen wir vorab auch die Zellen auf, die wir lesen werden: Eine Zelle ist eine Kombination aus Datenmenge und Schrittzahl. Eine vorab registrierte Zelle steht vor dem Lauf fest. In den Wiederholungsversuchen wurden die vier Zellen vor dem Lauf registriert, aber nach dem Blick auf einen früheren Versuch ausgewählt; das sagen wir, denn man sollte ihnen etwas weniger trauen.
Wesentlich oder nicht
Gemischte Codes liefern nicht alle denselben Verlust: Ihre Spannweite, vom besten zum schlechtesten der fünf (über die Seeds gemittelt), misst das Rauschen, das allein vom Code kommt. Einen Unterschied nennen wir wesentlich, wenn die echte Hierarchie den Mittelwert der gemischten Codes um mehr als diese Spannweite schlägt. Darunter könnte der Unterschied von der zufällig gezogenen Mischung kommen, und wir sprechen von einem nicht wesentlichen Trend. Eine weitere Zahl, die Label-Nutzungslücke, ist der Verlustanstieg beim Verbergen des Labels: Sie zeigt, ob das Modell sein Label nutzt, nicht, ob die Hierarchie besser ist als gemischte Codes.
Spielzeugwelten für H2
Die H2-Piloten nutzen eine Spielzeugwelt statt Text: zufällige Fakten und eine Regel (Addition modulo 10), die zwei oder drei davon braucht, damit sich Auswendiggelerntes von Berechnetem trennen lässt. Wie bei H1 werden die Vorhersagen vor jedem Lauf geschrieben, und die beurteilte Größe steht vorher fest. In den meisten Piloten ist der Speicher ein Orakel: Die richtigen Fakten stehen im Kontext, Kosten und Fehler der Suche bleiben also außen vor; nur die Piloten 4 und 6 stören das Nachschlagen, durch zufällige Ersetzung oder zufällige Ablenker. Einzelheiten und Zahlen: H2-Piloten.
Wie man ein Ergebnis liest
Unterschiede von einem oder zwei Tausendstel Nat pro Byte sind kleiner als die Schwankung zwischen Seeds oder zwischen gemischten Codes, deshalb behaupten wir keine Signifikanz und rechnen sie nie in eine prozentuale Datenersparnis um. Was uns umstimmen würde: Die echte Hierarchie liegt durchgehend auf Platz eins, mit einem Abstand über dieser Streuung, und dasselbe zeigt sich dann bei einem größeren vortrainierten Modell.
Dateien
Jede Zahl in diesen Notizen stammt aus einer Datei, die Sie herunterladen können. Längeres Training: Ergebnisse und Protokoll. Fünf gemischte Codes: Ergebnisse und Protokoll. Dreistufige Taxonomie: Ergebnisse und Protokoll. Die Ergebnisse liegen als JSON vor, die Protokolle als Markdown.
Spätere Versuche: Datenmengen-Sweep: Ergebnisse und Protokoll. Regularisierte kleine Datenmengen: Ergebnisse und Protokoll. Wiederholung mit neuen Seeds: Ergebnisse und Protokoll. Andere Kategorien: Ergebnisse und Protokoll. Gleiche Formate.
Größeres Modell: Ergebnisse und Protokoll. Größeres Modell, andere Kategorien: Ergebnisse und Protokoll. Größeres Modell, stärkere Regularisierung: Ergebnisse und Protokoll. Gleiche Formate.
Weitere Vertiefungen
- Geordnet lernen
- Klug aussortieren
- Ein Gedächtnis im Modell
- Die Kosten werden logarithmisch
- In Ideen denken, nicht in Wörtern
- Nur einen Teil des Modells einschalten
- Zuerst das kleine Modell fragen
- In Programme destillieren, nicht in Modelle
- Mit weniger Bits rechnen
- Die Maschine ändern
- Prüfen kostet weniger als Schreiben
- Wie sich die sieben Ansätze kombinieren
- Ein kleines Modell auf Augenhöhe mit einem Riesen?
- Ein kleines Modell, das von selbst besser wird, auf einem gewöhnlichen Computer?
- Die Hypothesen auf dem Prüfstand
- Ein Modell übersetzen und nur das Nötige behalten?
- H1 im Test: unsere Experimente
- H2 im Test: unsere Spielzeug-Piloten