Vertiefung · Hypothesen
H2 im Test: unsere Spielzeug-Piloten
Zehn Spielzeug-Piloten zu H2, oben lernen und unten nachschlagen: 34 von 51 vorab festgelegten Vorhersagen traten ein, und bei den Piloten 4 bis 7 sind die meisten falschen Lernfehlschläge, keine Widerlegungen. Ein winziges Modell, eine erfundene Regel, meist ein idealer Speicher: kein Beleg für echte Sprachmodelle.
Die Frage
H2 sagt, dass Parameter knapp sind und dem Schlussfolgern vorbehalten bleiben sollten, während Fakten in einen externen Speicher gehören. Bevor wir ein echtes Modell anfassen, haben wir eine Spielzeugwelt gebaut: 1024 Entitäten, jede mit einer zufälligen Ziffer (ihrem Fakt), und eine Regel, die die Ziffern zweier Entitäten modulo 10 addiert (im fünften Pilot drei Entitäten). Die Testpaare kommen im Training nie vor, das Modell muss die Regel also anwenden, nicht aufsagen.
Das Modell ist ein Transformer mit 2 Schichten und Breite 64, trainiert über 2000 Updates. Jede Zahl ist ein Mittelwert über 5 Seeds, der Zufall liegt bei 0,1, und beurteilt wird die Größe 1024 Entitäten (256 wird berichtet, nicht beurteilt). Die Vorhersagen wurden vor jedem Lauf geschrieben; ab dem zweiten Pilot entstanden sie nach Kenntnis der früheren und sind daher nicht blind. Die öffentlichen Daten liegen auch auf [der Seite des Labors](https://huggingface.co/spaces/Kyyzen01/OrigoTech-AI-Research-Lab). Die Piloten 6 bis 10 verwenden dasselbe Modell und dieselbe Welt; die Trainingsdauer schwankt (2000 bis 4000 Updates, dazu Feinabstimmung in Pilot 10), wie im jeweiligen Protokoll angegeben.
Pilot 1: Fakten in den Gewichten oder in einem Speicher
Mit 64 Entitäten erreichen alle drei Bedingungen auf zurückgehaltenen Paaren mindestens 0,9985. Mit 1024 ruft ein Modell, das die Fakten in seinen Gewichten hält, sie perfekt ab (Fakt-Genauigkeit 1,0000), erreicht aber nur 0,0973 auf zurückgehaltenen Paaren, und 0,1235 mit etwa 2,6-mal so vielen Parametern (Breite 128): nahe am Zufall. Dasselbe Modell erreicht 1,0000, wenn ein idealer Speicher die beiden Fakten in seinen Kontext legt. Alle 5 Vorhersagen traten ein. Einzelheiten: Ergebnisse, Protokoll.
Quelle: OrigoTech, H2 toy pilot 1: facts in the weights or in a memory (results, JSON; protocol alongside)
Pilot 2: explizite Schritte oder längeres Training
Schreibt das Modell zuerst die beiden Fakten aus und addiert sie dann (explizite Schritte, im Training überwacht), erreicht es bei 1024 Entitäten 1,0000 ohne jeden Speicher. Eine Verdopplung des Trainings auf 4000 Updates lässt das einfache Modell dagegen bei 0,1285 (0,1018 bei 2000 Updates). Bei 256 Entitäten erreicht der längere Lauf 0,9393, nach 0,4710 bei 2000 Updates, mit Seeds von 0,6965 bis 1,0000. In diesem Spielzeug braucht man also keinen Speicher zum Verknüpfen, aber die Schritte sind überwacht, was über echte Modelle nichts sagt. Alle 5 Vorhersagen traten ein. Einzelheiten: Ergebnisse, Protokoll.
Quelle: OrigoTech, H2 toy pilot 2: explicit steps or longer training (results, JSON; protocol alongside)
Pilot 3: Fakten aktualisieren
Mit den Fakten im Kontext erreichen geänderte Fakten 1,0000 und im Training nie gesehene Entitäten 1,0000, gegenüber 0,1066 und 0,1008 beim Modell ohne Speicher. Feinabstimmung der Gewichte nur auf die Änderungen, 200 Updates lang, erreicht 0,2376 bei geänderten Fakten, während die Genauigkeit bei unberührten Fakten von 1,0000 auf 0,1337 fällt. Mit Wiederholung der alten Fakten bleiben unberührte Fakten bei 0,9975, geänderte erreichen aber nur 0,3399. 5 von 6 Vorhersagen traten ein; die falsche erwartete, dass die Änderung in 200 Updates aufgenommen wird. Ein einziges Feinabstimmungsrezept, kein eigener Wissens-Editor. Einzelheiten: Ergebnisse, Protokoll.
Quelle: OrigoTech, H2 toy pilot 3: updating facts (results, JSON; protocol alongside)
Pilot 4: unvollkommenes Nachschlagen
Jedes abgerufene Element wird mit Wahrscheinlichkeit 1 − r durch das einer anderen Entität ersetzt. Bei r = 0,9, 0,7 und 0,5 beträgt die Genauigkeit 0,8366, 0,5604 und 0,3306, nahe bei r² + (1 − r²) × 0,1 (0,829, 0,541, 0,325): Beide Elemente müssen stimmen, sonst ist die Antwort Zufall. Das Schrittmodell ohne Speicher erreicht 0,9997, das Speichermodell liegt also schon bei r = 0,9 mehr als 0,10 darunter. Der Test mit Störelementen ist nicht abgeschlossen: Ein mit 4 zufälligen Störelementen trainiertes Modell hat die Regel nicht gelernt (0,1163), was mit 8 geschieht, lässt sich daher nicht ablesen. 3 von 5 Vorhersagen traten ein; die beiden falschen sind Lernfehlschläge. Zufällige Ersetzung, keine echte Suchmaschine; Suchkosten nicht gemessen. Einzelheiten: Ergebnisse, Protokoll.
Quelle: OrigoTech, H2 toy pilot 4: imperfect retrieval (results, JSON; protocol alongside)
Pilot 5: drei Fakten
Bei drei zu addierenden Fakten erreicht ein Durchgang 0,0989 und einfache explizite Schritte 0,1215, obwohl die drei Fakten mit 0,9999 abgerufen werden. Eine zusätzliche Teilsumme hebt das Ergebnis auf 0,9998. Das Modell mit externem Speicher kommt im Mittel auf 0,2659 (Seeds von 0,0985 bis 0,9285): Es lernt sehr spät, und in diesem Lauf lernte nur ein Seed von fünf die Regel. 3 von 5 Vorhersagen traten ein; die beiden falschen sind Lernfehlschläge innerhalb von 2000 Updates, was kein Beleg gegen die Verknüpfung ist. Eine Spielzeugregel, eine Modellgröße. Einzelheiten: Ergebnisse, Protokoll.
Quelle: OrigoTech, H2 toy pilot 5: three-fact composition (results, JSON; protocol alongside)
Pilot 6: Ablenker und ein Lehrplan
Hier enthält der Speicher zusätzlich zufällige Ablenker. Mit 4 Ablenkern erreicht ein über 4000 Updates trainiertes Modell 0,2456 auf zurückgehaltenen Paaren (Seeds von 0,0955 bis 0,7690), eines mit Lehrplan (0, dann 2, dann 4 Ablenker) 0,3856 (0,1275 bis 0,7440). Mit 8 Ablenkern bleibt das Lehrplan-Modell bei 0,1052, dem Zufallsniveau, gegen 0,9999 für dasselbe Format ohne Ablenker. Die Kontrolle der abgerufenen Fakten scheitert in mehreren Zellen (etwa 0,1440 und 0,1666 bei 8 Ablenkern), die übrigen Ergebnisse sind also nicht lesbar und die Frage bleibt offen. 1 von 5 Vorhersagen traf zu; die vier falschen sind Lernfehlschläge. Die saubere Referenz wird über 2000 statt 4000 Updates trainiert (nicht gepaart). Nur zufällige Ablenker. Einzelheiten: Ergebnisse, Protokoll.
Quelle: OrigoTech, H2 toy pilot 6: distractors and a curriculum (results, JSON; protocol alongside)
Pilot 7: drei Fakten, längeres Training
Bei drei Fakten und 4000 Updates erreicht das Modell mit externem Speicher im Mittel 0,3286 (Seeds von 0,0955 bis 0,8415; keiner erreicht 0,90), gegenüber 0,1046 bei 2000 Updates. Ein Aufwärmen mit zwei Fakten über 1500 Updates hebt den Mittelwert auf 0,6981 (0,1230 bis 0,9995; +0,3695 gegenüber dem Speicher allein), doch die Streuung zwischen den Seeds ist groß. Einfache explizite Schritte ohne Teilsumme bleiben bei 0,1645 (0,1030 bis 0,2425). Die drei Fakten werden in allen drei Bedingungen mit 1,0000 abgerufen. 2 von 5 Vorhersagen traten ein (der Lehrplan ist mindestens so gut wie der Speicher allein; die Fakten werden abgerufen). Die falschen sind Lernfehlschläge, dazu eine Zelle mit einem Glücks-Seed. Eine Aufwärmlänge, eine Spielzeugregel. Einzelheiten: Ergebnisse, Protokoll.
Quelle: OrigoTech, H2 toy pilot 7: three facts, longer training (results, JSON; protocol alongside)
Pilot 8: häufig in den Gewichten, selten im Speicher
Mit Entitäten nach einem Zipf-Gesetz (wenige häufige, viele seltene) erreicht das Modell ohne Speicher 0,9520 auf Paaren häufiger Entitäten und 0,9260 auf Paaren seltener, die seltenen Fakten werden also auch in den Gewichten gelernt. Der Hybrid (häufige Fakten in den Gewichten, seltene im Speicher) erreicht 0,9904 und 0,9926, das Modell mit allem im Speicher 1,0000 und 0,9999. Nach Häufigkeit gewichtet liegt der Hybrid 0,0024 unter dem vollen Speicher (0,9976 gegen 1,0000). 3 von 5 Vorhersagen traten ein; die beiden falschen sind, dass seltene Fakten nicht in den Gewichten gelernt würden und dass der Hybrid mindestens so gut wäre wie der volle Speicher. Eine Zipf-Aufteilung; die häufigen Fakten können auswendig gelernt statt verknüpft worden sein. Ideales Nachschlagen. Einzelheiten: Ergebnisse, Protokoll.
Pilot 9: wie viele Beispiele der Regel
Mit nur 2 % oder 5 % der Paare im Training erreicht das Modell mit externem Speicher 1,0000 auf zurückgehaltenen Paaren (0,9977 bei 20 %, 1,0000 mit allen). Ohne Speicher (explizite Schritte) erreicht es 0,9998 bei 2 %, aber 0,9132 bei 5 % (Seeds von 0,5960 bis 1,0000), gegen 0,9980 mit allen Paaren. 4 von 5 Vorhersagen traten ein; die falsche (mehr Paare schaden nie) scheitert, weil ohne Speicher 2 % um 0,0018 über 100 % liegen. Die Regel nutzt nur 100 Ziffernpaare, daher genügen hier wenige Beispiele: Das gilt nur für das Spielzeug und sagt nichts über echte Modelle. Ideales Nachschlagen. Einzelheiten: Ergebnisse, Protokoll.
Quelle: OrigoTech, H2 toy pilot 9: how many rule examples (results, JSON; protocol alongside)
Pilot 10: längere oder stärkere Updates
Nach 1000 Updates erreicht die Feinabstimmung auf den geänderten Fakten mit Wiederholung der alten 0,5310 auf geänderten Paaren und 0,8212 mit einer dreimal größeren Lernrate (Seeds von 0,6720 bis 0,9665), während die unberührten Fakten bei 0,9876 bleiben. Ohne Wiederholung und mit kleiner Lernrate fallen die unberührten Fakten auf 0,2092, und geänderte Paare erreichen nur 0,2138. Ein größerer Anteil geänderter Zeilen mit Wiederholung erreicht 0,4054, unter dem einfachen Wiederholungslauf (Abstand −0,1256). Nach der Feinabstimmung bleiben im Training nie gesehene Entitäten beim Zufall (0,099 bis 0,103), während der externe Speicher 0,9998 auf geänderten Paaren und 1,0000 auf neuen Entitäten erreicht, ganz ohne Update. 3 von 5 Vorhersagen traten ein; die falschen sind, dass das Vergessen ohne Wiederholung begrenzt wäre (0,2092, unter den erwarteten 0,50) und dass ein größerer Anteil an Änderungen helfen würde. Vier Feinabstimmungsrezepte, je ein Wert, keine Suche; kein eigener Wissenseditor. Einzelheiten: Ergebnisse, Protokoll.
Quelle: OrigoTech, H2 toy pilot 10: longer or stronger updates (results, JSON; protocol alongside)
Lesart: was die Spielzeugwelt nahelegt
In dieser Spielzeugwelt ist das Verknüpfen vieler gespeicherter Fakten in einem Durchgang der schwierige Teil, und zwei Dinge lösen ihn: ein idealer externer Speicher oder das schrittweise Ausschreiben der Fakten. Was ein Speicher klar bringt, ist das Aktualisieren: sofort mit einem Speicher, langsam in den Gewichten und ohne Wiederholung alter Fakten sehr vergesslich (mit Wiederholung und größerer Lernrate erreichen die Änderungen nach 1000 Updates 0,8212). Sein Vorteil schrumpft, wenn das Nachschlagen schlechter wird. Bei drei Fakten genügt das Ausschreiben nicht, es braucht eine Zwischensumme; ein Aufwärmen mit zwei Fakten hilft im Mittel (0,6981 gegen 0,3286), aber die Seeds unterscheiden sich stark. Ein Hybrid mit den häufigen Fakten in den Gewichten ließ sich nicht von „alles im Speicher“ unterscheiden, und wenige Beispiele der Regel genügten in diesem Spielzeug. Die Frage der Ablenker bleibt offen. 34 der 51 vorab festgelegten Vorhersagen traten ein (5 von 5, 5 von 5, 5 von 6, 3 von 5, 3 von 5, 1 von 5, 2 von 5, 3 von 5, 4 von 5 und 3 von 5); bei den Piloten 4 bis 7 sind die meisten falschen Lernfehlschläge, keine Widerlegungen, die der Piloten 8 bis 10 dagegen gemessene Ergebnisse.
Was die Zahlen nicht belegen
Eine Spielzeugwelt: eine Regel (Addition modulo 10), zufällige unabhängige Fakten, ein kleines Modell, 5 Seeds. Das Nachschlagen ist ideal, außer in den Piloten 4 und 6, wo es durch zufällige Ersetzung oder Ablenker gestört wird, und die Suchkosten werden nicht gemessen. Die expliziten Schritte sind überwachtes Schlussfolgern, nicht für echte Sprachmodelle gezeigt. Die Größe 256 wird berichtet, aber nicht beurteilt; es wird kein Signifikanztest durchgeführt und kein Prozentsatz eingesparter Daten geschätzt. Die Vorhersagen nach dem ersten Pilot wurden in Kenntnis der früheren Ergebnisse geschrieben. Pilot 1 lief mit 2000 Updates, nachdem ein erster Versuch mit 3000 aus Zeitgründen abgebrochen worden war, und eine Zeitkontrolle auf der CPU, deren Genauigkeiten die Autoren sahen, ging der Beurteilung voraus. In Pilot 6 wird die saubere Referenz über 2000 statt 4000 Updates trainiert wie die übrigen (nicht gepaart); die Piloten 7 und 8 nutzen nur eine Dauer und eine Kopf/Schwanz-Aufteilung; Pilot 10 hat vier Feinabstimmungsrezepte mit je einem Wert. Auch die 13 eingetretenen Vorhersagen der Piloten 6 bis 10 (von 25) wurden in Kenntnis der früheren Piloten geschrieben. Diese Piloten bestätigen oder widerlegen H2 für echte Modelle nicht: Die Zuversicht von 64 % bleibt unverändert.
Weitere Vertiefungen
- Geordnet lernen
- Klug aussortieren
- Ein Gedächtnis im Modell
- Die Kosten werden logarithmisch
- In Ideen denken, nicht in Wörtern
- Nur einen Teil des Modells einschalten
- Zuerst das kleine Modell fragen
- In Programme destillieren, nicht in Modelle
- Mit weniger Bits rechnen
- Die Maschine ändern
- Prüfen kostet weniger als Schreiben
- Wie sich die sieben Ansätze kombinieren
- Ein kleines Modell auf Augenhöhe mit einem Riesen?
- Ein kleines Modell, das von selbst besser wird, auf einem gewöhnlichen Computer?
- Die Hypothesen auf dem Prüfstand
- Ein Modell übersetzen und nur das Nötige behalten?
- H1 im Test: unsere Experimente
- Wie unsere H1-Experimente funktionieren
Quellen
- OrigoTech, H2 toy pilot 1: facts in the weights or in a memory (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 2: explicit steps or longer training (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 3: updating facts (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 4: imperfect retrieval (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 5: three-fact composition (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 6: distractors and a curriculum (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 7: three facts, longer training (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 8: frequent facts in the weights, rare ones in memory (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 9: how many rule examples (results, JSON; protocol alongside)
- OrigoTech, H2 toy pilot 10: longer or stronger updates (results, JSON; protocol alongside)