Vertiefung · Folio IV
Niemand ruft wegen eines Splitters einen Chirurgen. Trotzdem schicken viele KI-Dienste jede Frage, leicht oder schwer, an ihr größtes Modell. Kaskaden ändern die Reihenfolge: Das billigste Modell versucht es zuerst.
Fragen sind nicht gleich schwer. „Was ist die Hauptstadt Italiens?“ braucht nicht dasselbe Modell wie ein kniffliger Beweis. Eine Kaskade ordnet Modelle vom billigsten zum teuersten und hört auf, sobald eine Antwort genügt.
Ein Verteiler tut dasselbe in einem Schritt: Er liest die Frage und sagt vor jeder Antwort voraus, welches Modell reichen wird.
Alles hängt am Richter, der entscheidet, ob eine Antwort annehmbar ist. Bei FrugalGPT (Stanford, 2023) ist das ein kleines Bewertungsmodell, das schätzt, ob eine Antwort stimmt; die Kaskade lernt die beste Reihenfolge der Modelle und eine Schwelle für jede Stufe.
Der Richter muss viel weniger kosten als die nächste Stufe, sonst verliert man, was man sparen wollte. Und jeder Fehlversuch wird bezahlt: Eine Frage, die bis ganz oben steigt, kostet mehr, als wenn sie direkt dorthin gegangen wäre.
Quelle: Chen, Zaharia & Zou, FrugalGPT (2023)
Abb. G — Die Leiter der Modelle
Fragen:12345678
Durchschnittskosten pro Frage: 5,4 · alles ans große Modell: 20 · −73 %
Schematische Darstellung: Sie zeigt die Idee, keine Messwerte.
Vielversprechend
In seinen Tests erreicht die gelernte Kaskade GPT-4 bei bis zu 98 % geringeren Kosten, oder sie übertrifft GPT-4 um 4 Punkte Genauigkeit zum selben Preis. Ausgangspunkt der Studie: Die Preise verschiedener Modelle unterscheiden sich um bis zu zwei Größenordnungen.
Vielversprechend
Ein auf menschlichen Vorlieben (Chatbot Arena) trainierter Verteiler wählt für jede Frage zwischen einem starken und einem schwachen Modell. Auf MT Bench hält er 95 % der Qualität von GPT-4 bei 3,66-mal geringeren Kosten, ohne die Wartezeit einer Kaskade.
Quelle: Ong et al., RouteLLM (ICLR 2025)
Belegt
Dieselbe Idee im kleinsten Maßstab: Ein kleines Modell schlägt die nächsten Wörter vor, das große prüft nur. Hier ist das Ergebnis garantiert identisch mit dem des großen Modells allein, 2- bis 3-mal schneller. Siehe die Vertiefung zur Prüfung.
Quelle: Leviathan, Kalman & Matias, Speculative Decoding (ICML 2023)
Der Richter kann irren: Eine falsche Antwort, die unten auf der Leiter angenommen wird, wird nie korrigiert. Das Warten: Eine Frage, die drei Sprossen steigt, wartet auf drei Antworten, und eine Kaskade kann ihre Antwort kaum Wort für Wort anzeigen, solange sie nicht weiß, ob sie sie behält. Die Drift: Ein auf eine Art von Fragen eingestellter Verteiler kann schlecht kalibriert sein, wenn Nutzer plötzlich anderes fragen.
Zweiter Faktor von H6: der Anteil der Fragen, die das große Modell erreichen. Und ein direktes Echo von H2, „oben lernen, unten nachschlagen“: Eine Kaskade ist eine Hierarchie von Modellen, in der das teure nur befragt wird, wenn das billige nicht reicht.
H6 · Die Einsparungen multiplizieren sich (40 %) H2 · Das Obere lernen, das Untere nachschlagen (75 %)
Die Fragen, die Leser zu OrigoTech stellen könnten, in drei Stufen einteilen (ein Fakt in einem Artikel, eine Verbindung zwischen Artikeln, echtes Nachdenken) und messen, welchen Anteil ein kleines Modell allein richtig beantwortet. Liegt er über der Hälfte, wäre der Gewinn für eine Seite wie unsere real.