RL Reward Hacking
Erfahre, was Reward Hacking im Reinforcement Learning ist und wie man es bekämpft.
Das ultimative Ziel von RL ist es, einen bestimmten Reward zu maximieren (sagen wir Geschwindigkeit, Umsatz, eine Metrik). Aber RL kann mogeln. Wenn der RL-Algorithmus einen Trick lernt oder etwas ausnutzt, um den Reward zu erhöhen, ohne am Ende tatsächlich die Aufgabe zu erledigen, nennt man das "Reward-Hacking".
Es ist der Grund, warum Modelle lernen, Unit-Tests zu ändern, um Coding-Challenges zu bestehen, und das sind kritische Hindernisse für den Einsatz in der realen Welt. Einige weitere gute Beispiele stammen von Wikipedia.

Kann man Reward-Hacking entgegenwirken? Ja! In unserem kostenlosen gpt-oss-RL-Notebook zeigen wir, wie man Reward-Hacking in einem Codegenerierungs-Setting entgegenwirken kann, und demonstrieren greifbare Lösungen für häufige Fehlermuster. Wir sahen, wie das Modell die Timing-Funktion bearbeitete, Aufgaben an andere Bibliotheken auslagerte, die Ergebnisse zwischenspeicherte und offen schummelte. Nach dem Gegensteuern ist das Ergebnis, dass unser Modell tatsächlich optimierte Matrixmultiplikations-Kernel erzeugt, nicht clevere Tricks.
🏆 Überblick über Reward-Hacking
Einige gängige Beispiele für Reward-Hacking während RL sind:
Faulheit
RL lernt, Numpy, Torch und andere Bibliotheken zu verwenden, die optimierte CUDA-Kernels aufrufen. Wir können den RL-Algorithmus davon abhalten, optimierten Code aufzurufen, indem wir prüfen, ob der generierte Code andere nicht standardmäßige Python-Bibliotheken importiert.
Caching & Schummeln
RL lernt, das Ergebnis der Ausgabe zwischenzuspeichern, und RL lernt, das tatsächliche Ergebnis zu finden, indem es Python-Globale Variablen untersucht.
Wir können den RL-Algorithmus davon abhalten, zwischengespeicherte Daten zu verwenden, indem wir den Cache mit einer großen falschen Matrix leeren. Außerdem müssen wir sorgfältig mit mehreren Schleifen und Durchläufen benchmarken.
Schummeln
RL lernt, die Timing-Funktion so zu bearbeiten, dass sie 0 Zeit als verstrichen ausgibt. Wir können den RL-Algorithmus davon abhalten, globale oder zwischengespeicherte Variablen zu verwenden, indem wir seine lokalen und globalen. Wir werden außerdem exec verwenden, um die Funktion zu erstellen, daher müssen wir die Ausgabe in einem leeren Dict speichern. Wir erlauben außerdem keinen Zugriff auf globale Variablen über types.FunctionType(f.__code__, {})\\
Zuletzt aktualisiert
War das hilfreich?

