> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/de/loslegen/reinforcement-learning-rl-guide/advanced-rl-documentation/rl-reward-hacking.md).
# RL Reward Hacking
Erfahre, was Reward Hacking im Reinforcement Learning ist und wie man es bekämpft.
Das ultimative Ziel von RL ist es, einen bestimmten Reward zu maximieren (sagen wir Geschwindigkeit, Umsatz, eine Metrik). Aber RL kann **mogeln.** Wenn der RL-Algorithmus einen Trick lernt oder etwas ausnutzt, um den Reward zu erhöhen, ohne am Ende tatsächlich die Aufgabe zu erledigen, nennt man das "**Reward-Hacking**".
Es ist der Grund, warum Modelle lernen, Unit-Tests zu ändern, um Coding-Challenges zu bestehen, und das sind kritische Hindernisse für den Einsatz in der realen Welt. Einige weitere gute Beispiele stammen von [Wikipedia](https://en.wikipedia.org/wiki/Reward_hacking).
**Kann man Reward-Hacking entgegenwirken? Ja!** In unserem [kostenlosen gpt-oss-RL-Notebook](https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/gpt-oss-\(20B\)-GRPO.ipynb) zeigen wir, wie man Reward-Hacking in einem Codegenerierungs-Setting entgegenwirken kann, und demonstrieren greifbare Lösungen für häufige Fehlermuster. Wir sahen, wie das Modell die Timing-Funktion bearbeitete, Aufgaben an andere Bibliotheken auslagerte, die Ergebnisse zwischenspeicherte und offen schummelte. Nach dem Gegensteuern ist das Ergebnis, dass unser Modell tatsächlich optimierte Matrixmultiplikations-Kernel erzeugt, nicht clevere Tricks.
## :trophy: Überblick über Reward-Hacking
Einige gängige Beispiele für Reward-Hacking während RL sind:
#### Faulheit
RL lernt, Numpy, Torch und andere Bibliotheken zu verwenden, die optimierte CUDA-Kernels aufrufen. Wir können den RL-Algorithmus davon abhalten, optimierten Code aufzurufen, indem wir prüfen, ob der generierte Code andere nicht standardmäßige Python-Bibliotheken importiert.
#### Caching & Schummeln
RL lernt, das Ergebnis der Ausgabe zwischenzuspeichern, und RL lernt, das tatsächliche Ergebnis zu finden, indem es Python-Globale Variablen untersucht.
Wir können den RL-Algorithmus davon abhalten, zwischengespeicherte Daten zu verwenden, indem wir den Cache mit einer großen falschen Matrix leeren. Außerdem müssen wir sorgfältig mit mehreren Schleifen und Durchläufen benchmarken.
#### Schummeln
RL lernt, die Timing-Funktion so zu bearbeiten, dass sie 0 Zeit als verstrichen ausgibt. Wir können den RL-Algorithmus davon abhalten, globale oder zwischengespeicherte Variablen zu verwenden, indem wir seine `lokalen` und `globalen`. Wir werden außerdem `exec` verwenden, um die Funktion zu erstellen, daher müssen wir die Ausgabe in einem leeren Dict speichern. Wir erlauben außerdem keinen Zugriff auf globale Variablen über `types.FunctionType(f.__code__, {})`\\\\
---
# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.
## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.
Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:
```
GET https://unsloth.ai/docs/de/loslegen/reinforcement-learning-rl-guide/advanced-rl-documentation/rl-reward-hacking.md?ask=&goal=
```
`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
