| Format | Beschreibung | Trainingsart |
|---|---|---|
| Rohkorpus | Rohtext aus einer Quelle wie einer Website, einem Buch oder einem Artikel. | Weiteres Vortraining (CPT) |
| Anweisung | Anweisungen, denen das Modell folgen soll, und ein Beispiel für die angestrebte Ausgabe. | Überwachtes Fine-Tuning (SFT) |
| Konversation | Mehrturniges Gespräch zwischen einem Benutzer und einem KI-Assistenten. | Überwachtes Fine-Tuning (SFT) |
| RLHF | Konversation zwischen einem Benutzer und einem KI-Assistenten, wobei die Antworten des Assistenten durch ein Skript, ein anderes Modell oder einen menschlichen Bewerter eingestuft werden. | Reinforcement Learning (RL) |
Verwende das von mir bereitgestellte Datensatzbeispiel, folge der Struktur und generiere Gespräche auf Grundlage der Beispiele.
| Die panoramische Radiografie zeigt eine osteolytische Läsion im rechten hinteren Oberkiefer mit Resorption des Bodens der Kieferhöhle (Pfeile). |
Um den Datensatz zu formatieren, sollten alle Vision-Fine-Tuning-Aufgaben wie folgt formatiert werden:
```python
[
{ "role": "user",
"content": [{"type": "text", "text": instruction}, {"type": "image", "image": image} ]
},
{ "role": "assistant",
"content": [{"type": "text", "text": answer} ]
},
]
```
Wir werden eine benutzerdefinierte Anweisung formulieren, die das VLM auffordert, ein Experte für Radiografie zu sein. Beachte auch, dass du statt nur 1 Anweisung mehrere Gesprächsrunden hinzufügen kannst, um daraus eine dynamische Konversation zu machen.
```notebook-python
instruction = "Du bist ein Experte für Radiografie. Beschreibe genau, was du in diesem Bild siehst."
def convert_to_conversation(sample):
conversation = [
{ "role": "user",
"content" : [
{"type" : "text", "text" : instruction},
{"type" : "image", "image" : sample["image"]} ]
},
{ "role" : "assistant",
"content" : [
{"type" : "text", "text" : sample["caption"]} ]
},
]
return { "messages" : conversation }
pass
```
Lass uns den Datensatz für das Fine-Tuning in das „richtige“ Format umwandeln:
```notebook-python
converted_dataset = [convert_to_conversation(sample) for sample in dataset]
```
Das erste Beispiel ist jetzt wie unten strukturiert:
```notebook-python
converted_dataset[0]
```
{% code overflow="wrap" %}
```
{'messages': [{'role': 'user',
'content': [{'type': 'text',
'text': 'Du bist ein Experte für Radiografie. Beschreibe genau, was du in diesem Bild siehst.'},
{'type': 'image',
'image':