🦙Tutorial: Wie man Llama-3 finetunt und in Ollama verwendet

Einsteigerleitfaden zum Erstellen eines personalisierten Assistenten (wie ChatGPT), der lokal auf Ollama läuft

Am Ende dieses Tutorials werden Sie einen benutzerdefinierten Chatbot erstellen, indem Llama-3 feinabgestimmt mit Unsloth kostenlos. Er kann lokal über Ollama auf Ihrem PC ausgeführt werden oder in einer kostenlosen GPU-Instanz über Google Colab. Sie können interaktiv mit dem Chatbot wie unten dargestellt interagieren:

Unsloth macht das Finetuning viel einfacher und kann das feinabgestimmte Modell automatisch nach Ollama mit integrierter automatischer Modell-Datei Erstellung exportieren! Wenn Sie Hilfe benötigen, können Sie unserem Discord-Server beitreten: https://discord.com/invite/unsloth

Wenn Sie den Code kopieren oder speichern möchten, ist alles in unserem Ollama Colab-Notebookverfügbar. Sie können es dort direkt verwenden oder für Ihre lokale Einrichtung anpassen: https://colab.research.google.com/github/unslothai/notebooks/blob/main/nb/Llama3_(8B)-Ollama.ipynb

1. Was ist Unsloth?

Unsloth macht das Finetuning von LLMs wie Llama-3, Mistral, Phi-3 und Gemma 2x schneller, benötigt 70 % weniger Speicher und ohne Genauigkeitsverlust! Für dieses Tutorial verwenden wir Google Colab, das eine kostenlose GPU bereitstellt. Sie können auf unsere kostenlosen Notebooks unten zugreifen:

• Ollama Llama-3 Alpaca (Notebook, das wir verwenden werden)

• CSV/Excel Ollama Leitfaden

Sie müssen sich außerdem in Ihr Google-Konto einloggen!

2. Was ist Ollama?

Ollama ermöglicht es Ihnen, Sprachmodelle schnell und einfach auf Ihrem eigenen Computer auszuführen! Es startet im Hintergrund ein Programm, das ein Sprachmodell wie Llama-3 ausführen kann. Wenn Sie dem Sprachmodell plötzlich eine Frage stellen möchten, können Sie einfach eine Anfrage an Ollama senden, und es gibt Ihnen schnell die Ergebnisse zurück! Wir werden Ollama als unsere Inferenz-Engine verwenden!

3. Installieren Sie Unsloth

Wenn Sie noch nie ein Colab-Notebook verwendet haben, eine kurze Einführung in das Notebook selbst:

1. Play-Button bei jeder "Zelle". Klicken Sie darauf, um den Code dieser Zelle auszuführen. Sie dürfen keine Zellen überspringen und müssen jede Zelle in chronologischer Reihenfolge ausführen. Wenn Sie auf Fehler stoßen, führen Sie einfach die Zelle erneut aus, die Sie vorher nicht ausgeführt haben. Eine andere Option ist, STRG + ENTER zu drücken, wenn Sie nicht auf den Play-Button klicken möchten.

2. Runtime-Button in der oberen Symbolleiste. Sie können auch diese Schaltfläche verwenden und "Alle ausführen" wählen, um das gesamte Notebook auf einmal auszuführen. Dadurch werden alle Anpassungsschritte übersprungen und es kann ein guter erster Versuch sein.

3. Verbinden / Wiederverbinden T4-Schaltfläche. Sie können hier klicken, um fortgeschrittene Systemstatistiken anzuzeigen.

Die erste Installationszelle sieht wie folgt aus: Denken Sie daran, auf die PLAY-Schaltfläche in den Klammern [ ] zu klicken. Wir holen unser Open-Source-GitHub-Paket und installieren einige andere Pakete.

4. Auswahl eines Modells zum Finetuning

Wählen wir nun ein Modell für das Finetuning! Standardmäßig haben wir Llama-3 von Meta / Facebook ausgewählt, das auf erstaunlichen 15 Billionen "Tokens" trainiert wurde. Nehmen Sie an, ein Token sei wie ein englisches Wort. Das entspricht ungefähr dem Inhalt von 350.000 dicken Enzyklopädien! Andere beliebte Modelle sind Mistral, Phi-3 (trainiert mit GPT-4-Ausgaben) und Gemma von Google (13 Billionen Tokens!).

Unsloth unterstützt diese Modelle und mehr! Geben Sie einfach ein Modell aus dem Hugging Face Model Hub ein, um zu sehen, ob es funktioniert! Wir geben einen Fehler aus, falls es nicht funktioniert.

Es gibt 3 weitere Einstellungen, die Sie umschalten können:

1. max_seq_length = 2048

   Dies bestimmt die Kontextlänge des Modells. Gemini zum Beispiel hat über 1 Million Kontextlänge, während Llama-3 eine Kontextlänge von 8192 hat. Wir erlauben Ihnen, JEDE Zahl auszuwählen - aber wir empfehlen, für Testzwecke 2048 zu setzen. Unsloth unterstützt auch Finetuning mit sehr langen Kontexten, und wir zeigen, dass wir 4x längere Kontextlängen als die Besten bereitstellen können.

2. dtype = None

   Belassen Sie dies auf None, aber Sie können torch.float16 oder torch.bfloat16 für neuere GPUs wählen.

3. load_in_4bit = True

   Wir führen das Finetuning in 4-Bit-Quantisierung durch. Dies reduziert den Speicherbedarf um den Faktor 4, sodass wir tatsächlich Finetuning auf einer kostenlosen GPU mit 16 GB Speicher durchführen können. 4-Bit-Quantisierung konvertiert Gewichte im Wesentlichen in eine begrenzte Menge von Zahlen, um den Speicherverbrauch zu reduzieren. Ein Nachteil ist eine Genauigkeitsminderung von 1–2 %. Setzen Sie dies auf False bei größeren GPUs wie H100s, wenn Sie diese kleine zusätzliche Genauigkeit wünschen.

Wenn Sie die Zelle ausführen, erhalten Sie einige Ausgaben zur Unsloth-Version, welches Modell Sie verwenden, wie viel Speicher Ihre GPU hat und einige andere Statistiken. Ignorieren Sie dies vorerst.

5. Parameter für das Finetuning

Um Ihr Finetuning anzupassen, können Sie die oben genannten Zahlen bearbeiten, aber Sie können sie auch ignorieren, da wir bereits recht vernünftige Zahlen ausgewählt haben.

Das Ziel ist, diese Zahlen zu ändern, um die Genauigkeit zu erhöhen, aber auch Überanpassung entgegenzuwirken. Überanpassung tritt auf, wenn das Sprachmodell einen Datensatz auswendig lernt und nicht in der Lage ist, neue, unbekannte Fragen zu beantworten. Wir möchten ein finales Modell, das unbekannte Fragen beantworten kann und nicht memoriert.

1. r = 16, # Wählen Sie eine beliebige Zahl > 0 ! Vorgeschlagen: 8, 16, 32, 64, 128

   Der Rang des Finetuning-Prozesses. Eine größere Zahl verwendet mehr Speicher und ist langsamer, kann aber die Genauigkeit bei schwierigeren Aufgaben erhöhen. Normalerweise empfehlen wir Zahlen wie 8 (für schnelle Finetunes) bis zu 128. Zu große Zahlen können Überanpassung verursachen und die Modellqualität beeinträchtigen.

2. target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                     "gate_proj", "up_proj", "down_proj",],

   Wir wählen alle Module zum Finetuning aus. Sie können einige entfernen, um den Speicherbedarf zu reduzieren und das Training zu beschleunigen, aber das empfehlen wir dringend nicht. Trainieren Sie einfach alle Module!

3. lora_alpha = 16,

   Der Skalierungsfaktor für das Finetuning. Eine größere Zahl lässt das Finetuning mehr über Ihren Datensatz lernen, kann aber Überanpassung fördern. Wir empfehlen, diesen gleich dem Rang rzu setzen oder ihn zu verdoppeln.

4. lora_dropout = 0, # Unterstützt beliebige Werte, aber = 0 ist optimiert

   Lassen Sie dies auf 0 für schnelleres Training! Kann Überanpassung reduzieren, aber nicht stark.

5. bias = "none",    # Unterstützt beliebige Werte, aber = "none" ist optimiert

   Lassen Sie dies auf 0 für schnelleres Training mit weniger Überanpassung!

6. use_gradient_checkpointing = "unsloth", # True oder "unsloth" für sehr langen Kontext

   Optionen umfassen Wahr, Falsch und "unsloth". Wir empfehlen "unsloth" da wir den Speicherverbrauch um zusätzliche 30 % reduzieren und extrem lange Kontext-Finetunes unterstützen. Sie können hier nachlesen: https://unsloth.ai/blog/long-context für weitere Details.

7. random_state = 3407,

   Die Zahl zur Bestimmung deterministischer Läufe. Training und Finetuning benötigen Zufallszahlen, daher macht das Setzen dieser Zahl Experimente reproduzierbar.

8. use_rslora = False,  # Wir unterstützen rank-stabilisiertes LoRA

   Erweiterte Funktion, um das lora_alpha = 16 automatisch zu setzen. Sie können dies verwenden, wenn Sie möchten!

9. loftq_config = None, # Und LoftQ

   Erweiterte Funktion, um die LoRA-Matrizen mit den oberen r Singulärvektoren der Gewichte zu initialisieren. Kann die Genauigkeit etwas verbessern, aber den Speicherbedarf zu Beginn stark ansteigen lassen.

6. Alpaca-Datensatz

Wir werden nun den Alpaca-Datensatz verwenden, der durch Aufruf von GPT-4 selbst erstellt wurde. Es ist eine Liste von 52.000 Anweisungen und Ausgaben, die sehr populär war, als Llama-1 veröffentlicht wurde, da sie das Finetuning eines Basismodells wettbewerbsfähig mit ChatGPT machte.

Sie können auf die GPT4-Version des Alpaca-Datensatzes hier zugreifen: https://huggingface.co/datasets/vicgalle/alpaca-gpt4. Eine ältere erste Version des Datensatzes finden Sie hier: https://github.com/tatsu-lab/stanford_alpaca. Unten sind einige Beispiele aus dem Datensatz gezeigt:

Sie können sehen, dass es in jeder Zeile 3 Spalten gibt - eine Anweisung, eine Eingabe und eine Ausgabe. Wir kombinieren im Wesentlichen jede Zeile zu einem großen Prompt wie unten. Wir verwenden dies dann, um das Sprachmodell zu finetunen, und das machte es dem ChatGPT sehr ähnlich. Wir nennen diesen Prozess überwachtes Instruction-Finetuning.

7. Mehrere Spalten für das Finetuning

Ein großes Problem bei ChatGPT-ähnlichen Assistenten ist, dass wir nur 1 Anweisung / 1 Prompt erlauben und keine mehreren Spalten / Eingaben. Zum Beispiel muss man bei ChatGPT genau 1 Prompt übermitteln, nicht mehrere Prompts.

Das bedeutet im Wesentlichen, dass wir mehrere Spalten zu einem großen Prompt "zusammenführen" müssen, damit das Finetuning tatsächlich funktioniert!

Zum Beispiel hat der sehr bekannte Titanic-Datensatz viele Spalten. Ihre Aufgabe war es vorherzusagen, ob ein Passagier überlebt hat oder gestorben ist, basierend auf Alter, Passagierklasse, Fahrpreis usw. Wir können das nicht einfach an ChatGPT übergeben, sondern müssen diese Informationen in einen einzigen großen Prompt "zusammenführen".

Wenn wir ChatGPT mit unserem "zusammengeführten" Einzelprompt fragen, der alle Informationen für diesen Passagier enthält, können wir es dann bitten zu raten oder vorherzusagen, ob der Passagier gestorben oder überlebt hat.

Andere Finetuning-Bibliotheken verlangen, dass Sie Ihren Datensatz manuell für das Finetuning vorbereiten, indem Sie alle Spalten in einen Prompt zusammenführen. In Unsloth stellen wir einfach die Funktion to_sharegpt bereit,

die dies in einem Schritt erledigt! Um auf das Titanic-Finetuning-Notebook zuzugreifen oder wenn Sie eine CSV- oder Excel-Datei hochladen möchten, gehen Sie hierhin:

https://colab.research.google.com/drive/1VYkncZMfGFkeCEgN2IzbZIKEDkyQuJAS?usp=sharing

• Das ist jetzt etwas komplizierter, da wir viele Anpassungen erlauben, aber es gibt einige Punkte: {}Sie müssen alle Spalten in geschweifte Klammern einschließen

• . Dies sind die Spaltennamen in der tatsächlichen CSV-/Excel-Datei. [[]]Optionale Textkomponenten müssen in

• eingeschlossen werden. Zum Beispiel, wenn die Spalte "input" leer ist, zeigt die Zusammenführungsfunktion den Text nicht an und überspringt ihn. Das ist nützlich für Datensätze mit fehlenden Werten. Wählen Sie die Ausgabe- oder Ziel-/Vorhersagespalte inoutput_column_name . Für den Alpaca-Datensatz wäre dies.

output

Zum Beispiel können wir im Titanic-Datensatz ein großes zusammengeführtes Prompt-Format wie unten erstellen, wobei jede Spalte / Textstück optional wird.

Zum Beispiel, nehmen wir an, der Datensatz sieht so aus mit vielen fehlenden Daten:	Embarked	Age
Fare	23
	18	7.25

S

1. Dann wollen wir nicht, dass das Ergebnis lautet: Der Passagier ist in S eingeschifft worden. Sein Alter ist 23. Sein Fahrpreis ist.

2. LEER Der Passagier ist in S eingeschifft worden. Sein Alter ist 23. Sein Fahrpreis istDer Passagier ist eingeschifft in

. Sein Alter ist 18. Sein Fahrpreis ist $7.25. [[]]Stattdessen können wir durch optionales Einschließen von Spalten mit

1. diese Information vollständig ausschließen. Der Passagier ist in S eingeschifft worden. Sein Alter ist 23. Sein Fahrpreis ist.]]

2. [[Der Passagier ist in S eingeschifft worden.]] [[Sein Alter ist 23.]] [[Sein Fahrpreis ist Der Passagier ist in S eingeschifft worden. Sein Alter ist 23. Sein Fahrpreis ist[[Der Passagier ist eingeschifft in

.]] [[Sein Alter ist 18.]] [[Sein Fahrpreis ist $7.25.]]

1. wird zu:

2. Der Passagier ist in S eingeschifft worden. Sein Alter ist 23.

Sein Alter ist 18. Sein Fahrpreis ist $7.25.

8. Mehrzugige Konversationen

Ein kleines Problem, falls es Ihnen nicht aufgefallen ist, ist, dass der Alpaca-Datensatz einstufig ist, während ChatGPT interaktiv ist und man in mehreren Zügen mit ihm sprechen kann. Zum Beispiel ist links, was wir wollen, aber rechts, was der Alpaca-Datensatz bietet, sind nur einzelne Unterhaltungen. Wir möchten, dass das feinabgestimmte Sprachmodell irgendwie lernt, mehrzugige Unterhaltungen genauso wie ChatGPT zu führen. Also haben wir den conversation_extension

Parameter eingeführt, der im Wesentlichen zufällige Zeilen in Ihrem einstufigen Datensatz auswählt und sie zu einer einzigen Konversation zusammenführt! Wenn Sie ihn z. B. auf 3 setzen, wählen wir zufällig 3 Zeilen aus und führen sie zu einer zusammen! Zu lange Einstellungen können das Training verlangsamen, könnten aber Ihren Chatbot und das finale Finetuning deutlich verbessern! Wählen Sie die Ausgabe- oder Ziel-/Vorhersagespalte in Setzen Sie dann

auf die Vorhersage- / Ausgabespalte. Für den Alpaca-Datensatz wäre dies die Ausgabespalte. Wir verwenden dann die standardize_sharegpt

Funktion, um den Datensatz einfach in ein korrektes Format für das Finetuning zu bringen! Rufen Sie diese Funktion immer auf!

9. Anpassbare Chat-Vorlagen

Wir können nun die Chat-Vorlage für das Finetuning selbst festlegen. Das sehr bekannte Alpaca-Format ist unten:

Aber denken Sie daran, wir sagten, dass dies keine gute Idee ist, weil ChatGPT-ähnliche Finetunes nur 1 Prompt erfordern? Da wir erfolgreich alle Datensatzspalten mit Unsloth in einen Prompt zusammengeführt haben, können wir im Wesentlichen die unten stehende Chat-Vorlage mit 1 Eingabespalte (Anweisung) und 1 Ausgabe erstellen: Wir verlangen nur, dass Sie ein {INPUT} Feld für die Anweisung und ein {OUTPUT} Feld für die Ausgabe des Modells einfügen. Tatsächlich erlauben wir optional auch ein {SYSTEM}

Feld, das nützlich ist, um eine System-Anweisung genauso wie in ChatGPT anzupassen. Zum Beispiel sind unten einige coole Beispiele, mit denen Sie die Chat-Vorlage anpassen können:

Für das ChatML-Format, das in OpenAI-Modellen verwendet wird: Feld für die Ausgabe des Modells einfügen. Tatsächlich erlauben wir optional auch ein Oder Sie können die Llama-3-Vorlage selbst verwenden (die nur funktioniert, wenn Sie die instruct-Version von Llama-3 verwenden): Tatsächlich erlauben wir optional auch ein

Feld, das nützlich ist, um eine System-Anweisung genauso wie in ChatGPT anzupassen. Um auf das Titanic-Finetuning-Notebook zuzugreifen oder wenn Sie eine CSV- oder Excel-Datei hochladen möchten, gehen Sie hierhin:

Oder in der Titanic-Vorhersageaufgabe, bei der Sie vorhersagen mussten, ob ein Passagier in diesem Colab-Notebook, das CSV- und Excel-Uploads enthält, gestorben oder überlebt hat:

10. Trainieren Sie das Modell

Lassen Sie uns das Modell jetzt trainieren! Wir empfehlen normalerweise, die folgenden Einstellungen nicht zu ändern, es sei denn, Sie möchten länger trainieren oder mit großen Batch-Größen arbeiten.

1. Wir empfehlen normalerweise nicht, die oben genannten Parameter zu ändern, aber um einige von ihnen zu erläutern:

   per_device_train_batch_size = 2, gradient_accumulation_steps Erhöhen Sie die Batch-Größe, wenn Sie den Speicher Ihrer GPU stärker nutzen möchten. Erhöhen Sie dies auch, um das Training gleichmäßiger zu gestalten und Überanpassung zu vermeiden. Wir empfehlen dies normalerweise nicht, da dies das Training aufgrund von Padding-Problemen tatsächlich verlangsamen kann. Wir bitten Sie stattdessen normalerweise,

2. gradient_accumulation_steps = 4,

   zu erhöhen,

3. was einfach mehr Durchläufe über den Datensatz bedeutet.

   Äquivalent zur Erhöhung der oben genannten Batch-Größe, wirkt sich jedoch nicht auf den Speicherverbrauch aus! Wir empfehlen normalerweise, dies zu erhöhen, wenn Sie glattere Trainingsverlustkurven wünschen. max_steps = 60, # num_train_epochs = 1,Wir setzen die Schritte auf 60 für schnelleres Training. Für vollständige Trainingsläufe, die Stunden dauern können, kommentieren Sie stattdessen max_stepsaus und ersetzen Sie es durch

4. num_train_epochs = 1

   . Das Setzen auf 1 bedeutet 1 vollständigen Durchlauf über Ihren Datensatz. Normalerweise empfehlen wir 1 bis 3 Durchläufe und nicht mehr, sonst überanpassen Sie Ihr Finetuning.

learning_rate = 2e-4,

Verringern Sie die Lernrate, wenn Sie den Finetuning-Prozess verlangsamen möchten, aber wahrscheinlich zu einem Ergebnis mit höherer Genauigkeit konvergieren wollen. Wir empfehlen normalerweise 2e-4, 1e-4, 5e-5, 2e-5 als Zahlen zum Ausprobieren.

Sie sehen während des Trainings ein Protokoll mit Zahlen. Dies ist der Trainingsverlust, der zeigt, wie gut das Modell aus Ihrem Datensatz lernt. In vielen Fällen ist ein Verlust von etwa 0,5 bis 1,0 ein gutes Zeichen, aber es hängt von Ihrem Datensatz und Ihrer Aufgabe ab. Wenn der Verlust nicht sinkt, müssen Sie möglicherweise Ihre Einstellungen anpassen. Wenn der Verlust gegen 0 geht, könnte das auf Überanpassung hinweisen, daher ist es wichtig, auch die Validierung zu prüfen.

11. Inferenz / Ausführen des Modells Lassen Sie uns das Modell jetzt nach Abschluss des Trainings ausführen! Sie können den gelb unterstrichenen Teil bearbeiten! Da wir einen mehrzugigen Chatbot erstellt haben, können wir das Modell jetzt auch so aufrufen, als ob es bereits einige frühere Konversationen gesehen hätte, wie unten: Zur Erinnerung: Unsloth selbst bietet 2x schnellere Inferenznativ an, also vergessen Sie nicht, immer FastLanguageModel.for_inference(model) aufzurufen. Wenn Sie möchten, dass das Modell längere Antworten ausgibt, setzen Sie

max_new_tokens = 128

auf eine größere Zahl wie 256 oder 1024. Beachten Sie, dass Sie dann auch länger auf das Ergebnis warten müssen! https://huggingface.co/settings/tokens und fügen Sie Ihr Token hinzu!

Nachdem wir das Modell gespeichert haben, können wir erneut Unsloth verwenden, um das Modell selbst auszuführen! Verwenden Sie FastLanguageModel wieder, um es für Inferenz aufzurufen!

12. Speichern des Modells

Schließlich können wir unser feinabgestimmtes Modell nach Ollama exportieren! Zuerst müssen wir Ollama im Colab-Notebook installieren:

Dann exportieren wir das feinabgestimmte Modell in die GGUF-Formate von llama.cpp wie unten:

Erinnerung, zu konvertieren Falsch zu Wahr für 1 Zeile, und nicht jede Zeile in Wahr, sonst warten Sie sehr lange! Normalerweise empfehlen wir, die erste Zeile auf Wahrsetzen, damit wir das feinabgestimmte Modell schnell nach Q8_0 Format (8-Bit-Quantisierung). Wir erlauben Ihnen auch, in eine ganze Liste von Quantisierungsmethoden zu exportieren, wobei eine beliebte Methode q4_k_m.

Besuchen Sie https://github.com/ggerganov/llama.cpp um mehr über GGUF zu erfahren. Wir haben auch einige Anleitungen, wie man manuell nach GGUF exportiert, falls Sie hier nachlesen möchten: https://github.com/unslothai/unsloth/wiki#manually-saving-to-gguf

Sie werden eine lange Liste von Text wie unten sehen - bitte warten Sie 5 bis 10 Minuten!!

Und schließlich sieht es ganz am Ende so aus:

Dann müssen wir Ollama selbst im Hintergrund ausführen. Wir verwenden subprocess weil Colab asynchrone Aufrufe nicht mag, aber normalerweise führt man einfach ollama serve im Terminal / in der Eingabeaufforderung aus.

Wir können das feinabgestimmte Modell jetzt als kleine 100-MB-Datei namens LoRA-Adapter speichern, wie unten. Sie können es stattdessen auch in das Hugging Face Hub hochladen, wenn Sie Ihr Modell bereitstellen möchten! Denken Sie daran, ein Hugging Face Token zu erhalten über Modell-Datei Erstellung

Der Trick, den Unsloth bietet, ist, dass wir automatisch eine Modell-Datei erstellen, die Ollama benötigt! Dies ist nur eine Liste von Einstellungen und enthält die Chat-Vorlage, die wir für den Fine-Tuning-Prozess verwendet haben! Sie können auch das Modell-Datei wie unten generiert ausgeben:

Dann bitten wir Ollama, ein Modell zu erstellen, das mit Ollama kompatibel ist, indem wir die Modell-Datei

13. Export nach Ollama

Und wir können das Modell jetzt für Inferenz aufrufen, wenn Sie den Ollama-Server selbst auf Ihrem eigenen Rechner / im kostenlosen Colab-Notebook im Hintergrund laufen lassen möchten. Denken Sie daran, dass Sie den gelb unterstrichenen Teil bearbeiten können.

14. Automatisch

15. Ollama-Inferenz 16. Interaktiver ChatGPT-Stil

Aber um das feinabgestimmte Modell tatsächlich wie ein ChatGPT auszuführen, müssen wir noch etwas mehr tun! Klicken Sie zuerst auf das Terminal-Symbol und ein Terminal wird erscheinen. Es befindet sich in der linken Seitenleiste. Dann müssen Sie möglicherweise zweimal ENTER drücken, um einige seltsame Ausgaben im Terminalfenster zu entfernen. Warten Sie ein paar Sekunden und geben Sie ein

ollama run unsloth_model

und drücken Sie dann ENTER.

Und schließlich können Sie mit dem feinabgestimmten Modell genauso interagieren wie mit einem echten ChatGPT! Drücken Sie STRG + D, um das System zu verlassen, und drücken Sie ENTER, um mit dem Chatbot zu chatten!

Sie haben es geschafft! Sie haben erfolgreich ein Sprachmodell feinabgestimmt und es mit Unsloth 2x schneller und mit 70 % weniger VRAM nach Ollama exportiert! Und das alles kostenlos in einem Google Colab-Notebook!.

Wenn Sie lernen möchten, wie man Reward-Modelling macht, fortgesetztes Pretraining durchführt, nach vLLM oder GGUF exportiert, Textvervollständigung macht oder mehr über Finetuning-Tipps und -Tricks erfahren möchten, besuchen Sie unser hierGithub hier.

Wenn Sie Hilfe beim Finetuning benötigen, können Sie auch unserem Discord-Server beitreten

. Wenn Sie Hilfe mit Ollama möchten, können Sie auch ihrem Server beitreten hierUnd schließlich möchten wir Ihnen danken, dass Sie bis hierhin gelesen und mitgemacht haben! Wir hoffen, dies hat Ihnen geholfen, einige der Grundlagen und Details hinter dem Finetuning von Sprachmodellen zu verstehen, und wir hoffen, dass es nützlich war! hier.