> For the complete documentation index, see [llms.txt](https://unsloth.ai/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://unsloth.ai/docs/fr/integrations/connections/vllm.md).

# Connecter vLLM à Unsloth pour l’inférence de chat locale

Découvrez comment connecter **vLLM à** [**Unsloth**](https://github.com/unslothai/unsloth) en utilisant le **API compatible avec OpenAI** afin de pouvoir servir des modèles et discuter avec eux localement dans une interface de chat open source. Ce guide vous accompagne dans l’installation de vLLM, le lancement d’un serveur vLLM local, la configuration de l’URL de base de l’API, le chargement des identifiants de modèles disponibles et la sélection de votre modèle vLLM hébergé.

À la fin, vos modèles servis par vLLM apparaîtront aux côtés des modèles locaux, vous offrant un moyen rapide et flexible d’exécuter l’inférence d’un LLM externe depuis une interface de chat UI.

### Configuration

{% stepper %}
{% step %}

#### Installer vLLM

Installez d’abord vLLM afin de pouvoir exécuter la `vllm serve` commande. Suivez le [guide d’installation de vLLM](https://docs.vllm.ai/en/stable/getting_started/installation/) pour votre plateforme et votre matériel.

Après l’installation, vérifiez que vLLM fonctionne dans votre terminal : `vllm --help`
{% endstep %}

{% step %}

#### Choisissez un modèle

vLLM sert les modèles depuis Hugging Face.

Par exemple, démarrez un serveur vLLM avec un modèle Unsloth :

```bash
vllm serve unsloth/gemma-4-26B-A4B-it 
\ --dtype auto
```

Cela expose un point de terminaison d’API à :

`http://localhost:8000/v1`

Pour exiger une clé API, ajoutez :

```bash
--api-key token-abc123
```

{% endstep %}

{% step %}

#### Connecter vLLM à Unsloth

Ouvrez **Paramètres → Connexions**, puis cliquez sur **Ajouter une connexion**.

Sélectionnez **vLLM**, puis saisissez les détails de votre serveur.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FN80ObNBvpN7hDypheYkt%2Fimage.png?alt=media&amp;token=481f4c1f-afb6-438d-ae35-85566f15e414" alt=""><figcaption></figcaption></figure>

Saisissez les détails de votre serveur vLLM :

* **Clé API :** laissez vide sauf si vous avez lancé vLLM avec --api-key
* **URL de base :** par exemple, <http://localhost:8000/v1>
* **Modèle de raisonnement :** activez cette option si le modèle servi prend en charge le raisonnement
* **Identifiants de modèle :** cliquez **Charger les modèles**, ou saisissez manuellement des identifiants personnalisés

Après avoir cliqué sur **Ajouter une connexion**, les modèles que vous avez activés apparaîtront sous **Connexion** dans le menu déroulant des modèles.
{% endstep %}

{% step %}

#### Prêt à discuter

Après avoir enregistré la connexion, votre modèle vLLM apparaîtra sous **Connecté** dans le menu déroulant des modèles. Sélectionnez-le pour commencer à discuter via votre serveur vLLM.

<figure><img src="https://550366147-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FxhOjnexMCB3dmuQFQ2Zq%2Fuploads%2FpoXSmL3PcpprEy8CIT7S%2Fexport-1779046578662.gif?alt=media&amp;token=acf1de86-6fa4-466f-97f7-2d91662a124e" alt=""><figcaption></figcaption></figure>

{% hint style="info" %}
Si votre serveur vLLM répond lentement (en particulier lors du chargement du modèle), vous pouvez ajuster le délai d’expiration :

```bash
AIOHTTP_CLIENT_TIMEOUT_MODEL_LIST=30
```

{% endhint %}
{% endstep %}
{% endstepper %}

### Arguments vLLM courants

L’exemple ci-dessus utilise les paramètres de service de base. Vous pouvez ajouter d’autres arguments à vllm serve selon votre modèle et votre matériel.

Les options courantes incluent :

```bash
vllm serve unsloth/gemma-4-26B-A4B-it \
  --dtype auto \
  --host 0.0.0.0 \\
  --port 8000 \
  --api-key token-abc123 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.9
```

Pour la liste complète des arguments du serveur vLLM, consultez l’official vLLM [serveur compatible OpenAI](https://docs.vllm.ai/en/stable/serving/openai_compatible_server/) documentation.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://unsloth.ai/docs/fr/integrations/connections/vllm.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.