{% endcolumn %}
{% endcolumns %}
{% hint style="success" %}
Unsloth Studio Chat 自动适用于 **多 GPU 配置** 进行推理。
{% endhint %}
### 使用旧的 / 现有的 GGUF 模型
{% columns %}
{% column %}
**4 月 1 日更新：** 现在你可以选择一个现有文件夹，让 Unsloth 从中检测。
**3 月 27 日更新：** Unsloth Studio 现在 **会自动检测旧的 / 预先存在的模型** 这些模型是从 Hugging Face、LM Studio 等下载的。
{% endcolumn %}
{% column %}
{% endcolumn %}
{% endcolumns %}
**手动说明：** Unsloth Studio 会检测下载到你 Hugging Face Hub 缓存中的模型 `(C:\Users{your_username}.cache\huggingface\hub)`。如果你有通过 LM Studio 下载的 GGUF 模型，请注意这些模型存储在 `C:\Users\{your_username}.cache\lm-studio\models` ***或*** `C:\Users{your_username}\lm-studio\models` 中，并且默认情况下 llama.cpp 无法看到它们——你需要将这些 .gguf 文件移动或复制到你的 Hugging Face Hub 缓存目录（或 llama.cpp 可访问的其他路径）中，Unsloth Studio 才能加载它们。
在 Studio 中微调模型或适配器后，你可以将其导出为 GGUF，并通过 **llama.cpp** 直接在 Studio Chat 中运行本地推理。Unsloth Studio 由 llama.cpp 和 Hugging Face 提供支持。
### 将文件作为上下文添加
Studio Chat 直接支持对话中的多模态输入。你可以将文档、图片或音频作为提示的额外上下文附加进去。
这让测试模型如何处理 PDF、截图或参考资料等真实输入变得很容易。文件会在本地处理，并作为上下文提供给模型。
### **删除模型文件**
你可以通过模型搜索中的垃圾桶图标删除旧模型文件，或者从默认的 Hugging Face 缓存目录中移除相关的缓存模型文件夹。默认情况下，Hugging Face 使用 `~/.cache/huggingface/hub/` 在 macOS/Linux/WSL 上，以及 `C:\Users\\.cache\huggingface\hub\` 在 Windows 上。
* **MacOS、Linux、WSL：** `~/.cache/huggingface/hub/`
* **Windows：** `%USERPROFILE%\.cache\huggingface\hub\`
如果 `HF_HUB_CACHE` 或 `HF_HOME` 已设置，则改用该位置。在 Linux 和 WSL 上， `XDG_CACHE_HOME` 也可以更改默认缓存根目录。
### **Unsloth 没有检测到或使用我的 GPU**
如果模型没有使用你的 GPU，尤其是在 Docker 中，请尝试：
手动拉取最新镜像：
```bash
docker pull unsloth/unsloth:latest
```
* 使用 GPU 访问启动容器：
* `docker run`: `--gpus all`
* Docker Compose： `capabilities: [gpu]`
* 在 Linux 上，请确保已安装 NVIDIA Container Toolkit。
* 在 Windows 上：
* 检查 `nvcc --version` 是否与 `nvidia-smi`
* 中显示的 CUDA 版本一致。按以下说明操作：
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://unsloth.ai/docs/zh/xin-zeng/studio/chat.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
