Unsloth: как дообучить локальную LLM на Windows и выгрузить модель в GGUF
Локальную модель можно не только скачать и запустить, но и дообучить под свой стиль, формат ответов или конкретную задачу. Unsloth делает этот процесс заметно доступнее: есть Python-библиотека, готовые notebooks и отдельный Desktop/Studio-интерфейс, где можно подготовить dataset, запустить LoRA/QLoRA training и затем экспортировать результат в GGUF для Ollama, LM Studio или llama.cpp.
Unsloth — это не ещё один чат с LLM, а среда для запуска и обучения моделей
Изначально Unsloth был известен как оптимизированная библиотека для fine-tuning. В 2026 году проект заметно расширился: Desktop/Studio объединяет model hub, chat, training, datasets, monitoring, export и API в одном приложении.
Настраивает поведение модели на примерах, а не только меняет system prompt.
Обучение можно выполнять на собственной Windows/Linux/macOS машине.
Результат не обязан оставаться внутри Unsloth — можно сохранить adapter или GGUF.
Новичок может использовать Studio, а разработчик — Python/TRL notebooks.
Дообучение нужно не для любого набора своих документов
Fine-tuning лучше использовать, когда нужно изменить устойчивое поведение модели: тон, формат, классификацию, tool calling или специфический способ решать задачу.
LoRA и QLoRA почти всегда разумнее первого эксперимента с full fine-tuning
Обучаются небольшие low-rank adapters. Требования к памяти намного ниже полного fine-tuning.
Ещё сильнее снижает требования к VRAM. Частый первый вариант для домашней GPU.
Намного тяжелее по VRAM и compute. Для первого обучения обычно не нужен.
Имеет смысл после понимания SFT и когда есть reward/preference methodology.
В актуальном beginner guide Unsloth также советует начинать с LoRA/QLoRA, а не переходить сразу к full fine-tuning.
Самый простой путь — Unsloth Desktop
Native installer доступен прямо в GitHub Releases.
Для Windows официальный README ведёт на:
Unsloth-Desktop-Windows.exe.
Model hub, chat, training и export через GUI.
Можно установить через официальный PowerShell installer.
Для notebooks, TRL и собственного training pipeline.
Подходит для NVIDIA/AMD GPU и воспроизводимого setup.
Studio через PowerShell
irm https://unsloth.ai/install.ps1 | iex
unsloth studioCore через uv
winget install -e --id Python.Python.3.13
winget install --id=astral-sh.uv -e
uv venv unsloth_env --python 3.13
.\unsloth_env\Scripts\activate
uv pip install unsloth==2026.9.7 --torch-backend=autoStudio превращает fine-tuning из notebook-проекта в последовательный интерфейс
Начинать с небольшой instruct-модели, которая помещается в вашу VRAM.
CSV/JSONL или Data Recipe из документов.
Для первого теста — SFT + LoRA/QLoRA.
Не начинать сразу с часов обучения.
Base model и fine-tuned variant должны тестироваться на одних prompts.
Adapter, merged weights или GGUF под ваш inference runtime.
Если dataset или chat template собраны неправильно, дополнительные часы GPU только сильнее закрепят ошибку.
Fine-tuning учится не из «файлов вообще», а из подготовленных training examples
Для обычного SFT нужен dataset с примерами: пользовательский input → ожидаемый правильный output. Сам факт, что у вас есть PDF-инструкция, ещё не делает её хорошим training dataset.
Основной формат для поведения assistant.
Для диалогового поведения и сложных conversations.
Совсем другой training режим, не эквивалент обычному SFT.
Используются для DPO и похожих methods.
Data Recipes в Unsloth Studio
Современный Studio умеет строить synthetic training dataset из PDF, CSV, DOCX и seed data через визуальный node workflow. Recipes можно preview/validate перед полным generation.
Если генератор придумал неверные ответы, fine-tuning будет последовательно учить модель этим ошибкам.
Что находится под GUI: QLoRA + SFTTrainer
from unsloth import FastLanguageModel
from trl import SFTTrainer, SFTConfig
model, tokenizer = FastLanguageModel.from_pretrained(
model_name="YOUR_MODEL",
max_seq_length=2048,
load_in_4bit=True,
)
model = FastLanguageModel.get_peft_model(
model,
r=16,
lora_alpha=16,
lora_dropout=0,
bias="none",
use_gradient_checkpointing="unsloth",
)
trainer = SFTTrainer(
model=model,
tokenizer=tokenizer,
train_dataset=dataset,
args=SFTConfig(
per_device_train_batch_size=2,
gradient_accumulation_steps=4,
learning_rate=2e-4,
output_dir="outputs",
),
)
trainer.train()Это упрощённый skeleton. Реальный config зависит от архитектуры модели, dataset template, GPU и цели обучения.
Learning rate, sequence length, LoRA rank, batch size и target modules должны соответствовать конкретной модели и dataset.
Можно сохранить только LoRA adapter или объединить модель и экспортировать в GGUF
Удобно хранить отдельно от base model и продолжать обучение.
Adapter объединяется с базовой моделью.
Подходит для llama.cpp, Ollama и LM Studio.
В документации Unsloth для локального single-device inference GGUF остаётся основным portable вариантом.
Q4_K_MХороший балансЧастый вариант для локального использования.
Q8_0Ближе к полной точностиБольше размер и требования к памяти.
F16Почти без quantizationСамый тяжёлый вариант для desktop inference.
Fine-tune может быть удачным, а слишком агрессивная quantization — ухудшить нужное поведение.
Fine-tuned GGUF можно вынести из Unsloth и запускать привычными runtime
Открыть локальный файл в GUI, проверить chat и OpenAI-compatible API.
Unsloth умеет готовить workflow для запуска exported model через Ollama.
Максимально близкий к формату runtime.
Локальную модель можно подключить к Claude Code, Codex и другим agent clients
unsloth start claude
unsloth start codex
unsloth start opencode
unsloth start hermesМожно указать конкретный model artifact:
unsloth start codex \
--model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XLЭто отдельная функция от fine-tuning: можно подключать и обычную готовую модель, и свою дообученную/экспортированную версию.
Современный Unsloth поддерживает более широкий набор железа, но training requirements всё равно зависят от модели
Текущий README заявляет Windows/Linux/WSL/macOS и поддержку NVIDIA, AMD, Intel, CPU и Vulkan backend. В сентябрьских releases отдельно расширена AMD-поддержка и Docker images для NVIDIA/AMD.
CUDA/Triton ecosystem остаётся наиболее типичным вариантом.
Есть ROCm/Vulkan и отдельные улучшения для RDNA.
Desktop/Studio поддерживает local model training/inference paths на macOS.
Запустить модель можно, но серьёзное обучение без подходящего accelerator будет очень медленным.
Для QLoRA нужны base weights, optimizer state, activations и training buffers. Требования к VRAM отличаются от обычного inference той же модели.
Локальный AI workspace всё равно требует security-гигиены
LAN/remote access превращает локальную UI в сетевой сервис.
Не включать credentials в dataset, logs и публичные recipes.
PowerShell/curl installer выполняет код из сети — разумно использовать официальный источник и pinned release.
Studio умеет запускать Bash/Python, поэтому tools должны иметь минимальные права.
Fine-tuned weights могут запоминать чувствительные training examples.
Перед Hugging Face push проверить dataset license и утечки данных.
В сентябрьских release notes также появились дополнительные safeguards для credential protection и tool-call validation. При этом в issue tracker остаются свежие reports о sandbox/tool permission edge cases, поэтому autonomous tool execution лучше не считать абсолютной изоляцией.
Fine-tuning легко сделать технически, но сложно сделать действительно полезно
Модель быстро учится ошибкам, повторам и противоречиям.
Модель запоминает примеры вместо обобщения.
Слишком агрессивное обучение может ухудшить базовые способности.
Красивый training loss не доказывает улучшение реальных задач.
Часто меняющиеся факты удобнее держать в RAG.
GGUF Q4 может вести себя иначе, чем training checkpoint.
Оптимизации не отменяют физический объём модели и activations.
Beta release означает быстрые изменения UI и occasional regressions.
Сравнивайте base и fine-tuned model на одинаковом наборе реальных задач и только потом решайте, стало ли лучше.
Когда Unsloth особенно интересен
Стабильно выдавать ответ в нужном JSON/schema или стиле.
Научить небольшую модель узкой повторяемой задаче.
Дообучать модель на корректных tool-use examples.
Адаптировать terminology и типичные workflows.
Дообучить небольшую модель под conventions конкретного проекта.
Обучать и тестировать внутри своей инфраструктуры.
Unsloth: releases, Windows, fine-tuning, datasets и export
Python package — 2026.9.7 от 18 сентября 2026 года.
Актуальный GitHub Desktop release — v0.1.811-beta.
Core — Apache-2.0; Studio UI — AGPL-3.0.
Unsloth сделал fine-tuning значительно доступнее, но главный bottleneck всё равно dataset и evaluation
В 2026 году Unsloth интересен уже не только ML-разработчику: Desktop/Studio позволяет пройти весь путь от dataset до локального GGUF без ручной сборки training stack.
Но сама доступность кнопки Train не делает fine-tuning правильным решением. Сначала определите, действительно ли нужно менять поведение модели, затем соберите качественные примеры, проведите короткий QLoRA/SFT experiment, сравните результат с base model и лишь потом масштабируйте training.
Частые вопросы про Unsloth
Что такое Unsloth простыми словами?
Open-source stack для запуска и обучения локальных AI-моделей. Он включает Python core, Desktop/Studio UI, notebooks и export/deployment tools.
Можно ли обучать LLM на Windows без WSL?
Да. Современный Unsloth поддерживает native Windows; есть Desktop installer и native Python path.
Что выбрать: LoRA или QLoRA?
Для первого домашнего эксперимента QLoRA часто удобнее из-за меньшего потребления VRAM. Если памяти достаточно и нужна 16-bit LoRA, используйте LoRA без 4-bit base.
Можно ли дообучить модель на PDF?
Не стоит просто «скармливать PDF». В Studio Data Recipes можно преобразовать документы в training examples, но полученный synthetic dataset нужно проверять.
Можно ли после обучения использовать модель в Ollama?
Да. Unsloth поддерживает экспорт в GGUF и workflow для Ollama.
Можно ли открыть модель в LM Studio?
Да. Fine-tuned model можно экспортировать в GGUF и импортировать в LM Studio.
Поддерживаются Claude Code и Codex?
Да. unsloth start claude и unsloth start codex подключают agent clients к локальному model server.
Unsloth полностью Apache-2.0?
Нет. Core package — Apache-2.0, а Studio UI использует AGPL-3.0.
Какая версия актуальна?
На 21 сентября 2026 года Python package — 2026.9.7, Desktop GitHub release — v0.1.811-beta.
Нужно понять, стоит ли дообучать модель или достаточно RAG и system prompt?
Можно разобрать задачу, dataset, доступную RAM/VRAM и выбрать подход: prompt engineering, RAG, QLoRA/LoRA или отдельная маленькая специализированная модель.
