Дообучение локальной LLM: LoRA, QLoRA, RAG и практический запуск

Когда локальную LLM действительно стоит дообучать

Fine-tuning полезен, когда нужно изменить поведение модели, а не просто показать ей очередной документ.

Fine-tuning также способен добавлять доменные знания, но использовать его как замену обновляемой базы знаний часто неудобно: при каждом изменении данных модель пришлось бы обучать заново.

RAG или fine-tuning: что выбрать

Гайд по RAG: локальная нейросеть для PDF и документов.

Что такое LoRA

LoRA — Low-Rank Adaptation — метод parameter-efficient fine-tuning. Основные веса base model остаются замороженными, а обучение изменяет небольшие добавочные low-rank matrices.

Hugging Face PEFT называет LoRA одним из наиболее популярных и удобных методов PEFT. Главный выигрыш — обучается лишь небольшая доля параметров вместо всей модели.

Что такое QLoRA

QLoRA сохраняет идею LoRA, но base model загружается в 4-bit представлении. Это резко уменьшает VRAM, необходимую для training.

В Hugging Face bitsandbytes для QLoRA используется 4-bit quantization; для обучения 4-bit base models документация рекомендует тип NF4.

LoRA или QLoRA

В актуальной документации Unsloth LoRA описывается как 16-bit training, а QLoRA — как 4-bit. Unsloth оценивает LoRA как немного быстрее и точнее, но примерно в четыре раза более требовательную по памяти.

Сколько VRAM нужно для QLoRA

Ниже — минимальные ориентиры из актуальной документации Unsloth. Это не гарантия: context length, batch size, архитектура и optimizer могут потребовать больше.

Практический вывод: QLoRA 7–14B-класса сегодня реально тестировать на обычной потребительской GPU. Но таблица показывает абсолютные минимумы Unsloth, а не «комфортные требования».

Что сильнее всего повышает расход памяти

• длинный training sequence;
• batch size;
• более крупная base model;
• LoRA rank;
• отключённый gradient checkpointing;
• vision/multimodal training;
• optimizer и дополнительные training states.

Если получаете CUDA OOM, документация Unsloth предлагает в первую очередь снижать batch size до 1–3.

Как выбрать base model

Fine-tuning не исправляет фундаментальные ограничения слабой base model. Поэтому сначала выберите модель, которая уже умеет примерно то, что требуется.

Dataset важнее большинства hyperparameters

Fine-tuning обучает модель повторять паттерны из dataset. Поэтому ошибки, многословие и плохие ответы тоже становятся training signal.

Простой формат prompt → completion

{"prompt":"Определи категорию заявки: Не работает розетка на кухне","completion":"электрика"}
{"prompt":"Определи категорию заявки: Не подключается ноутбук к Wi-Fi","completion":"сеть"}
{"prompt":"Определи категорию заявки: Камера показывает offline","completion":"видеонаблюдение"}

Диалоговый формат

{
  "messages": [
    {"role":"user","content":"Сформируй краткое техническое заключение."},
    {"role":"assistant","content":"Причина: ...\nПроверка: ...\nРешение: ..."}
  ]
}

Hugging Face TRL SFTTrainer поддерживает как language-modeling, так и prompt-completion datasets.

Сколько примеров нужно

Универсального числа нет. Сотня очень чистых и однородных примеров может дать заметный эффект на узкой задаче, а тысячи слабых примеров — испортить модель.

Train, validation и test нужно разделять до обучения

Если проверить модель на тех же примерах, на которых она училась, результат почти ничего не говорит о реальной способности обобщать.

Для небольшого dataset особенно важно вручную проверить, чтобы очень похожие варианты одного исходного примера не оказались одновременно в train и test.

Установка Unsloth локально

Unsloth сегодня поддерживает Linux и Windows, NVIDIA, AMD и Intel GPU; для разных backend есть отдельные инструкции. Самый простой общий вариант установки:

pip install unsloth

или:

uv pip install unsloth

Для изолированной серверной среды есть официальный Docker image unsloth/unsloth.

Минимальная схема QLoRA training

Упрощённый workflow выглядит так:

Концептуально код Unsloth выглядит так:

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="YOUR_MODEL",
    max_seq_length=2048,
    load_in_4bit=True,
)

model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=[
        "q_proj", "k_proj", "v_proj", "o_proj",
        "gate_proj", "up_proj", "down_proj"
    ],
    lora_alpha=16,
    lora_dropout=0,
    use_gradient_checkpointing="unsloth",
)

Затем dataset передаётся в TRL SFTTrainer и запускается trainer.train(). Конкретный tokenizer/chat template, model class и dataset formatter зависят от выбранной архитектуры.

Какие hyperparameters действительно нужно понимать

Unsloth рекомендует для LoRA rank часто начинать с 16 или 32 и предупреждает о diminishing returns/overfitting при чрезмерном числе epochs.

Как понять, что fine-tuning реально помог

До training создайте фиксированный benchmark из реальных задач. После training прогоните:

1. base model с одинаковым prompt;
2. base + LoRA adapter;
3. по возможности RAG/prompt-only baseline;
4. слепую ручную оценку результатов;
5. автоматическую метрику, если задача допускает её.

Для classification

Accuracy, precision/recall/F1.

Для JSON / structured output

Процент валидного JSON и точное соблюдение schema.

Для tool calling

Правильный выбор tool + корректность arguments + успешность полного workflow.

Для свободного текста

Human evaluation на отложенных реальных запросах важнее одной aggregate метрики.

Как выглядит переобучение

Модель может отлично повторять training examples и одновременно стать хуже на новых формулировках.

Признаки:

• training loss падает, validation перестаёт улучшаться;
• ответы становятся слишком одинаковыми;
• модель копирует целые куски training data;
• хуже работает на вопросах вне узкого шаблона;
• теряет полезные способности base model.

Увеличивать epochs только потому, что «GPU ещё свободна» — плохая стратегия.

Сохранять adapter или целую модель

Одно из главных преимуществ LoRA — adapter может быть очень небольшим относительно base model.

Hugging Face PEFT предоставляет merge_and_unload() для объединения adapter weights с base model в standalone model. Но merge — отдельный этап deployment, а не обязательная часть обучения.

Как превратить fine-tuned модель в GGUF

Unsloth умеет экспортировать fine-tuned модель напрямую в формат GGUF для llama.cpp, Ollama, LM Studio и других локальных runtimes.

model.save_pretrained_gguf(
    "my-model",
    tokenizer,
    quantization_method="q4_k_m"
)

Можно также экспортировать Q8_0 или F16:

model.save_pretrained_gguf("my-model-q8", tokenizer, quantization_method="q8_0")
model.save_pretrained_gguf("my-model-f16", tokenizer, quantization_method="f16")

Подробнее о GGUF: GGUF и квантизация локальных LLM.

Как запустить fine-tuned модель в Ollama

Один практичный путь — экспортировать модель в GGUF, создать Modelfile и импортировать её в Ollama.

FROM ./my-model-Q4_K_M.gguf

ollama create my-finetuned-model -f Modelfile
ollama run my-finetuned-model

Unsloth также имеет отдельную официальную инструкцию сохранения fine-tuned models в Ollama и автоматического создания Modelfile.

Нужно ли merge LoRA adapter с base model

Не всегда.

Для QLoRA особенно разумно использовать export/merge процедуры фреймворка, а не вручную «переквантовывать» уже quantized layers.

Главные ошибки при первом fine-tuning

1. Fine-tuning вместо RAG

Если задача — отвечать по свежему прайс-листу, документации или базе знаний, обучение часто лишнее.

2. Плохой dataset

Модель учится именно тем ошибкам и шаблонам, которые вы в него положили.

3. Нет baseline до training

После обучения невозможно понять, стало лучше или просто иначе.

4. Слишком большая модель

Маленькая модель с качественным dataset может быть полезнее огромной, которую приходится обучать на пределе памяти.

5. Слишком длинный context

Training sequence напрямую влияет на VRAM и время обучения.

6. Слишком много epochs

Повтор одного маленького dataset десятки раз ускоряет memorization, а не обязательно улучшает generalization.

7. Проверка на training data

Это измеряет способность запоминать, а не работать на новых запросах.

8. Сразу merge и удалить adapter

Сначала сохраните исходный adapter, config, dataset version и параметры training.

Что сохранять вместе с обученной моделью

• точный base model ID и revision;
• adapter;
• dataset или его version/hash;
• train/validation/test split;
• LoRA rank и alpha;
• learning rate;
• epochs/steps;
• max sequence length;
• версии Unsloth/Transformers/PEFT/TRL;
• результаты baseline и post-training evaluation.

Частые вопросы