Локальная LLM на Android: как запустить нейросеть на смартфоне без интернета

Реально ли сегодня запускать LLM прямо на Android

Да. На Android уже существует несколько зрелых путей: готовые on-device приложения, llama.cpp bindings, LiteRT/LiteRT-LM, MLC LLM и другие мобильные runtimes.

Официальный Android-гайд llama.cpp сегодня включает:

• готовый Android Studio binding;
• аппаратно-оптимизированные Arm kernels;
• Termux-вариант без root;
• cross-compile через Android NDK;
• загрузку собственных GGUF.

Google AI Edge Gallery, в свою очередь, прямо позиционируется как приложение для on-device GenAI: inference выполняется на аппаратуре смартфона, после загрузки модели интернет не требуется.

Что означает «нейросеть работает полностью без интернета»

Настоящий offline workflow выглядит так:

При этом приложение может дополнительно иметь web search, remote providers или облачные функции. Поэтому «приложение поддерживает локальные модели» не означает, что любой режим приложения офлайн.

Какой способ выбрать

Google AI Edge Gallery: самый простой официальный старт

Google AI Edge Gallery — open-source приложение Google AI Edge для локального запуска generative AI на мобильных устройствах. В текущей версии официально заявлены:

• полностью on-device inference;
• работа без интернета после загрузки модели;
• model management;
• benchmark конкретного телефона;
• импорт совместимых моделей;
• текстовые и multimodal сценарии;
• Agent Skills и Mobile Actions.

Минимальное требование проекта сейчас — Android 12+. Приложение доступно через Google Play, а APK можно брать из официальных GitHub releases.

В сентябре 2026 приложение уже продвигает поддержку Gemma 4. Google отдельно позиционирует Gemma 4 как семейство для edge/on-device AI, включая agentic и multimodal сценарии.

PocketPal AI: удобный путь к GGUF

PocketPal AI — open-source mobile frontend для локальных моделей. В документации проекта указана поддержка готового каталога небольших моделей и загрузка собственных GGUF.

Базовый workflow:

1. установить PocketPal;
2. открыть Models;
3. скачать небольшую модель или импортировать GGUF;
4. нажать Load;
5. начать чат.

Проект активно развивается: в августовской ветке 1.17 появились, например, изменения Android backend и работа с Hexagon payload, а в сентябре продолжается развитие remote/server и vision-функций.

Maid: ещё один open-source вариант для Android

Maid — бесплатное open-source Android-приложение, которое использует llama.cpp для локального GGUF inference.

Текущий проект поддерживает:

• полностью локальные GGUF;
• one-tap загрузку curated Hugging Face моделей;
• импорт собственного GGUF;
• temperature, top-p, top-k;
• настройку context length;
• custom system prompt;
• экспорт/импорт диалогов.

Это хороший вариант, если нужен простой frontend, но хочется оставить свободу выбора GGUF.

llama.cpp через Termux: полный контроль без root

Официальная документация llama.cpp отдельно поддерживает запуск Android CLI через Termux. Root не нужен.

Установить зависимости

apt update && apt upgrade -y
apt install git cmake libandroid-spawn

После этого нужно получить исходники llama.cpp и собрать их по актуальной CMake-инструкции проекта.

Положить GGUF в домашний каталог Termux

Официальный Android-гайд рекомендует хранить модель в ~/, а не читать её напрямую с Android shared storage.

./build/bin/llama-cli \
  -m ~/model.Q4_K_M.gguf \
  -c 4096 \
  -p "Объясни принцип работы УЗО простыми словами."

Какие модели подходят смартфону

На телефоне важна не только «умность», но и размер. Маленькая быстрая модель часто полезнее большой reasoning-модели, которая думает полминуты, нагревает корпус и выгружается из памяти.

Gemma 4

Google в 2026 году специально продвигает Gemma 4 как edge/on-device семейство. AI Edge Gallery уже имеет официальную поддержку Gemma 4.

LFM2.5 1.2B

Liquid AI ориентирует LFM2.5 на on-device agentic AI. Семейство включает Instruct, Vision-Language и Audio-Language варианты.

Отдельная reasoning-версия LFM2.5-1.2B-Thinking, по данным Liquid AI, помещается менее чем примерно в 900 МБ памяти на телефоне. Это оценка самого разработчика и её не следует переносить на любой runtime и context, но она хорошо показывает, насколько малые модели стали ориентированы на мобильный inference.

Qwen и другие GGUF

PocketPal/Maid позволяют пробовать небольшие Qwen, Phi, Gemma и другие GGUF. Выбирайте не название семейства, а конкретный размер параметров и quant.

Сколько RAM нужно смартфону

Главная ошибка — считать всю физическую RAM доступной модели. Android, launcher, браузер, мессенджеры, GPU buffers и background services уже занимают часть памяти.

Эти диапазоны — практическая стартовая эвристика, а не официальные требования Android. Реально доступную память лучше проверять на самом устройстве.

Какой GGUF quant выбирать на телефоне

Для llama.cpp-приложений чаще всего разумная отправная точка — Q4_K_M, если модель помещается.

Подробнее: GGUF и квантизация Q4/Q5/Q8.

Почему на телефоне нельзя сразу ставить 32K–128K context

KV-cache тоже занимает RAM. На ПК лишние несколько гигабайт неприятны, на смартфоне они могут просто завершить процесс.

Полный разбор: какой context ставить локальной LLM.

CPU, GPU или NPU — что реально используется

Android-смартфоны имеют несколько вычислительных блоков, но конкретное приложение не получает магическое ускорение от всех сразу.

Google AI Edge использует собственный стек LiteRT/LiteRT-LM для оптимизированного on-device inference. llama.cpp на Android развивает Arm-оптимизированные CPU kernels; официальная binding-документация упоминает аппаратное ускорение до SME2 на Arm.

Почему телефон сначала быстрый, а потом замедляется

Это обычный thermal throttling. Генерация LLM может держать CPU/GPU под длительной нагрузкой; смартфон ограничивает частоты, чтобы не перегреться.

На практике:

• первые 30–60 секунд benchmark могут быть быстрее длительного чата;
• зарядка во время inference добавляет тепло;
• чехол ухудшает теплоотвод;
• летом в машине результат хуже;
• крупная модель сильнее нагружает память и compute.

Что происходит с батареей

Локальный inference — тяжёлая вычислительная работа. Он расходует больше энергии, чем отправка короткого запроса в облачный API.

Но итог зависит от задачи. Маленькая модель, которая за несколько секунд отвечает офлайн, может быть вполне разумной для:

• поездки без связи;
• приватных заметок;
• быстрых объяснений;
• локального перевода;
• классификации текста;
• коротких offline tools.

Для многочасового reasoning, больших документов и agentic coding смартфон — плохая платформа по сравнению с домашним сервером.

Можно ли анализировать фото полностью на телефоне

Да. Google AI Edge Gallery поддерживает multimodal on-device сценарии, а современные edge-модели включают vision-варианты.

Но VLM тяжелее text-only модели: изображение превращается в visual tokens и требует дополнительной памяти.

Подробнее: локальные VLM для фото и скриншотов.

Локальная модель в телефоне или домашний AI-сервер

Хорошая схема — использовать маленькую модель прямо на телефоне для offline задач, а дома подключаться к более сильной LLM через VPN.

Для второй части есть отдельный гайд: домашний AI-сервер для локальной LLM.

Как проверить, что приложение действительно ничего не отправляет

1. скачайте модель;
2. полностью закройте приложение;
3. включите авиарежим;
4. отключите Wi-Fi;
5. откройте новый чат;
6. задайте новый вопрос;
7. при необходимости проверьте сетевые соединения через firewall/VPN monitor.

Google AI Edge Gallery официально заявляет 100% on-device inference для локальных моделей. У сторонних приложений проверяйте документацию конкретной функции.

Как сравнивать модели на своём телефоне

Не ориентируйтесь только на чужие tokens/s: два телефона с одинаковым названием SoC могут иметь разные cooling profile, RAM и firmware.

В свежих обсуждениях Android local LLM пользователи получают очень разные результаты даже на современных Snapdragon — от нескольких до десятков tokens/s в зависимости от модели и backend. Такие цифры полезны только как community signal, а не как гарантия вашему телефону.

Мини-набор для теста

• короткое объяснение;
• русский текст;
• перевод;
• структурированный JSON;
• длинный prompt 2–4K;
• повтор после 10 минут нагрузки.

Главные ошибки

1. Сразу скачивать 7–8B

Телефон с 8 ГБ RAM не имеет 8 ГБ свободной памяти. Начните с меньшей модели.

2. Выставлять огромный context

KV-cache способен убить процесс раньше, чем сами weights.

3. Сравнивать только первые tokens/s

Через несколько минут нагрев может сильно изменить производительность.

4. Ожидать, что NPU используется автоматически

Нужна конкретная поддержка runtime, SoC и model format.

5. Использовать reasoning для каждого вопроса

На телефоне маленькая non-thinking модель часто удобнее для бытовых запросов.

6. Считать приложение полностью офлайн из-за слова local

Отдельные web/search/API функции могут обращаться в сеть.

7. Хранить секреты только потому, что модель локальная

Учитывайте backup телефона, клавиатуру, clipboard, cloud sync и права самого приложения.

Частые вопросы