LLM API, локальный inference, токены, GPU и электричество

Калькулятор стоимости LLM: API или локальная модель

Сравните токен-биллинг облачного API с полной стоимостью локального inference. Калькулятор учитывает input/output/cache, число запросов, амортизацию компьютера или GPU, idle/load power, электричество, скорость prefill и генерации, а также показывает точку безубыточности и ограничение производительности одного последовательного inference-потока.

Цена — только одна часть выбора. Локальная и облачная модель могут отличаться по качеству, контексту, tool use, latency и приватности. Результат ниже сравнивает введённую экономику, но не предполагает, что две модели эквивалентны по возможностям.
1. Рабочая нагрузка
2. Тариф LLM API

Тарифы намеренно не зашиты по названиям моделей: они меняются, отличаются по tier, контексту, региону, batch/fast режиму и условиям cache. Перенесите актуальные ставки из официального прайса вашего провайдера.

Проверить текущий прайс: OpenAI API Anthropic Claude Google Gemini
3. Локальный компьютер / GPU
4. Производительность локальной модели
Это single-stream модель Введите реальные эффективные скорости вашего backend. Continuous batching и параллельные запросы могут резко изменить пропускную способность и энергетику.

Что именно считает калькулятор

API-биллинг разделён на обычный input, cache read, cache write и output. У разных провайдеров и service tier набор категорий отличается, поэтому ставки вводятся вручную. OpenAI отдельно указывает, что input, cached input и output могут иметь разные цены, а reasoning tokens могут влиять на billable usage. Актуальные ставки нужно брать из прайса конкретного API.

Для локальной модели учитываются две разные составляющие: фиксированная стоимость железа/инфраструктуры и переменная стоимость электричества. В 24/7-режиме idle power становится существенной частью TCO; это регулярно всплывает и в практических обсуждениях владельцев локальных LLM.

Время inference оценивается как input / prefill_tps + output / generation_tps + overhead. Это приближение одного последовательного потока. vLLM, llama.cpp server и другие backend с batching/concurrency могут обслуживать несколько запросов иначе, поэтому для серверной нагрузки лучше подставлять измеренный эффективный throughput.

Если сначала нужно понять, поместится ли модель на вашем железе, используйте калькулятор VRAM и RAM для локальных LLM. Для сценария умного дома см. локальный ИИ в Home Assistant.