Токены в нейросети: что это, как считаются и сколько стоит работа модели для бизнеса

Что такое токен в нейросети простыми словами

Токен — это минимальный кусочек текста, с которым работает нейросеть: символ, часть слова или целое слово. В документации GigaChat так и написано: токеном может быть отдельный символ, несколько символов, фрагмент слова или слово целиком. Модель не видит букв и слов в привычном смысле. Перед обработкой текст разрезается на токены, и каждому соответствует число.

Нарезку делает токенизатор, и у каждой модели он свой. Поэтому одна и та же фраза у разных моделей занимает разное число токенов. Яндекс объясняет, что его токенизатор оптимизирован под русский язык: в одном токене в среднем больше символов, а значит, обработка выходит дешевле.

Как это выглядит на деньгах, проще всего показать на образе. Представьте секретаря с полной потерей памяти, который получает плату за каждое прочитанное и написанное слово. Чтобы задать ему второй вопрос, вы заново зачитываете весь предыдущий разговор, и он берёт деньги за всё прочитанное ещё раз. Нейросеть в чат-боте работает так же: между запросами она ничего не помнит, история отправляется ей заново, и эти токены снова входят в счёт.

Как устроены такие модели вообще, мы разбирали в статьях про нейросети и про LLM. Здесь сосредоточимся на деньгах.

Сколько токенов в русском тексте

В 1 000 символах русского текста примерно 190–330 токенов: у моделей Яндекса меньше, у зарубежных и GigaChat больше. Точное значение зависит от модели и от самого текста. Яндекс приводит пример с русским текстом на 517 символов, а Сбер даёт общий ориентир в 3–4 символа на токен.

Первые три строки посчитаны по примеру из документации Яндекса, который сама компания называет иллюстрацией, четвёртая по ориентиру Сбера. Для новых моделей Claude есть важная деталь: Anthropic пишет, что токенизатор моделей начиная с Claude 4.7 даёт примерно на 30% больше токенов на тот же текст, чем прошлый. При сравнении прайсов это надо держать в голове.

На практике мы советуем для прикидки брать 4 символа на токен. Если у вас базовая инструкция бота на 6 000 символов, то это около 1 500 токенов, и они будут уходить в каждый запрос.

Что такое контекстное окно нейросети

Контекстное окно нейросети — это предел токенов, который модель способна учесть за один запрос: инструкция, история разговора, документы и ответ вместе. Всё, что не помещается, модель не видит. Окно сравнимо с рабочим столом: документы на нём читаются, а всё, что упало со стола, для модели не существует.

Большое окно не означает, что его стоит заполнять. Каждый токен в окне оплачивается в каждом запросе, поэтому загрузить в бота весь каталог, потому что он туда влезает, обычно плохая идея. Лучше подавать модели только нужный фрагмент.

Как считается цена токенов

Цена работы с моделью считается по формуле: входные токены умножить на цену входа плюс выходные токены умножить на цену выхода. Входные токены — это всё, что вы отправили. Выходные — всё, что модель написала. Выход часто дороже: у Alice AI LLM вход стоит 0,50 ₽, выход 1,20 ₽ за 1 000 токенов с НДС.

Во вход попадает больше, чем кажется. По документации GigaChat, в токены переводится всё, что составляет контекст запроса:

• текст сообщений;
• история из массива сообщений;
• текстовые файлы и изображения;
• описания функций, которые может вызвать модель.

Есть ещё две статьи расхода, о которых часто забывают. Модели с режимом рассуждения пишут черновые мысли, и Anthropic считает эти токены выходными. А инструменты, например поиск или вызов функций, могут оплачиваться отдельно: у DeepSeek поиск стоит 0,75 $ за 1 000 успешных запросов.

Пример. Клиент прислал вопрос на 50 токенов, инструкция бота занимает 1 500 токенов, бот ответил 150 токенами. На Alice AI LLM это 1 550 × 0,50 ₽ / 1 000 плюс 150 × 1,20 ₽ / 1 000, итого примерно 0,96 ₽ за один ответ. Если считать только вопрос и ответ, получится 0,21 ₽, то есть ошибка почти в пять раз.

Сколько стоит миллион токенов у разных моделей

Миллион токенов у российских моделей стоит от 65 ₽ на GigaChat Lite до 1 200 ₽ за выход на Alice AI LLM. Прайсы мы привели к одной единице. Российские цены указаны с НДС, зарубежные в долларах без налогов, в рублях по курсу ЦБ на 4 ноября 2026 года: 81,67 ₽ за доллар.

Несколько уточнений. С 1 сентября 2026 года новые клиенты GigaChat оплачивают модели через cloud.ru, поэтому цену для нового договора сверьте там. Модель YandexGPT Lite 5 по документации устаревает, отключение запланировано на 15 ноября 2026 года, и в новый проект её брать не стоит. Как подключиться к российским моделям технически, разобрано в статьях про YandexGPT API и GigaChat API.

Зарубежные цены выглядят ниже, и здесь нужны две оговорки. В списке стран OpenAI и списке стран Anthropic России нет, а точный счёт на русском тексте у разных токенизаторов различается. Для российского бизнеса с данными клиентов выбор поэтому чаще идёт между российскими моделями, даже при более высоком прайсе.

Если хотите посчитать свою задачу в рублях и не разбираться в прайсах, мы прикинем расход и подскажем, какая модель подойдёт.

Сколько стоит чат-бот на 1 000 диалогов

Чат-бот на 1 000 диалогов в месяц обойдётся примерно в 1 250–15 400 ₽ за токены на российских моделях, если диалог состоит из 8 обменов. Пример условный, не кейс студии.

Допущения такие: инструкция бота занимает 1 500 токенов, вопрос клиента 50 токенов, ответ бота 150 токенов, и в каждый запрос отправляется вся предыдущая история. Первый запрос весит 1 550 токенов, а восьмой уже 2 950, потому что к нему прибавились семь прошлых обменов.

Теперь умножаем на прайс.

Расчёт делает допущение, что токенов у всех моделей одинаково. На деле счёт на русском тексте у моделей различается, а кэш снизит часть суммы.

Посмотрите, куда уходят деньги: из 18 000 входных токенов 12 000 приходится на инструкцию, которая повторяется восемь раз, и ещё 5 600 на историю. Новые вопросы клиента занимают всего 400 токенов. Если бот отвечает длинными текстами или прикладывает фрагменты базы знаний, цифры вырастут в разы. Токены к тому же лишь часть бюджета: разработка, сопровождение и база знаний обычно стоят дороже, это мы разобрали в статье сколько стоит чат-бот.

Почему кончаются лимиты в нейросетях

Лимиты в нейросетях кончаются быстрее, чем кажется, потому что каждый новый вопрос тянет за собой всю историю разговора. В подписках это выглядит как внезапное сообщение о лимите, в API как рост счёта. Документация Claude Code объясняет механику прямо: вся беседа отправляется с каждым запросом, поэтому короткий вопрос в сессии, открытой с утра, расходует запас за весь разговор.

Подписка и API считают по-разному. В подписке вы платите фиксированно, а внутри действует лимит за период, причём разработчики обычно не называют его в токенах. В API вы платите за каждый токен. OpenAI предупреждает, что цены токенов API не годятся для оценки задач, включённых в подписку.

У российских сервисов есть своё ограничение: число одновременных запросов. Для GigaChat API физлицо получает один поток, юрлица и ИП по умолчанию десять. Для бота с пиковыми нагрузками это надо учесть заранее.

Как посчитать токены в своём тексте

Посчитать токены можно бесплатно: у Яндекса и Сбера есть специальные методы, а в ответе модели расход приходит в поле usage. Для быстрой прикидки достаточно разделить число символов на 4.

1. Скопируйте инструкцию бота и пример типичного разговора в текстовый редактор и посмотрите число символов.
2. Разделите на 4, чтобы получить грубую оценку в токенах.
3. Для точного числа у Яндекса отправьте текст на метод токенизации: оценка размера текста в токенах бесплатна.
4. Для GigaChat используйте запрос POST /tokens/count: он покажет вход, но не предскажет длину ответа.
5. Запустите 20–30 настоящих вопросов и сохраните поле usage из ответов.
6. Посчитайте средний вход и выход на один диалог.
7. Умножьте их на прайс и прибавьте 20–30% запаса на длинные разговоры.

Шаг с настоящими вопросами важнее остальных. Прикидка часто занижает расход, потому что живые клиенты пишут длиннее и уточняют больше, чем вы предполагали. Запас в 20–30% — наша рабочая оценка, разработчики таких норм не публикуют.

Как снизить расходы на токены

Сильнее всего расходы снижает сокращение того, что отправляется в каждом запросе. Ниже способы по убыванию пользы для типичного чат-бота.

1. Сократите инструкцию. В нашем примере она занимает две трети входа, и сокращение вдвое снижает входные токены на треть.
2. Обрезайте историю: отправляйте последние 4–6 обменов и короткую сводку вместо всего разговора.
3. Подавайте из базы знаний только нужный фрагмент.
4. Разделите задачи по моделям: простые вопросы на дешёвую модель, сложные на дорогую.
5. Ограничьте длину ответа в инструкции и настройках.
6. Используйте кэш. У GigaChat кэшированные токены не оплачиваются, у Alice AI LLM Flash стоят 0,025 ₽ вместо 0,10 ₽ за 1 000, у Claude чтение из кэша для Sonnet 5.5 стоит 0,10 $ вместо 2 $ за миллион.
7. Для работ без спешки включайте отложенную обработку: у Яндекса и Сбера асинхронный режим заметно дешевле, а Batch API у Anthropic даёт скидку 50%.

Посчитаем эффект кэша на нашем боте и модели Alice AI LLM Flash. Если 12 000 токенов инструкции считаются по цене кэша, диалог стоит 0,30 ₽ за кэш, 0,60 ₽ за остальной вход и 0,24 ₽ за выход, всего 1,14 ₽ вместо 2,04 ₽. Это предельный случай: Яндекс предупреждает, что кэширование не гарантировано.

Какую модель выбрать под задачу

Модель выбирают по самой дешёвой, которая справляется с задачей на ваших примерах. Дорогая модель нужна реже, чем кажется. Проверить легко: прогоните 30 настоящих вопросов на двух моделях и сравните ответы вслепую.

В подборе учитывайте и то, куда уходят данные. Если в запросах есть персональные данные клиентов, вопрос о зарубежной модели закрывается раньше, чем дело дойдёт до цены.

Мифы и ошибки при расчёте токенов

Самая частая ошибка в расчётах — считать только вопрос и ответ и забывать про инструкцию и историю. Из-за неё бюджет оказывается занижен в разы, как в нашем примере с одним ответом.

Если вы планируете чат-бота или другую задачу с нейросетью и хотите понимать бюджет заранее, напишите нам. Посмотрим, сколько это будет стоить и какая модель подойдёт.