Что такое токены в нейросетях и как они тратятся

Что такое токен

Токен — это кусочек текста, которым оперирует модель. Это не буква и не всегда целое слово: короткое слово может быть одним токеном, длинное — разбиться на несколько, а знаки препинания и пробелы тоже считаются. Грубый ориентир для русского языка — один токен это примерно несколько символов, то есть в обычном предложении их набегает пара десятков. Точное число зависит от модели и языка, поэтому любые «столько-то слов = столько-то токенов» — лишь прикидка [требует проверки].

Почему считают токены, а не слова

Модель не видит текст как человек — она работает с этими самыми токенами. Поэтому и объём работы, и стоимость естественно измерять в них, а не в словах или знаках. Это честнее: за одинаковый по смыслу запрос на разных языках уйдёт разное число токенов, и токены это отражают. Для пользователя вывод простой — платите вы, по сути, за объём текста, который модель прочитала и сгенерировала.

Что именно тратит токены в диалоге

Расход складывается из двух частей: то, что вы отправили модели (вход), и то, что она ответила (выход). Но есть нюанс, который часто удивляет новичков: в длинном диалоге модель при каждом новом сообщении заново перечитывает всю переписку, чтобы держать контекст. Поэтому чем длиннее ветка, тем дороже каждый следующий ответ. Отсюда практический вывод — для новой темы лучше начать новый чат, а не тянуть старый на сотню сообщений.

Картинки и видео тоже в токенах

Генерация изображения или короткого видео обычно стоит фиксированное количество токенов за результат, а не за длину текста. Ориентиры удобно смотреть на странице цен: там показано, сколько примерно сообщений в чате, картинок или секунд видео укладывается в баланс. Это помогает заранее прикинуть, на что и насколько хватит подписки.

Как расходовать экономно

Несколько простых привычек ощутимо экономят баланс:

• Не тяните один бесконечный чат — под новую задачу заводите новый.
• Простые задачи (перевод, короткое резюме) отдавайте моделям полегче, а флагманы берите там, где нужна глубина.
• Формулируйте запрос сразу конкретно — меньше уточняющих кругов, меньше расход. Как это делать, разобрано в статье про промпты.
• Не просите огромный ответ, если нужен короткий — прямо укажите желаемый объём.

Главное удобство единого баланса в FatherGPT — все 26 моделей тратят один и тот же счёт токенов. Не нужно держать в голове пять разных тарифов: вы просто выбираете подходящую модель под задачу в каталоге, а расход идёт из общего баланса.