Что такое токены? — Блог ФедорГПТ.рф

ФЕДОРГПТ.РФ

Что такое токены?

Сколько стоит один запрос к API Chat GPT? И как можно сэкономить на запросах?

Вы можете представлять токены как части слов, которые нейросеть использует для обработки. Подобно тому как мы изучаем язык, учимся произносить слова по слогам, нейросеть также разбивает весь текст на кусочки. Благодаря такому разбиению, нейросеть поймет вас даже если вы напишете запрос с ошибками и опечатками.

Сколько символов в токене?

Токеном может быть одна буква, одно слово или даже целая фраза, в зависимости от типа и задачи модели. Для текста на английском языке 1 токен составляет примерно 4 символа или 0,75 слова. Для сравнения, собрание сочинений Шекспира состоят примерно из 900 000 слов или 1,2 миллиона токенов. Кстати, именно такой объем токенов доступен на тарифе "Премиум".

Ограничения модели

Каждый запрос к нейросети ограничен максимальным размером токенов, который модель может потратить на его обработку.

Так, GPT-3.5 Turbo ограничивается 4096 токенов. Это соответствует примерно 2000 символов кириллицей. Более продвинутая модель GPT-4 поддерживает уже вдвое больше — до 8192 токенов (до 4000 символов кириллицей).

Как можно сэкономить токены?

Не используйте смайлы. Символы Юникода, например, эмоджи, разделяются на множество токенов, содержащих базовые байты. Например, один смайлик в тексте потратит 6 токенов на его обработку.
Включите режим экономии токенов в настройках чата. Для того, чтобы диалог с нейросетью был похож на естественный, мы отправляем не только ваш текущий запрос, но и предыдущие запросы и ответы нейросети, чтобы ответ на новый запрос учитывал контекст беседы. Если ваш запрос четко сформулирован и может быть обработан без учета предыдущего контекста, смело включайте экономный режим.