Что такое токены?
Сколько стоит один запрос к ChatGPT? И как можно сэкономить на запросах?
Попробовать ChatGPT
Вы можете представлять токены как части слов, которые нейросеть использует для обработки. Подобно тому как мы изучаем язык, учимся произносить слова по слогам, нейросеть также разбивает весь текст на кусочки. Благодаря такому разбиению, нейросеть поймет вас даже если вы напишете запрос с ошибками и опечатками.
Попробовать Chat GPT бесплатно
Токены помогают модели разбивать текст на понятные части для анализа и генерации.
Токены — это небольшие части текста, которые модель ChatGPT использует для обработки данных. Они могут быть словами, частями слов или даже символами. Например, слово "машина" — это один токен, а "машинки" может разбиться на два токена: "машин" и "ки". Токены помогают модели разбивать текст на понятные части для анализа и генерации.

Контекст модели — это вся информация, которую модель "знает" в рамках одного диалога. Он включает ваш запрос, предшествующие сообщения и ответы. Однако длина контекста ограничена (в ChatGPT — несколько тысяч токенов). Если вы выходите за этот предел, старые токены начинают "забываться".

Пример: представьте, что вы ведете диалог на листе бумаги. Каждый токен — это слово, а контекст — объем текста, который вмещается на листе. Как только бумага заполняется, старые записи стираются, чтобы освободить место для новых.
Сколько символов в токене?
Для текста на английском языке 1 токен составляет примерно 4 символа или 0,75 слова. Для сравнения, собрание сочинений Шекспира состоят примерно из 900 000 слов или 1,2 миллиона токенов. Кстати, именно такой объем токенов доступен на тарифе "Премиум".
Попробуйте ФЁДОРГПТ сейчас!
Просто откройте чат и начните диалог также как с обычным человеком.
Начать диалог
Ограничения модели
Каждый запрос к нейросети ограничен максимальным размером токенов, который модель может потратить на его обработку.

Так, GPT-3.5 Turbo ограничивается 4096 токенов. Это соответствует примерно 2000 символов кириллицей. Более продвинутая модель GPT-4 поддерживает уже вдвое больше — до 8192 токенов (до 4000 символов кириллицей). Флагманские версии GPT-4o и o1-preview поддерживают огромный контекст в 128 000 токенов! Это почти 10 страниц текста формата А4!
Как тарифицируется работа с ChatGPT?
Тарификация основывается на количестве токенов, которые обрабатываются моделью:

1. Input Tokens (входные токены): это токены, которые вы отправляете модели в качестве запроса. То есть, это текст, который вы передаете модели для анализа или для генерации ответа. Входные токены включают все символы и пробелы, которые необходимо преобразовать в формат, понятный модели.

2. Output Tokens (выходные токены): это токены, которые модель генерирует в ответ на ваш запрос. Они составляют текст, выдаваемый моделью, и их количество зависит от длины и сложности генерируемого ответа.

Общая стоимость зависит от суммарного количества как входных, так и выходных токенов. Важно помнить, что более длинные запросы и более длинные ответы будут использовать больше токенов, что потенциально может увеличить затраты при оплате услуг API.
Как можно сэкономить токены?

  1. Не используйте смайлы. Символы Юникода, например, эмоджи, разделяются на множество токенов, содержащих базовые байты. Например, один смайлик в тексте потратит 6 токенов на его обработку.
  2. Включите режим экономии токенов в настройках чата. Для того, чтобы диалог с нейросетью был похож на естественный, мы отправляем не только ваш текущий запрос, но и предыдущие запросы и ответы нейросети, чтобы ответ на новый запрос учитывал контекст беседы. Если ваш запрос четко сформулирован и может быть обработан без учета предыдущего контекста, смело включайте экономный режим.