Новая система расхода токенов
🔔А вот и обновление!
Мы его уже установили и сейчас расскажем вам, что же поменялось.
❓Как теперь происходит расход токенов?
❗️Теперь у каждой модели есть два собственных мультипликатора - для запроса и для ответа. Мультипликатор для запроса всегда меньше, чем для ответа
❓Что это нам дает?
❗️С этим нововведением расход токенов сильно уменьшится, т.к запрос - это ваше текущее сообщение + весь сохраненный контекст. Вот простой пример:
Раньше у моделей был фиксированный мультипликатор, например - х2.
💬Когда вы отправляете боту сообщение с длиной в 100 токенов и, по мимо этого, бот помнит контекст вашего диалога в размере 1000 токенов, а так же отвечает вам сообщением, длиною в 50 токенов, то на выходе вы расходуете
(100 + 1000 + 50) * 2 токенов, то есть 2300 токенов! 💩
То же самое, но с новой системой и мультипликаторами x1.3 для запроса и x2 для ответа
(100 + 1000) * 1.3 + 50 * 2 = 1 530 токенов!💥🤯🤯🤯💥
Как было раньше:
