🔔А вот и обновление!

Мы его уже установили и сейчас расскажем вам, что же поменялось.

❓Как теперь происходит расход токенов?

❗️Теперь у каждой модели есть два собственных мультипликатора - для запроса и для ответа. Мультипликатор для запроса всегда меньше, чем для ответа

❓Что это нам дает?

❗️С этим нововведением расход токенов сильно уменьшится, т.к запрос - это ваше текущее сообщение + весь сохраненный контекст. Вот простой пример:

Раньше у моделей был фиксированный мультипликатор, например - х2.

💬Когда вы отправляете боту сообщение с длиной в 100 токенов и, по мимо этого, бот помнит контекст вашего диалога в размере 1000 токенов, а так же отвечает вам сообщением, длиною в 50 токенов, то на выходе вы расходуете

(100 + 1000 + 50) * 2 токенов, то есть 2300 токенов! 💩

То же самое, но с новой системой и мультипликаторами x1.3 для запроса и x2 для ответа

(100 + 1000) * 1.3 + 50 * 2 = 1 530 токенов!💥🤯🤯🤯💥

Как было раньше:

Как стало теперь: