На последней конференции Dev Day компания OpenAI представила несколько нововведений, среди которых возможность кэшировать токены запроса на стороне API.
Это работает следующим образом: предположим, раз за разом к API поступает один и тот же запрос: "Проанализируй текст новости и отнеси его к соответствующей категории: политика, экономика и т.д. Вот текст новости: ...". Текст запроса остается неизменным, меняется только сам текст новости. Повторяющуюся часть запроса API сохраняет в кэше.
При этом стоимость "кэшированных" токенов в два раза ниже, чем обычных. Кэширование происходит автоматически и начинает работать при запросах от 1024 токенов.
ProxyAPI теперь полностью поддерживает этот функционал и соответствующие льготные цены. Учет кешированных токенов - автоматический, со стороны клиента никаких изменений не требуется. |
Векторное хранилище и code interpreter теперь в 3 раза дешевле! |
Нескольк месяцев назад мы запустили подписку ProxyAPI Pro, которая предоставляет доступ к продвинутому функционалу OpenAI API, такому как Assistants API. Сегодня мы снижаем стоимость работы с векторным хранилищем и code interpreter в три раза! Цены здесь: https://proxyapi.ru/pricing Больше информации здесь: https://proxyapi.ru/pro |
