На последней конференции Dev Day компания OpenAI представила несколько нововведений, среди которых возможность кэшировать токены запроса на стороне API.
Это работает следующим образом: предположим, раз за разом к API поступает один и тот же запрос: "Проанализируй текст новости и отнеси его к соответствующей категории: политика, экономика и т.д. Вот текст новости: ...". Текст запроса остается неизменным, меняется только сам текст новости. Повторяющуюся часть запроса API сохраняет в кэше.
При этом стоимость "кэшированных" токенов в два раза ниже, чем обычных. Кэширование происходит автоматически и начинает работать при запросах от 1024 токенов.
ProxyAPI теперь полностью поддерживает этот функционал и соответствующие льготные цены. Учет кешированных токенов - автоматический, со стороны клиента никаких изменений не требуется.
