Что произошло: OpenAI выпустила улучшенную систему кэширования промптов для семейства GPT‑6: выше доля попаданий в кэш по умолчанию, скидки на кэшированные входные токены до 90% для повторно используемых общих префиксов в течение 30 минут, а также новые инструменты — дашборд кэширования промптов, диагностика промахов кэша, явные точки разрыва кэша, возможность менять reasoning effort без сброса кэша и предварительный прогрев кэша.
Суть: GPT‑6 позволяет постоянным агентам работать часами над сложными задачами, делая цепочки API-запросов с общими инструкциями, определениями инструментов и контекстом, поэтому кэширование этого общего контекста снижает время ответа и затраты. Новая система повышает долю попаданий в кэш по умолчанию и даёт разработчикам инструменты для мониторинга производительности кэша, диагностики неожиданных промахов и выбора того, какую часть промпта кэшировать. Это важно, потому что позволяет быстрее и дешевле запускать агентов, а также гибко управлять кэшем при изменении инструментов, инструкций и уровня рассуждений.