Cursor снизил расход токенов на 7% за счёт оптимизации промптов
Anysphere оптимизировала AI-агент Cursor и сократила траты пользователей на токены на 7% без потери качества. Системный промпт уменьшили на 75%, убрав длинные списки запретов — современным моделям достаточно описания функций инструментов. Встроенные инструменты, используемые менее чем в 20% диалогов, перенесли в динамическую загрузку, что снизило их описание на 60%.
Дополнительную экономию дали кэширование контекста и явная разметка границ кэша в GPT-5.6 API, позволяющая отделить стабильные части запроса от растущей переписки. Оптимизация показывает, как переработка архитектуры промптов влияет на стоимость использования AI-инструментов.
Источник: Machinelearning
Новости этого рынка выходят у нас в телеграме первыми — @wikicompass.
Комментарии из открытых обсуждений в телеграме, приведены дословно. Мнение авторов не редакция.