Redis запустил семантический кэш для LLM с экономией затрат до 90%

Redis запустил Redis LangCache — сервис семантического кэширования для приложений с большими языковыми моделями. Сервис сопоставляет входящие запросы с ранее обработанными по смыслу, а не по точному совпадению текста, и возвращает сохранённый ответ при достаточном совпадении. Redis заявляет об экономии затрат на API до 90% и ускорении кэшированных ответов в 15 раз.

LangCache доступен сейчас в публичном превью на Redis Cloud через REST API с SDK для Python и JavaScript. Сервис решает проблему переобработки одинаковых по смыслу запросов, сформулированных по-разному — например, три разных варианта вопроса о возврате денег за подписку обрабатываются как один.