Яндекс открыл технологию потоковой обработки данных YTsaurus Flow

Яндекс выложил в опенсорс YTsaurus Flow — технологию для обработки больших потоков данных в реальном времени. Её уже используют Яндекс Маркет, Яндекс Реклама и антифрод-системы компании. В Рекламе Flow обрабатывает свыше 100 ГБ данных и миллионы событий ежесекундно, сократив время подготовки данных для переобучения моделей с 10+ часов почти к нулю.

Маркет применяет технологию для оперативной статистики и реакции на изменения спроса, антифрод — для обнаружения действий злоумышленников. Flow встроена в YTsaurus, открытую платформу Яндекса для работы с большими данными.