Kwai ускорила A/B-тесты в 145 раз, перейдя с Spark на Apache Doris

Kwai перенесла расчёт метрик A/B-экспериментов со Spark на Apache Doris и добилась ускорения в 145 раз при снижении потребления ресурсов на 72%. Команда переработала размещение данных, оптимизировала Local Distinct и UDF, настроила планирование и метаданные FE на кластере из 2000 BE-узлов.

В открытом Doris доступны не все из этих оптимизаций. Миграция показывает, что специализированные OLAP-системы могут вытеснять универсальные фреймворки для аналитических задач.