Только два лог-шиппера из шести умеют дедуплицировать логи

Антон Касимов протестировал пять популярных лог-шипперов и обнаружил, что дедупликация работает только в OpenTelemetry Collector и Vector. Повторяющиеся записи в логах увеличивают сетевой трафик, объем хранилища и замедляют анализ инцидентов, но разные агенты решают эту задачу по-разному: одни агрегируют повторы с подсчетом, другие молча оставляют первую запись, третьи только ограничивают частоту.

У Fluent Bit задачу можно решить скриптом, а у Filebeat, vlagent и Grafana Alloy встроенного механизма дедупликации нет. Это означает, что выбор инструмента для обработки логов критичен для оптимизации инфраструктуры мониторинга.