Pandas проиграл Polars и DuckDB на слабой машине с 5,8 ГБ памяти

Разработчик Gregory_Bondarenko на Хабре сравнил pandas, Polars, DuckDB и PySpark на ноутбуке с двумя ядрами и 5,8 ГБ памяти на наборах данных от 6 до 180 млн строк. Pandas первым упал с MemoryError, тогда как Polars в потоковом режиме и DuckDB справились с большими объёмами.

При проверке результатов между библиотеками обнаружился баг в PySpark, из-за которого тот терял целый день данных. Тест показал, что переход на Spark для работы с большими данными не всегда необходим.