Нейросети остались чёрным ящиком, хотя доступ к ним полный

Исследователи объяснимого ИИ признали, что за 15 лет работы так и не сделали нейросети понятнее человеку. Парадокс в том, что в конце 1950-х нейробиологи Хьюбел и Визель с электродом и слайд-проектором разобрались в механизмах зрительной коры лучше, чем мы сегодня понимаем внутреннее устройство искусственных нейросетей — несмотря на полный доступ ко всем весам и активациям. Об этом говорится в препринте «From Interpretability Methods to Interpretable Models».

За 15 лет исследователи совершенствовали методы объяснения моделей и проверяли их на надёжность, но редко задавались главным вопросом: стала ли сама модель понятнее. Это указывает на фундаментальный разрыв между доступностью данных и реальным пониманием того, как работают современные системы ИИ.