Sakana AI обучила нейросеть из 1000 слоёв без обратного распространения
Sakana AI представила PC-ALM — метод обучения глубоких нейросетей, который отказывается от классического backpropagation и вместо этого использует локальные взаимодействия между соседними слоями. Алгоритм смог обучать сети глубиной до 1000 слоёв, применяя локальные ошибки предсказания, множители Лагранжа и PI-регуляцию внутри каждого слоя.
Метод вырос из подхода predictive coding, популярного в NeuroAI, и решает проблему затухания сигнала ошибки в очень глубоких сетях за счёт специальных двойственных переменных, которые передают информацию через большое число слоёв.
Источник: Machinelearning
Что мы знаем о компании
Sakana AI
- Sakana AI представила PC-ALM — слой-локальную альтернативу backpropagation, которая обучает сети до 1000 слоёв. 2026-09-14
- Sakana AI представила метод обучения глубоких нейросетей PC-ALM без обратного распространения ошибки 2026-09-14
- Sakana AI Researchers Introduce PC-ALM, a Layer-Local Alternative to Backpropagation That Trains 1000-Layer Networks 2026-09-14
- Sakana AI предложили альтернатиный способ обучения нейросетей, вдохновленный тем, как обучается мозг 2026-09-14
Новости этого рынка выходят у нас в телеграме первыми — @wikicompass.
Комментарии из открытых обсуждений в телеграме, приведены дословно. Мнение авторов не редакция.