Разработчик предложил функцию активации с градиентом в 850 000 раз выше

Разработчик radmirryan опубликовал на Хабре статью о LTanh — новой функции активации для нейросетей, которая решает проблему затухающего градиента. LTanh сохраняет форму классической функции Tanh, но в хвостах (точки 0–5) выдаёт градиент в 150–850 000 раз больший.

Автор вывел формулу, показал производную и сравнил поведение с Tanh. Функция остаётся ограниченной и гладкой, что важно для стабильности обучения глубоких сетей.