24HourWire
News from all angles
Хабр
Center
Почему softmax теряет градиенты — и как школьная алгебра 7-го класса помогает их сохранить
Модель почти идеально выучила ответ, а градиент правильного класса уже стал машинным нулём. При дистилляции возможна обратная ситуация: ученик повторяет учителя, но вычисление всё ещё выдаёт сигнал о…