Фиксированный штраф L2 может соответствовать точному показателю удержания задачи A EWC в Permuted MNIST: 97,63% против 97,63%. Это достигается за счет снижения точности задачи B до 18% по сравнению с 97% у EWC. За одним и тем же заголовком скрываются две совершенно разные затраты. Ключевой момент...
Фиксированный штраф L2 может соответствовать точному показателю удержания задачи A EWC в Permuted MNIST: 97,63% против 97,63%. Это достигается за счет снижения точности задачи B до 18% по сравнению с 97% у EWC. За одним и тем же заголовком скрываются две совершенно разные затраты.
Ключевые выводы
Зарегистрированный гейт спросил, соответствует ли плоская, равномерная регуляризация L2 взвешенному по Фишеру штрафу EWC при сопоставимых затратах. Самая дешевая протестированная настройка оказалась в пределах 0,86 балла от точности задачи A EWC, внутри зарегистрированной трехочковой планки - ворота выстрелили.
Ни одна протестированная настройка не соответствовала зарегистрированному «справедливому бюджету» стоимости не более 1 балла точности задачи B. Самый дешевый по-прежнему стоил 2,70 балла, что в шесть раз больше, чем заплатила EWC.
При более сильных настройках плоский L2 соответствует точному значению задачи A EWC, 97,63%, а точность задачи B падает до 18,42% по сравнению с 97,43% у EWC.
В этой настройке взвешивание Фишера не требуется для соответствия числу удержания EWC. Требуется соответствовать ему, не нарушая способности модели обучаться новой задаче.
Что на самом деле проверяли зарегистрированные ворота?
Более ранний эксперимент показал, что эластичная консолидация веса (EWC, Kirkpatrick et al., 2016) восстанавливает 98,0% точности, которую небольшая сеть теряет из-за катастрофического забывания данных.