|
ИСТИНА |
Войти в систему Регистрация |
Интеллектуальная Система Тематического Исследования НАукометрических данных |
||
Изучение способов устранения эффекта катастрофического забывания нейронных сетейдипломная работа (Бакалавр)
- Научный руководитель: Половников В.С.
- Автор: Кутлимуратова Д.А.
- Тип: Бакалавр
- Организация, в которой проходила защита: МГУ имени М.В. Ломоносова
- Год защиты: 2021
- Аннотация: В работе исследованы подходы к преодолению катастрофического забывания, реализованы перспективные методы в виде программного кода, поставилены и проведены эксперименты по сравнению эффективности данных подходов, выявлены их достоинства и недостатки. Сначала методом наивного дообучения в задаче классификации изображений из баз SVHN, MNIST и части ImageNet показано возникновение эффекта катастрофической забывчивости. Затем применена генеративная модель воспроизведения и показано, что эффект уменьшается на простых базах, таких как SVHN и MNIST, но хорошо генерировать распределение ImageNet в данной модели не получилось. Более того, помимо сложности обучения генеративной модели, она значительно увеличивает время обучения дополнительным задачам, так как приходится «вспоминать» предыдущие. Лучшие результаты показал подход Relevance Mapping Network, который накладывает ограничения на изменения весов важных для предыдущих задач. Естественно, чем разнороднее задачи, тем больше весов подвергнутся заморозке и тем меньше задач сеть сможет решать.
- Добавил в систему: Половников Владимир Сергеевич