|
ИСТИНА |
Войти в систему Регистрация |
Интеллектуальная Система Тематического Исследования НАукометрических данных |
||
Нейросетевое обучение метрик: сравнение функций потерьстатья
Статья опубликована в журнале из списка RSCI Web of Science
- Авторы: Васильев Р.Л., Дьяконов А.Г.
- Журнал: Доклады Российской академии наук. Математика, информатика, процессы управления
- Том: 514
- Номер: 2
- Год издания: 2023
- Издательство: Российская академия наук
- Местоположение издательства: Москва
- Первая страница: 60
- Последняя страница: 71
- DOI: 10.1134/S1064562423701053
- Аннотация: Представлен обзор методов обучения метрик с помощью глубоких нейронных сетей. Эти методы появились в последние годы, но сравнивались лишь с предшественниками, используя для обучения представлений (на которых вычисляется метрика) нейронные сети устаревших на данный момент архитектур. Проведено сравнение описанных методов на разных датасетах из нескольких доменов, используя предобученные нейронные сети, сопоставимые по качеству с SotA (state of the art): ConvNeXt для изображений, DistilBERT для текстов. Использовались размеченные наборы данных, разбитые на две части (обучение и контроль) таким образом, чтобы классы не пересекались (т.е. в контроле нет объектов тех классов, которые были в обучении). Подобное масштабное честное сравнение сделано впервые и привело к неожиданным выводам: некоторые “старые” методы, например Tuplet Margin Loss, превосходят по качеству свои современные модификации и методы, предложенные в совсем свежих работах.
- Добавил в систему: Дьяконов Александр Геннадьевич