Контрастное обучение с изменчивыми внутриклассовыми эмбеддингами. Прикладная математика и информатика: Труды факультета ВМиК МГУ именистатьяИсследовательская статьяЭлектронная публикация
Аннотация:В статье исследуется ограничение стандартных функций потерь для обучения сиамских нейронных сетей, заключающееся в требовании идентичности эмбеддингов для объектов одного класса. Такая постановка задачи игнорирует естественную внутриклассовую вариативность данных и препятствует настройке нейросети полноценно решать целевую задачу классификации. В качестве решения предлагаются модификации попарной, тройной и вероятностной функции потерь, которые используются контрастном обучении. Ключевая идея состоит во введении гиперпараметра, задающего допустимый порог внутриклассового расстояния, ниже которого штраф не применяется. Этот подход позволяет нейронной сети сохранять информацию о различиях объектов одного класса и фокусироваться на основной задаче --- разделении разных классов. Эффективность предложенных модификаций подтверждена экспериментально на различных наборах данных, где было продемонстрировано стабильное улучшение точности классификации. Также исследована зависимость точности прогнозов от нового гиперпараметра и от способа учёта эмбеддингов при построении прогнозов.
