Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видеоНИР

Mathematical methods and software for analysis, processing and synthesis of images and videos

Соисполнители НИР

МГУ имени М.В.Ломоносова Координатор

Источник финансирования НИР

госбюджет, раздел 0110 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2018 г.-31 декабря 2018 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: 1) Разработан нейросетевой алгоритм выделения областей разницы между изображениями. Алгоритм основан на модификации нейеросетевого алгоритма выделения объектов на отдельных изображениях, для случая двух изображений, исходного фона и нового изображения с внедрённым объектом. 2) Разработана технология интеграции систем расчёта освещения и визуализации с редакторами трёхмерных сцен. Данная технология ориентирована на поддержку таких функуциональных требований как быстрое обновление сцены, многопоточность, работа с контентом, не помещающимся в оперативную память, импорт и экспорт произвольных параметров, сериализация, удобная отладка и сетевой рендеринг. Дополнительно разработана технология экспорта внутренних процедурных текстур 3D редакторов, позволяющая поддержать существующие процедурные текстуры редактора в системе расчёта освещения на GPU без необходимости их реимплементации. Данная технология также позволяет осуществлять параллельный сетевой рендеринг при наличии в сцене внутренних процедурных текстур 3D редакторов без необходимости установки редактора на все вычислительные узлы (что невозможно сделать в существующих подходах). 3) Разработан алгоритм автоматической диагностики кардиологических заболеваний по структуре миокарда на изображениях МСКТ, превосходящий аналоги по точности. Алгоритм запатентован. 4) С использованием компьютерных классов факультета ВМК МГУ был проанализирован видеокодек x264 — один из самых популярных видеокодеков с открытым исходным кодом. Для данного кодека была получена база из 4352 наборов опций на 62 видеопоследовательностях. На репезентативной выборке из 83 видео была проведена серия экспериментов с помощью которых были выбраны новые наборы опций кодирования, которые работают эффективнее наборов опций по умолчанию. Данные наборы позволют, либо увеличить степень сжатия на 15.38% при том же качестве и скорости кодирования, либо увеличить скорость кодирования на 43.15% при том же качестве кодирования и степени сжатия.
2 1 января 2019 г.-31 декабря 2019 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: 1) Разработан новый алгоритм для подсчёта числа людей на основе выделения и сопровождения людей, работающий с отдельными кадрами. Алгоритм адаптирован для работы в распределённых системах с узким каналом связи. 2) Разработан ряд алгоритмов для повышения качества и достоверности идентификации человека по лицу в системах видеонаблюдения. 3) Разработан метод быстрого глобального освещения на основе алгоритма излучательности для больших сцен. Показано преимущество в скорости на 2 порядка по сравнению с аналогичным алгоритмом, не использующем предложенный метод. 4) Разработан новый алгоритм сегментации капилляров по видеофрагментам с микроскопа. Алгоритм позволяет строить бинарную маску капиллярной сети по видеофрагментам очень низкого качества, в частности, за счет использования новой комбинации методов для получения качественного изображения по последовательности кадров. 5) Предложен алгоритм выбора опций видеокодека, превосходящих опции кодирования по умолчанию по скорости и качеству кодирования, с использованием информации об исходной видеопоследовательности.
3 1 января 2020 г.-31 декабря 2020 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа: 1) Усовершенствован алгоритм для сопровождения людей в системах видеонаблюдения, который позволяет повысить точность сопровождения при малой частоте кадров, что позволяет обрабатывать большее число видеопотоков на одном сервере. 2) Разработан новый алгоритм для калибровки камеры видеонаблюдения по фигурам людей в кадре. Алгоритм позволяет отобразить положение наблюдаемых в кадре людей на карту местности и проводить сопровождение в плоскости земли, а не плоскости кадра, что позволяет повысить точность сопровождения и определять положение людей на планах зданий и местности. 3) Разработан новый алгоритм для обучения легковесных сетей идентификации человека по лицу, на основе совместного обучения сетей ученика и учителя. Алгоритм позволяет существенно повысить точность идентификации для легковесных сетей. 4) Исследованы преимущества и недостатки использования технологии аппаратного ускорения трассировки лучей на основе Nvidia RTX. Создана программная система генерации наборов изображений при помощи фотореалистичного рендеринга на GPU с применением технологии Nvidia RTX для обучения алгоритмов компьютерного зрения. 5) Разработан метод ограниченного расширения GPU рендер-системы пользовательским кодом (математическими моделями) для реализации процедурных текстур в целях повышения вариативности 3D контента. 6) Разработан алгоритм сегментации изображений магнитно-резонансной томографии сердца, который позволяет использовать только одно или несколько размеченных изображений из последовательности изображений сердечного цикла за счет использования нового метода генерации псевдоразметки для остальных изображений цикла. Данный подход позволяет уменьшить количество требуемых размеченных изображений в 10-15 раз. 7) Разработан алгоритм автоматической классификации данных о вариабельности сердечного ритма, который устойчив к уменьшению разрешения временного ряда, что позволяет его использовать на данных невысокого качества, полученных с помощью портативных устройств. 8) Разработан нейросетевой метод распространения цвета в видео, учитывающий несколько подряд идущих кадров в видео как в архитектуре сети, так и на этапе ее обучения. Распространение цвета в видео в предложенном методе происходит в два этапа: распространение цвета на соседние кадры с помощью оптического потока и распространение цвета внутри кадра с исправлением ошибок компенсации с использованием нейросетевого алгоритма. Данный метод превосходит существующие аналоги по качеству распространения цвета не только на ближайшие кадры, но и на большое количество кадров вперед от исходного цветного кадра. 9) Разработан нейросетевой метод интерполяции кадров в видео с помощью компенсированных ядер свёртки. В данной работе интерполяция применяется для конвертации стереовидео в многоракурсное. Алгоритм принимает на вход исходный левый и правый ракурс, и генерирует между ними заданное число виртуальных ракурсов. Предложенный метод показал превосходство по метрикам качества PSNR и SSIM по сравнению с существующими аналогами на наборе данных Stanford Light-Field.
4 1 января 2021 г.-31 декабря 2021 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа:
5 1 января 2022 г.-31 декабря 2022 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа:
6 1 января 2023 г.-31 декабря 2023 г. Математическое и программное обеспечение для анализа, обработки и синтеза изображений и видео
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".