ИСТИНА

Основной целью исследований проекта БРИКС является разработка методов обработки и анализа изображений, ориентированных на решение диагностических медицинских задач по изображениям различных модальностей. Работа будет проводиться в рамках гибридного подхода, объединяющего аппарат классических методов математической обработки изображений и машинного обучения, в первую очередь, метода глубокого обучения, основанного на использовании сверточных нейронных сетей. Будет рассмотрен ряд задач анализа МРТ, КТ и гистологических изображений, используемых для диагностики новообразований в печени (Китай), колоректального рака (Российская Федерация) и опухолей мозга (Бразилия). Особенностью данного проекта является разработка методов анализа качества медицинской видео информации и построение, на основе этого анализа, адаптивных методов повышения качества медицинских изображений. В этой работе нас также интересует влияние качества медицинских изображений (таких как разрешение, уровень шума, контрастность, резкость и др.) на производительность алгоритмов машинного обучения. Поэтому одним из аспектов, который необходимо исследовать, является также влияние улучшения изображений на алгоритмы машинного обучения применительно к различным заболеваниям и медицинским модальностям. Будет рассмотрена крайне актуальная задача по анализу качества изображений используемых методами глубокого обучения. При этом, автоматический анализ будет проводиться как для изображений, используемых при обучении сверточных нейронных сетей, так и на входе нейронной сети при контроле поступающих для медицинской диагностики изображений. Для решения этих задач в состав коллектива включены научные группы из Бразилии, Росси и Китая, обладающие большим опытом по разработке методов анализа и повышения качества изображений. При этом, в рамках выполнения проекта, будет исследоваться эффективность применения разрабатываемых методов повышения качества медицинских изображений и их влияния на результаты методов машинного обучения сразу в различных областях. То есть, методы, разрабатываемые национальными группами для рассматриваемых ими конкретных медицинских задач, будут применяться их коллегами из других стран к другим задачам. Это позволит для каждой из рассматриваемых задач применить и проанализировать широкий спектр новых методов, оценить их эффективность для конкретной задачи. В то же время, возникает возможность сравнения и выявления общих характеристик разрабатываемых алгоритмов повышения качества медицинских изображений, методов выбора оптимальных параметров, методов обучения и используемых функций потерь сразу для нескольких медицинских задач. В рамках данного проекта рассматриваются задачи диагностики заболеваний, основанной на совместном использовании радиологических и гистологических данных. Российский проект, в своей прикладной медицинской части, рассматривает задачу диагностики колоректального рака по данным МРТ и гистологическим данным.

The main goal of the BRICS project research is the development of image processing and analysis methods aimed to solve diagnostic medical problems using images of various modalities. The work will be carried out within the framework of a hybrid approach that combines the apparatus of classical methods of mathematical image processing and machine learning, first of all, a deep learning method using convolutional neural networks. Different tasks for the analysis of MRI, CT and histological images used to diagnose tumors in the liver (China), colorectal cancer (Russian Federation) and brain tumors (Brazil) will be considered. A feature of this project is the development of methods for analyzing the quality of medical video information and building, on the basis of this analysis, adaptive methods for improving the quality of medical images. In this work, we are also interested in the influence of the quality of medical images (such as resolution, noise level, contrast, sharpness, etc.) on the performance of machine learning algorithms. Therefore, one aspect that needs to be investigated is also the effect of image enhancement on machine learning algorithms for various diseases and medical modalities. An extremely urgent task of analyzing the quality of images used by deep learning methods will be considered. At the same time, automatic analysis will be carried out both for images used in the training of convolutional neural networks and at the input of the neural network when monitoring incoming images for medical diagnostics. To solve these problems, the team includes research teams from Brazil, Russia and China, with extensive experience in developing methods for analyzing and improving the quality of images. At the same time, as part of the project, the effectiveness of the application of the developed methods for improving the quality of medical images and their impact on the results of machine learning methods in various areas will be explored. That is, the methods developed by the national groups for the specific medical tasks under consideration will be applied by their colleagues from other countries to other tasks. This will allow for each of the tasks in question to apply and analyze a wide range of new methods, to evaluate their effectiveness for a specific task. At the same time, it becomes possible to compare and identify the general characteristics of the developed algorithms for medical image enhancement, methods for choosing the optimal parameters, machine learning methods and used loss functions for several medical tasks at once. The project addresses the task of diagnosing diseases based on the sharing of radiological and histological data. The Russian project, in its applied medical part, is considering the task of diagnosing colorectal cancer using MRI and histological data.

Разработка гибридных алгоритмов автоматического и полуавтоматического анализа гистологических изображений, включающих в себя сегментацию основных структур на полноразмерных гистологических изображениях, выделение и анализ формы желёз, детектирование слоев слизистой оболочки, детектировании опухоли и определение глубины её инвазии. Разработка алгоритмов совместного анализа гистологических и радиологических (МРТ) изображений для диагностики колоректального рака

· Разработан алгоритм семантической сегментации желёз на гистологических изображениях, основанный на применении свёрточной нейронной сети с использованием информации о контурах желёз (A. Khvostikov, A. S. Krylov, O. Kharlova, N. Oleynikova, I. Mikhailov, and P. Malkov. Cnn-based histological images segmentation of mucous glands. In GraphiCon 2018: труды 28-й Междунар. конф. по компьютерной графике и машинному зрению, pages 258–261. Нац. исслед. Том. политех. ун-т г. Томск, 2018.). · Собран начальный набор полнокадровых гистологических изображений прямой кишки с экспертной разметкой и продемонстрирована возможность применения разработанного алгоритма семантической сегментации на собранных данных с помощью концепции переноса обучения (N. Oleynikova, A. Khvostikov, A. S. Krylov, I. Mikhailov, O. Kharlova, N. Danilova, P. Malkov, N. Ageykina, and E. Fedorov. Automatic glands segmentation in histological images obtained by endoscopic biopsy from various parts of the colon. Endoscopy, 51(4):S6–S7, 2019. DOI 10.1055/s-0039-1681188) · Создан прототип гибридного метода точной сегментации отдельных желёз на изображении, основанный на применении обучаемой модели активных контуров (Хвостиков А. В., Крылов А. С. Гибридный метод сегментации гистологических изображений // Научная конференция ЛОМОНОСОВСКИЕ ЧТЕНИЯ. Тезисы докладов. 15-25 апреля 2019 г. — СЕКЦИЯ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И КИБЕРНЕТИКИ, Факультет вычислительной математики и кибернетики. — Москва: Москва, 2019. — С. 112–112.).