Разработка и совершенствование нейросетевых методов решения обратных задачНИР

Источник финансирования НИР

грант РНФ

Этапы НИР

# Сроки Название
1 10 июня 2014 г.-31 декабря 2014 г. Разработка и совершенствование нейросетевых методов решения обратных задач - этап 2014 г.
Результаты этапа: В отчётном году проводились работы по разработке алгоритмов и методик решения для обоих типов обратных задач (ОЗ), рассмотрение которых запланировано в проекте: I. ОЗ магнитотеллурического зондирования (МТЗ) как характерный пример сильно нелинейной многопараметрической ОЗ, обладающей весьма высокой размерностью как по входу (тысячи входных признаков – наблюдаемых величин), так и по выходу (сотни определяемых параметров). II. ОЗ идентификации и определения парциальных концентраций (ИОПК) компонентов в многокомпонентных смесях как характерный пример сложной комплексной ОЗ с сильной нелинейностью. Данная задача является комплексной, так как предполагает одновременное или последовательное решение задачи идентификации компонентов (задача классификации, т.е. ОЗ с дискретным выходом) и многопараметрической ОЗ с непрерывным выходом по определению концентраций обнаруженных компонентов. Размерность этой задачи по входу составляет сотни и первые тысячи входных признаков, по выходу – до десяти определяемых компонентов (параметров). В дополнение к запланированному были проведены работы в направлении расширения спектра рассматриваемых ОЗ и нейросетевых методов их решения. Рассмотрены возможности применения алгоритмов кластеризации данных для повышения устойчивости решения задачи идентификации в рамках ОЗ ИОПК. В качестве примера нелинейной малопараметрической ОЗ спектроскопии с малым количеством примеров и высоким уровнем шумов рассмотрена ОЗ выделения флуоресцентного вклада наноалмазов, используемых в качестве биомаркеров, на фоне собственной флуореценции биологических флуорофоров. Были достигнуты следующие научные результаты: 1. Разработан первичный набор модельных задач для проверки выводов о сравнительной эффективности различных способов определения выходных параметров при решении многопараметрических ОЗ. Задачи набора имеют по пять входных признаков xi, каждый из которых зависит от всех пяти определяемых параметров yj. В общем виде модельная ОЗ задается при помощи простой полиномиальной модели xi(yj) с коэффициентами, содержащей слагаемые, пропорциональные первой, второй и третьей степеням значений параметров yj, их попарным и тройным произведениям, постоянную добавку и аддитивный шум. Всего в составе первичного набора было рассмотрено около 30 различных модельных задач. Для каждой из них были рассчитаны наборы данных для тренировки ИНС, содержащие по 3000 примеров, разделенных на тренировочный, тестовый и экзаменационный наборы в соотношении 70%, 20% и 10 % соответственно. 2. Проведена проверка выводов о сравнительной эффективности различных способов определения выходных параметров при решении многопараметрических ОЗ на данных разработанных модельных задач. Разработанные модельные задачи использовались для проверки эффекта группового определения и эффекта поэтапного определения параметров. Ниже будут приведены результаты проверки для упрощенной модели, в которой отсутствуют тройные произведения и шум, коэффициенты обратно пропорциональны квадрату условного расстояния и принимают случайные значения, пропорциональные заданной зависимости. Было показано, что для описанной модельной задачи при автономном определении параметров качество решения задачи монотонно убывает с увеличением номера блока j – условной глубины залегания параметра. При групповом определении картина аналогична результатам, полученным ранее на данных ОЗ МТЗ модели G0. Поэтапное определение параметров проверялось в двух вариантах – поэтапное априорное и поэтапное рекурсивное. Показано, что и для этого подхода воспроизводится поведение алгоритмов, обнаруженное ранее на данных ОЗ МТЗ модели G0. Групповое определение даёт значительно меньший эффект, чем поэтапное априорное определение, однако больший, чем поэтапное рекурсивное. Таким образом, выводы о сравнительной эффективности различных способов определения выходных параметров при решении многопараметрических ОЗ подтвердились на данных разработанных модельных задач. Можно утверждать, что наблюдаемые эффекты группового и поэтапного определения параметров связаны не со свойствами конкретной задачи, а со свойствами ИНС (многослойного персептрона) как алгоритма обработки данных. Поэтому эти методы могут быть использованы при решении и других многопараметрических обратных задач. Данный тезис был также подтвержден применением группового определения параметров для решения ОЗ МТЗ с другими схемами параметризации разреза (см.п.4). Данные результаты описаны в публикации: http://geo.phys.spbu.ru/materials_of_a_conference_2014/C2014/02_Isaev.pdf 3) Получены данные для решения двумерной ОЗ МТЗ как комплексной ОЗ. Был адаптирован к использованию для нейросетевого решения ОЗ МТЗ в рамках данного проекта разработанный ранее альбом из 7 схем параметризации двумерных разрезов с различным количеством явно заданных слоев от 0 до 3. Были рассчитаны и подготовлены данные для решения ОЗ МТЗ как комплексной ОЗ, а именно, результаты решения прямой задачи (по 30 000 примеров для каждой из 7 описанных схем параметризации) были приведены к виду, позволяющему: а) Решать задачу классификации для определения схемы параметризации разреза, наиболее адекватной для каждого примера (образца) данных; б) Сравнивать результаты решения ОЗ в рамках разных схем параметризации; в) Технологически единообразно применять при решении ОЗ разработанные методики группового и поэтапного определения параметров. 4) Получены результаты адаптации методов решения ОЗ МТЗ для схем параметризации разреза G1C и G1I. Показано, что для этих схем параметризации разреза эффект группового определения параметров полностью аналогичен эффекту, наблюдавшемуся для схемы параметризации G0 и для модельных задач. Таким образом, можно окончательно заключить, что групповое определение параметров является при правильном применении эффективным методом повышения точности нейросетевого решения многопараметрических ОЗ. В рамках настоящего проекта этот метод будет включен в стандартный алгоритм решения ОЗ МТЗ для всех схем параметризации разреза. Данные результаты описаны в публикации: http://geo.phys.spbu.ru/materials_of_a_conference_2014/C2014/01_Dolenko.pdf 5) Получен массив данных трёхмерной ОЗ МТЗ с количеством определяемых параметров 1300. В отчётном году была разработана новая схема параметризации трёхмерных разрезов с количеством определяемых параметров 1300, т.е. значительно более подробная и геофизически обоснованная, чем предполагалось при первоначальном планировании работ. Было программно реализовано решение прямой задачи с использованием параллельных вычислений на основе технологии NVIDIA CUDA. Путём решения прямой задачи был получен массив данных из 4000 примеров, что является достаточным количеством для проведения вычислительных экспериментов по нейросетевому решению описанной трёхмерной ОЗ МТЗ. 6) Получен массив экспериментальных спектров КР растворов, содержащих от 0 до 10 ионов в различных комбинациях, в количестве 5147 спектров, с измеренными значениями pH растворов. Получена база экспериментальных спектральных данных одно-, двух-, трех-, пяти- и шестикомпонентных растворов солей MgSO4, Mg(NO3)2, LiCl, LiNO3, NH4F, (NH4)2SO4, KHCO3, KF, NaHCO3, NaCl в диапазоне концентраций от 0 до 1.5 М с шагом по концентрациям 0.25 М и 0.15 М (для солей NaHCO3, NH4F, KF), с одновременным измерением pH растворов. Так как ионы, на которые диссоциируют в растворах использованные соли, частично совпадали, концентрации анионов и катионов не были напрямую связаны друг с другом, как в случае, когда все ионы являются различными. Таким образом, в каждом из растворов присутствовали от 2 до 10 ионов в разных концентрациях, что позволяет с использованием полученной базы данных ставить задачу обучения нейронной сети, определяющей типы и количество растворенных ионов (ОЗ ИОПК для ионов). База состоит из 5147 спектров растворов солей и является уникальной. 7) Получено решение ОЗ ИОПК для ионов в рамках Метода 1 (одна НС с числом выходов, равным максимальному числу типов ионов) и определена величина погрешности решения. Ввиду большого количества комбинаций ионов, которые могли присутствовать в растворе, и сравнительно небольшого количества примеров был применён метод перекрёстной проверки (cross-validation): разделение на тренировочный, тестовый и экзаменационный наборы данных в соотношении 70:20:10 случайным образом выполнялось пять раз, и для каждого из этих пяти разбиений было натренировано по пять одинаковых НС, отличавшихся лишь начальной инициализацией весов. Для каждой из сетей на соответствующем ей экзаменационном наборе рассчитывались все необходимые статистические показатели, включая коэффициент множественной детерминации R квадрат и ключевой показатель, используемый для данной задачи – средняя абсолютная ошибка (САО). Далее для каждого из разбиений вычислялось среднее значение и стандартное отклонение САО, а затем среднее значение САО по всем разбиениям и среднеквадратичная сумма стандартных отклонений (СССО), которую можно считать мерой погрешности среднего значения САО и нормировать на само это среднее значение, получая относительную меру погрешности ОСССО (относительная среднеквадратичная сумма стандартных отклонений). Полученные средние значения САО лежат в диапазоне от 0,025 М (для иона HCO3-) до 0,093 М (для иона Na+), значения ОСССО от 6,0% (K+) до 13,6% (NO3-). Напомним, что диапазон изменения концентраций растворяемых ионов составлял от 0 до 1,5 М (для ионов NO3- и NH4+ от 0 до 3 М). В целом наблюдаемая картина оказалась достаточно ожидаемой. Значения погрешности определения концентраций оказались выше всего для простых ионов (Na+, Li+ и Cl-) и ниже всего для сложных ионов, имеющих собственные полосы в спектре КР (HCO3-, SO42-, NO3-). Обе намеченные цели оказались достигнуты. Во-первых, была продемонстрирована разрешимость ОЗ ИОПК в данной постановке с приемлемой в целом точностью. Во-вторых, полученные значения теперь могут быть использованы как реперные при дальнейших работах по предобработке спектров, направленных на снижение погрешности решения задачи. 8) Проведены работы, дополнительные к запланированным. Помимо запланированного, в отчётном году были проведены работы, направленные на исследование возможностей применения других алгоритмов анализа данных, а также на нейросетевое решение других обратных задач. (а) Было продемонстрировано, что кластеризация данных с помощью НС Кохонена может быть использована для выделения групп примеров (кластеров) в пространстве интенсивностей в каналах КР-спектров многокомпонентных растворов неорганических солей, объяснимых с физической и химической точек зрения. Полученная кластеризация может служить основой для идентификации ионов (солей), присутствующих в растворе. Так как границы между кластерами в пространстве признаков формируются в этом случае в режиме обучения без учителя, есть основания полагать, что классификация, основанная на описанной кластеризации, окажется более устойчивой, чем классификация, осуществляемая нейронной сетью, натренированной на распознавание присутствия различных ионов в растворе в режиме обучения с учителем. Данные результаты изложены в публикации: http://www.internationalindex.org/publication/9999554 (б) Была продемонстрирована принципиальная возможность нейросетевого решения ОЗ по выделению флуоресценции наночастиц на фоне собственной флуоресценции биологической среды. Показано, что метод позволяет обнаружить флуоресценцию наноалмазов на фоне собственной флуоресценции белка куриного яйца с достаточно низкой пороговой концентрацией обнаружения (около 3 мкг/мл). Было также показано, что предобработка спектров путём агрегации каналов спектра или путём отбора существенных каналов позволяет дополнительно снизить погрешность решения ОЗ примерно в 1,5 раза. Данные результаты изложены в публикации: http://www.internationalindex.org/publication/9999549 9) Осуществлены публикация полученных результатов и их представление на всероссийских или международных конференциях. В отчётном году были опубликованы 10 печатных работ, в том числе 2 статьи в журналах, 2 статьи в трудах международной конференции и 6 тезисов докладов. 2 статьи в журналах приняты к печати в 2015 году, в т.ч. 1 статья в журнале, индексируемом РИНЦ. Представлено 8 докладов на международных конференциях и школах, в том числе 3 приглашённых доклада, 4 устных выступления и 1 стендовый доклад.
2 1 января 2015 г.-31 декабря 2015 г. Разработка и совершенствование нейросетевых методов решения обратных задач - этап 2015 г.
Результаты этапа:
3 1 января 2016 г.-31 декабря 2016 г. Разработка и совершенствование нейросетевых методов решения обратных задач - этап 2016 г.
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".