ИСТИНА |
Войти в систему Регистрация |
|
Интеллектуальная Система Тематического Исследования НАукометрических данных |
||
В рамках предлагаемой темы будут проводиться работы по математическому моделированию процессов, связанных с изучением поверхности Земли. Одной из фундаментальных задач в этой области исследований является изучение распространения электромагнитных волн в неоднородных бесконечных областях. Представляет практический интерес, например, решение трёхмерной задачи отражения электромагнитных волн от локально нерегулярных границ раздела двух сред, каждая из которых характеризуется различными диэлектрическими и магнитными проницаемостями. Математическая модель, описывающая проходящие физические процессы, сводится к решению системы уравнений Максвелла в полупространстве с нерегулярной границей. Для построения численного алгоритма решения этой поставленной задачи будет использован метод интегральных уравнений. Целью исследований является разработка вычислительных алгоримов, позволяющих рассчитывать характеристики электромагнитного поля как на поверхности границы раздела сред, так и в дальней зоне. Подобные исследования представляют практический интерес для специалистов в области космического радиоэлектронного зондирования Земли. Вычислительные эксперименты, выполненные в области широкого диапазона частот при различных характеристиках среды, позволят глубже понять природу происходящих волновых процессов. При реализации вычислительных алгоритмов возникает необходимость решения комплексных систем линейных алгебраических уравнений высокого порядка. В связи с этим представляется необходимость использовать современные суперкомпьютеры. Поэтому в рамках данной научно-исследовательской темы будут развиваться различные методы организации работы на суперкомпьютерах. Будет уделено большое внимание таким направлениям исследований, как исследование и разработка методов организации параллельных и распределённых вычислений; методам исследования и предсказания поведения очередей задач в системах ведения очередей; методам хранения и передачи информации на вычислительные кластеры.
The problem of remote sensing of the Earth’s inhomogeneous surface is one of the most important problems at the current stage of the development of Earth sciences. One of the investigation trends involves the study of processes of reflection of electromagnetic waves by irregular medium interface. Investigation of these dependences requires efficient methods for solving problems of diffraction of an electromagnetic field incident on the interface of two media with fairly arbitrary characteristics and arbitrary shape. The mathematical formulation of such problems reduces to solving a system of Maxwell equations in non-regular infinite regions. In the case when the incident field depends on three coordinates, the boundary value problem for the system of Maxwell equations is reduced to the solution of systems of singular equations. The development of a numerical algorithm for the solution of the obtained singular equations through reducing them to systems of linear algebraic equations necessitates developing algorithms for calculating the elements of the matrix of the algebraic system. Knowing a solution to the system of singular integral equations, one can obtain an integral representation for the reflected electromagnetic field and the reflected field pattern in far zone, and also solve a number of other topical problems. The algorithms of mathematical modeling in electromagnetic require the methods to solve high dimensional linear equations. We need many computational resources to solve the equations of such style. We use supercomputers and we design methods of parallel programming that take into consideration the computer cluster interconnections structure and structure of user's tasks queue for purpose to speedup of mathematical modeling process.
Разработать вычислительный алгоритм для задачи отражения Н-поляризованного трёхмерного электромагнитного поля от локально неоднородной границы раздела сред, используя теорию сингулярных интегральных уравнений. Провести численные исследования для задачи отражения трёхмерного электромагнитного поля от локально неоднородной границы раздела сред. Изучение возможности перехода от формата хранения матриц как набора netcdf файлов к набору hdf5 файлов для обеспечения возможности хранения разреженных матриц задержек как набора блоков плотных матриц. Участие в организации конференций «Параллельные Вычислительные Технологии (ПАВТ) 2016» в качестве эксперта (рецензирование и участие в отборе статей), Участие в организации конференции «Ломоносов - 2016» (ведение подсекции, отбор тезисов). Руководство дипломной бакалаврской работой по теме «Генерация кода параллельной программы c использованием MPI по потокам данных в алгоритме решаемой задачи», одной курсовой работой. Подача тезисов на конференцию «Научный сервис в сети Интернет -2016».
Метод интегральных уравнений использовался участниками темы для исследования различных отражающих структур в задачах электромагниьного зондирования поверхности Земли. Разрабатывались как двумерные, так и трехмерные математические модели. С точки зрения анализа коммуникационной среды вычислительного кластера и анализа систем ведения очередей ранее были проделаны следующие работы. Разработаны методы автоматического уточнения спецификации вычислительного кластера за счет применения алгоритмов автоматического определения топологических характеристик соединений процессоров в кластере по результатам нагрузочного тестирования коммуникационной среды кластера. Разработаны методы трехмерной визуализации топологии кластера, а также методы визуального сравнения выявленной топологии с эталонной, представленной в спецификации. Предложенный подход исследовался на системах с архитектурой BlueGene/P, на суперкомпьютере “Ломоносов”. Были разработаны метрики для оценки характеристик систем ведения очередей, собрана статистика с нескольких вычислительных систем, а так же разработан прототип системы для имитационного моделирования системы ведения очередей. Подробная информация о научном заделе содержится в публикациях исполнителей темы.
МГУ имени М.В. Ломоносова | Координатор |
госбюджет, раздел 0110 (для тем по госзаданию) |
# | Сроки | Название |
1 | 1 января 2016 г.-31 декабря 2016 г. | Математическое моделирование волновых процессов в задачах дистанционного зондирования |
Результаты этапа: На основе теории сингулярных интегральных уравнений разработан вычислительный алгоритм для задачи отражения Н-поляризованного трёхмерного электромагнитного поля от границы раздела сред, содержащей локально неоднородной импедансный участок. Создан программный комплекс расчёта электродинамических характеристик рассеянного поля. В случае Е-поляризации исследованы наводимые поля на границе раздела сред и диаграммы направленности отражённого поля в дальней зоне для различных геометрических характеристик отражающей поверхности и частотного диапазона. Для обеспечения компиляции кода на суперкомпьютерах были проделаны следующие действия: 1. Поскольку раздел файловой системы на вычислитель-ном узле где происходит запуск задачи часто не совпадает с каталогом пользователя на интерфейсной машине, был создан каталог _scratch/opt, в который затем устанавливается всё программное обеспечение и библиотеки, необходимые для организации работы эксперимента. Всё разворачивается так, как будто это каталог /usr файловой системы UNIX. Этот каталог должен находиться в части файловой системы, доступной узлам кластера. 2. Модифицировались переменные окружения в файлах .profile так, чтобы динамически подгружаемые библиотеки и программы искались из каталогов _scratch/opt/bin и _scratch/opt/lib и у них приоритет был выше, чем у стандартных системных библиотек. 3. В домашнем каталоге в каталог src/dependent_soft распаковываются исходные коды программного обеспечения которое обеспечивает работоспособность и компилируемость кода, реализующего эксперимент на вычислительной системе. Там же создаётся Makefile (аналогично подходу portage в Gento Linux), который в правильном порядке компилирует необходимое программное обеспечение. | ||
2 | 1 января 2017 г.-31 декабря 2017 г. | Математическое моделирование волновых процессов в задачах дистанционного зондирования |
Результаты этапа: Рассмотрена задача отражения трехмерного электромагнитного поля от локально неоднородной границы раздела сред. На основе метода сингулярных интегральных уравнений построен вычислительный алгоритм. Исследованы интегральные характеристики полей в дальней зоне для различных электродинамических параметров, характеризующих рассматриваемую модель. Цель проведенного тестирования - уточнить структуру задержек, чтобы полуавтоматически обнаружить аномалии в коммуникациях, тем самым дать полезный инструмент для балансировки нагрузки в параллельных программах, для решения задачи назначений вычислений на узлы вычислительного кластера, а также дать инструмент системным администраторам для выявления несоответствий спецификации производителя вследствие некорректной работы оборудования или изменившихся условий эксплуатации всей системы целиком. Наработки авторов собраны в проект с открытым исходным кодом ``HPC cluster benchmarking toolkit''. Результаты тестирования сохраняются в виде множества матриц задержек для каждой упорядоченной пары MPI-процессов. В контексте подхода анализа параллельного приложения на основе сбора трасс такие матрицы называются коммуникационными. Анализируемые данные представляют собой трехмерный <<куб данных>>. Так, в результате работы network_test получаются <<сырые>> данные, которые затем вовлечены в дальнейшую обработку. Исходя из специфики полученных результатов разработан инструмент Network Viewer, позволяющий работать как в 2D режиме для демонстрации задержек между узлами на одной длине сообщений,так и в 3D режиме для анализа динамики задержек с ростом длины сообщений. Разумно было бы сократить размер указанных трехмерных описаний. Одним из путей сокращения описания результатов тестирования является нахождение групп схожих значений. Для решения данной задачи используется кластерный анализ. Для кластеризации использовались алгоритмы агломеративной кластеризации, дивизивной кластеризации, а также оконного взвешивания по размеру передаваемого сообщения. В связи с большой модульностью системы необходимо иметь возможность собрать набор компонентов, необходимый для конкретной задачи. Для этого при конфигурации сборки можно выбрать необходимые компоненты и отсечь ненужные зависимости. Это позволяет проводить тестирование и сбор результатов отдельно от их визуализации. Таким образом от вычислительного комплекса не требуется наличие графических библиотек и фреймворков для отрисовки интерфейса. Их можно скомпилировать отдельно на другом компьютере. Также разработан прототип приложения для анализа очереди задач, управляемых системой ведения очередей slurm, c целью подбора оптимального лимита времени при постановки задачи по тестированию в очередь суперкомпьютера. На суперкомпьютере "Ломоносов 2" развернута инфраструктура в виде набора SHELL скриптов и специализированных Makefile-ов для управления компиляцией кода Европейской модели для моделирования климата MPI-ESM, а также запусками расчётных экспериментов. Используется в том числе в исследованиях по усвоению данных в математических моделях прогнозирующих изменения климата. | ||
3 | 1 января 2018 г.-31 декабря 2018 г. | Математическое моделирование волновых процессов в задачах дистанционного зондирования |
Результаты этапа: Рассмотрена задача отражения поля плоской E- и Н-поляризованной трёхмерной электромагнитной волны от идеально проводящей границы раздела сред, содержащей локальную хорошо проводящую неоднородность. Для построения численного алгоритма краевая задача для системы уравнений Максвелла в бесконечной области с нерегулярной границей сведена к решению системы сингулярных интегральных уравнений, которая решена методом аппроксимации и коллокации. Элементы полученной комплексной матрицы вычислены с помощью специально разработанного алгоритма. С использованием решения системы сингулярных интегральных уравнений получены интегральное представление для отражённого электромагнитного поля и расчётные формулы для диаграммы направленности отражённого электромагнитного поля в дальней зоне. Предложен подход, который в дальнейшем позволит создать систему выдачи рекомендаций пользователю о возможности замены некоторых фрагментов в пакете прикладных программ с целью дальнейшей оптимизации, в том числе параллельной реализации. Построение такой системы можно разделить на несколько этапов: 1) Создание базы фрагментов кода, на основании которой будет производиться поиск; 2) Создание базы оптимальных функциональных эквивалентов для предложения замены найденных фрагментов. 3) Осуществление поиска схожих фрагментов по созданной базе в каком-либо пакете прикладных программ. Предложенный подход был протестирован на пакетах прикладных программ, описанных во введении: OpenFOAM, GROMACS и MPI-ESM. Разработаны методы предобработки пакетов прикладных программ, предложена метрика вычисления схожести между участками кода, основанная на нечётком сравнении 2-х синтаксических деревьев. Изучено применение популярных методов машинного обучения к задаче прогнозирования моментов стартов задач пользователей на вычислительном кластере. В качестве исходных данных были взяты сведения о задачах пользователей за год с машины BlueGene/P, установленной на факультете ВМК МГУ. | ||
4 | 1 января 2019 г.-31 декабря 2019 г. | Математическое моделирование волновых процессов в задачах дистанционного зондирования |
Результаты этапа: Проведены вычислительные эксперименты в задаче отражения трёхмерного электромагнитного поля от нерегулярной границы раздела сред для различной формы и протяжённости локальной неоднородности границы и для различных электромагнитных проницаемостей среды в резонансном частотном диапазоне. Доработана система тестирования коммуникационной среды network-test2: добавлен режим анализа данных, который позволяет автоматически находить позиции "шагов", в длительностях задержек при передаче. Использованы методы корелляционного анализа. Разработан интерфейс для системы Uniclust, позволяющий моделировать прохождение потока задач через системы ведения очередей нескольких вычислительных кластеров. | ||
5 | 1 января 2020 г.-31 декабря 2020 г. | Математическое моделирование волновых процессов в задачах дистанционного зондирования |
Результаты этапа: Исследованы процессы отражения плоских трёхмерных электромагнитных волн от локально неоднородной границы раздела двух сред. Построены численные алгоритмы, основанные на решении систем сингулярных интегральных уравнений. Исследованы ядра интегральных уравнений Фредгольма, которые успешно используются при решении задач дифракции волн в частично заполненных волноводах и на периодических решетках. Доработаны системы тестирования коммуникационной среды network-tests2 за счёт уточнения режимов тестирования с учётом графических процессоров. Создан программный код, осуществляющий нагрузочное тестирование вычислительного кластера с большим количеством GPU (Graphics Processing Unit), распределенных по узлам кластера. В результате собирается информация о задержках во времени при передаче данных разного размера между всеми GPU в системе. Разработано два режима тестирования "all to all" и "one to one". В первом режиме все GPU передают данные всем GPU одновременно. Во втором режиме в один момент времени происходит передача только между двумя GPU. По результатам тестирования, полученным с вычислительного кластера К60 (ИПМ РАН), было показано, что коммутационная среда суперкомпьютера при передаче информации между GPU не является однородной не только для передачи через сеть, но и для GPU в рамках одного узла вычислительного кластера. |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".