Развитие методов расчета турбулентных течений на суперкомпьютерахНИР

Development of novel methods for supercomputer modeling of turbulent flows

Источник финансирования НИР

грант РНФ

Этапы НИР

# Сроки Название
1 3 августа 2018 г.-31 декабря 2018 г. Развитие методов расчета турбулентных течений на суперкомпьютерах
Результаты этапа: В соответствии с календарным планом работ отчет за этап с 03.08.2018 по 30.06.2019 будет подготовлен в июне 2019 года.
2 1 января 2019 г.-30 июня 2019 г. Развитие методов расчета турбулентных течений на суперкомпьютерах
Результаты этапа: Общепринятая в настоящее время точка зрения на моделирование турбулентных течений в рамках вихреразрешающих методов исходит из рассмотрения явления турбулентности как стохастического процесса. Интересующие распределения физических полей и величин определяются в результате осреднения по некоторому репрезентативному ансамблю состояний, характеризующему исследуемое явление. Для статистически стационарных турбулентных течений имеет место гипотеза об эргодичности, в силу которой в расчётах осреднение по ансамблю возможно заменить осреднением по времени (и однородным пространственным направлениям, при наличии). Это даёт основания полагать, что осреднение по времени и сочетание осреднения по времени и по ансамблю реализаций должно обеспечивать идентичные результаты в рамках точности, определяемой размером выборки при осреднении. Сопоставление базовых характеристик турбулентных течений, полученных в рамках расчётов с осреднением по времени и сочетанием осреднения по времени и по ансамблю реализаций для ряда задач (течение в плоском канале, обтекание массива кубов на стенке канала, течение в тройнике) и моделей турбулентности (DNS, LES) подтверждает эквивалентность получаемых характеристик. Для задачи о моделировании течения в плоском канале было замечено, что осреднение по времени и по ансамблю реализаций позволяет обеспечить сопоставимую точность расчёта при существенно меньшем суммарном интервале интегрирования по времени, чем только при осреднении по времени. Хотя данный факт является существенным для оптимизации расчётной процедуры с осреднением по времени и ансамблю реализаций, на данный момент нет аргументированного обоснования данного результата. Обоснование выбора величины интервала осреднения для каждого из моделируемых состояний было одним из вопросов проводимого исследования. Была предпринята попытка определения некоторого характеристического масштаба времени для турбулентного течения и установления связи этого интервала с общим интервалом осреднения. Для количественного представления масштаба памяти в турбулентных течениях используется так называемый интегральный масштаб T_INT, определяемый через корреляционные функции разнесённых по времени пульсаций скорости. В однородной изотропной турбулентности интегральный масштаб един для любых компонент скорости и одинаков во всех точках пространства. В общем случае T_INT принимает разные значения для разных компонент скорости и меняется в пространстве. Точная величина интегрального масштаба может быть определена только по результатам моделирования течения, что исключает априорное использование этого критерия. Поэтому представляется важным отыскание хотя бы приближенных оценок этой величины исходя из некоторых общих представлений об исследуемом течении. Помимо интегрального масштаба, используется характерное время жизни турбулентных структур T_l. Формальное определение T_l совпадает с определением интегрального масштаба T_INT. Отличие состоит в том, что корреляционная функция вычисляется не при фиксированном значении продольной координаты пульсаций, а с некоторым сдвигом вдоль направления потока, при котором достигается максимальное значение корреляции для данного интервала времени. Это позволяет учесть конвективный снос турбулентных структур основным потоком. Значение T_l в пристенном слое более, чем в 3 раза превосходит T_INT. Выполнена оценка времени жизни турбулентных структур в плоском канале на разных расстояниях от стенки для нескольких значений числа Рейнольдса Re_tau=180, 390 и 590. Полученные значения для Re_tau=180 в пристенном слое по порядку величины совпадают с опубликованными ранее результатами. При этом обнаружено, что с удалением от стенки эти масштабы растут, увеличиваясь в 3-4 раза во внешнем потоке на максимальном удалении от стенок. Для турбулентных течений в литературе часто встречается ещё один характерный масштаб времени, называемый временем оборота вихря (“turnover time”). Согласно идеям А.Н. Колмогорова, поведение турбулентности в инерционном интервале масштабов определяется величиной кинетической энергии k и диссипацией энергии \epsilon. Время, за которое большие вихри теряют большую часть своей энергии, таким образом, можно определить как T_t = k / \epsilon. Масштаб T_t чисто технологически более прост для определения, чем интегральные масштабы, поскольку не требует вычисления корреляций между величинами, разнесёнными во времени. В случае обнаружения прозрачной связи между рассмотренными временными масштабами, масштаб T_t мог бы выступать в роли меры периода временного осреднения. Мы надеемся, что более точные количественные данные, которые планируется получить в ходе продолжения работ по проекту, позволят установить связь искомых временных масштабов с интегральными характеристиками потока в конкретном случае турбулентного течения в плоском канале и обосновать возможность сокращения суммарного интервала осреднения при сочетании осреднения по времени и ансамблю реализаций. Эти результаты планируется распространить и на другие течения, что позволит априорно оценивать необходимый период осреднения по времени. Ещё один важный элемент использования множественных реализаций для ускорения статистического осреднения состоит в способе построения множества статистически независимых реализаций течения. Очевидный путь состоит во множественном дублировании процесса выхода на турбулентный режим, стартуя с некоторого случайного набора начальных данных. Выход на турбулентный режим, однако, может потребовать значительных затрат вследствие длительного времени интегрирования до установления течения. Более экономичной тактикой может оказаться расчёт переходного этапа для единственной реализации с дальнейшим множественным распространением полученного поля путём добавления к нему некоторых случайных возмущений и последующего интегрирования до выхода на установившийся режим. Для описанного сценария расчёта получена оценка ожидаемого общего ускорения при внесении возмущений в некоторый момент до или после выхода на статистически стационарный режим. На основе полученных оценок показано, что сокращение вычислительных затрат на моделирование процесса выхода на режим является существенным в плане общего ускорения алгоритма, так как позволяет сократить на 10-20% общее время расчёта и существенно расширить область применимости алгоритма. Внесение возмущений в процессе выхода на режим предполагает наличие оценки времени декорреляции для различных состояний, полученных путём добавления возмущений к единичному состоянию. При отсутствии соответствующей априорной информации может быть использован другой сценарий расчёта, когда возмущения вносятся уже после выхода на статистически стационарный режим. Второй сценарий хотя и незначительно уступает первому (в пределах единиц процентов), может быть более удобен в практических расчётах, поскольку позволяет отслеживать степень декорреляции моделируемых состояний перед началом осреднения. Несмотря на наличие большого количества библиотек и фреймворков для решения систем линейных алгебраических уравнений на высокопроизводительных вычислительных системах, регулярно возникает потребность в разработке новых библиотек, реализующих новый функционал или обеспечивающих эффективную работу на новом оборудовании. Библиотека итерационных методов XAMG, разрабатываемая в ходе реализации проекта, решает обе задачи: обеспечивает возможность решения систем линейных алгебраических уравнений со многими правыми частями и предполагает эффективную работу солверов на многоузловых высокопроизводительных вычислительных системах с многоядерными центральными процессорами и графическими ускорителями. При реализации вычислений на центральных процессорах уделено особое внимание вопросу векторизации вычислений. На данный момент библиотека имеет общую структуру, позволяющую эффективно решать системы уравнений с несколькими правыми частями на многоузловых многоядерных системах на основе использования библиотеки MPI, и необходимые средства конфигурирования. По мере завершения стадии активной разработки данной специализированной библиотеки и добавления гибридной многоуровневой модели распараллеливания MPI+Posix ShM + CUDA, созданные наработки планируется разместить в открытом доступе. В процессе работы над библиотекой XAMG была предложена аналитическая модель времени исполнения для итерационных методов подпространства Крылова, и в частности, семейства методов стабилизированных би-сопряженных градиентов. С помощью предложенной модели проведена оценка области применимости оригинального алгоритма BiCGStab и модифицированных вариантов, таких как Reordered BiCGStab, Improved BiCGStab и Pipelined BiCGStab. Для указанных алгоритмов предложены дополнительные модификации, направленные на группирование векторных операций. Это позволяет переиспользовать уже загруженные в процессор из памяти данные для последовательного выполнения нескольких операций с векторами, и тем самым уменьшить время выполнения данных алгоритмов. Причём, если для оригинального метода BiCGStab рассмотренная процедура слияния векторных операций обеспечивает выигрыш порядка 10%, то для модифицированных методов данная процедура позволяет сократить объем передаваемых между процессором и оперативной памятью данных в процессе выполнения операций с векторами почти вдвое. Соответствующие теоретические оценки были полностью подтверждены результатами численных экспериментов. Перекрытие коммуникаций и вычислений – популярный приём нивелирования латентности коммуникационных операций. Чтобы оценить достижимую степень сокрытия латентности тех или иных MPI-операций на конкретной вычислительной системе, рационально использовать специализированные микробенчмарки. На базе инфраструктуры бенчмарков IMB создан расширенный набор бенчмарков IMB-ASYNC. Разработанная группа бенчмарков и методика тестирования позволяют максимально близко к практическим задачам оценить эффективность алгоритмов, основанных на асинхронном исполнении неблокирующих коммуникаций, и принять решение о целесообразности реализации таких алгоритмов на данной вычислительной системе при данном системном программном обеспечении. Апробация одного из бенчмарков на основе операции Allreduce на суперкомпьютере Ломоносов-2 с использованием библиотеки Intel MPI версии 2017.1 показала, что использование механизма стимуляции асинхронной передачи сообщений на основе прогресс-тредов даёт положительную эффективность лишь в нескольких точках измерений, и эти результаты демонстрируют высокую волатильность от запуска к запуску. Для большинства расчётных точек эффективность сокрытия коммуникаций оказывается отрицательной, что приводит к фактическому замедлению в десятки раз. Сокрытие коммуникаций простым совмещением коммуникаций и вычислений, а также с использованием «ручного прогресса» также не даёт существенного положительного эффекта. Таким образом, сокрытие латентности коллективных коммуникаций при использовании библиотеки Intel MPI 2017.1 на суперкомпьютере Ломоносов-2 на сообщениях небольшого размера оказывается практически невозможным. Созданные наработки и исходные коды разработанных бенчмарков размещены в открытом доступе по адресу https://github.com/a-v-medvedev/mpi-benchmarks. Сформирован набор тестовых задач, связанных с моделированием турбулентных течений в рамках вихреразрешающих подходов, который планируется использовать в дальнейшем для итоговой оценки эффективности развиваемого подхода. В частности, в число задач, для которых характерно проведение длительного осреднения по времени, вошло несколько задач турбулентного тепломассообмена в жидкостях с низкими числами Прандтля и задача о моделировании турбулентного обтекания облунённых поверхностей. В ходе численных исследований показано, что для указанных задач характерна потребность длительного интегрирования по времени для получения достоверных результатов осреднения, что делает их хорошими примерами задач, для которых может быть востребована предлагаемая расчётная методика, сочетающая осреднение по времени с осреднением по ансамблю реализаций.
3 1 июля 2019 г.-31 декабря 2019 г. Развитие методов расчета турбулентных течений на суперкомпьютерах
Результаты этапа: В соответствии с календарным планом работ отчет за этап с 01.07.2019 по 30.06.2020 будет подготовлен в июне 2020 года.
4 1 января 2020 г.-30 июня 2020 г. Развитие методов расчета турбулентных течений на суперкомпьютерах
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".