Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры.НИР

Supercomputer ecodesign: algorithms, programming technologies, architectures

Соисполнители НИР

МГУ имени М.В.Ломоносова Координатор

Источник финансирования НИР

госбюджет, раздел 0706 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2019 г.-31 декабря 2019 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры.
Результаты этапа: В результате годовой работы в рамках первого этапа кафедральной темы был предложен новый подход к оценке эффективности функционирования суперкомпьютерной систем. В основе данного подхода лежит введённая авторами работы функция потери качества планирования суперкомпьютера. Предложенный метод был применен для целевой оптимизации процессов планирования потока задач на суперкомпьютерах "Ломоносов" и "Ломоносов-2", входящих в суперкомпьютерный комплекс МГУ. Кроме того было проведено исследование реализаций графовых алгоритмов на современных высокопроизводительных архитектурах. Было показано, что векторная архитектура NEC SX-Aurora TSUBASA последнего поколения позволяет выполнять различные алгоритмы обработки графов большого размера крайне эффективно. Разработанные реализации ряда графовых алгоритмов, оптимизированные в соответствии с наиболее важными свойствами архитектуры SX-Aurora, показали в 15 раз лучшую производительности по сравнению с оптимизированными параллельными реализациями для архитектуры Intel Skylake и до 5 раз лучшей производительности по сравнению с реализациями библиотеки NVGRAPH для архитектуры Pascal GPU. Еще один результат был получен в области моделирования беспроводных сенсорных сетей (БСС) — важного компонента интернета вещей, который по оценкам экспертов в ближайшем будущем станет одним из главных источников больших данных (Big Data). Одним из авторов работы был разработан симулятор БСС с цепочечной маршрутизацией на основе протокола PEGASIS. Симулятор учитывает наличие фазы сна узлов сети. Были исследованы такие показатели работы сети как расход энергии и скорость сбора информации. Полученные результаты вычислительных экспериментов помогают оценить разницу значений этих параметров при различных соотношениях фазы сна и фазы активности узла
2 1 января 2020 г.-31 декабря 2020 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры.
Результаты этапа: 1.Предложены подходы к эффективной реализации набора фундаментальных графовых алгоритмов для векторных систем с быстрой памятью на примере современной архитектуры NEC SX-Aurora TSUBASA. 2.Рассмотрены подходы к оптимизации графовых алгоритмов для векторных систем, в том числе: выбор оптимальных алгоритмов, подходящих для векторизации, и их соответствующая модификация, повышение локальности обходов графов, улучшение шаблона доступа к памяти, балансировку параллельной работы между векторными ядрами и векторными инструкциями, и многие другие. 3. Исследованы существующие и предложены новые подходы к анализу эффективности, профилировке и поиску узких мест реализаций графовых алгоритмов для векторных систем, позволяющие контролировать процесс оптимизации и создания эффективных реализаций для векторных систем на основе качественных и количественных характеристик. 4. Исследованы методов построения и оптимизации глубоких сверточных нейронных сетей для многопроцессорных высокопроизводительных вычислительных систем, проведена практическая реализация рассмотренных и вновь разрабатываемых методов на суперкомпьютерах МГУ. 5. Исследованы подходы к оптимизации алгоритма Катмулла-Кларка иерархического разбиения полигональных моделей.
3 1 января 2021 г.-31 декабря 2021 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры.
Результаты этапа: В результате выполнения данной НИР были получены следующие результаты: - впервые предложены алгоритмы распределенной обработки графов для современных векторных ускорителей NEC SX-Aurora TSUBASA; - распараллелены этапы предварительной обработки данных в инструменте анализа суперкомпьютерных логов ClusterLogs - предложен метод оптимизации гиперпараметров глубоких нейросетей с помощью мини-бенчмарков; - разработан инструмент отладки протоколов сбора данных в беспроводных сенсорных сетях.
4 1 января 2022 г.-31 декабря 2022 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры
Результаты этапа: В результате выполнения данной НИР были получены следующие результаты: - Исследованы параллельные версии алгоритма DBSCAN, работающие как на общей так и на распределенной памяти, с целью внедрения их в автоматическую систему категоризации текстовых сообщений. Предложена модификация одной из параллельных реализаций DBSCAN, позволяющая значительно повысить параллельное ускорение для данной задачи. - Предложен подход к описанию протоколов маршрутизации данных в беспроводных сенсорных сетях, облегчающий переход от компьютерной симуляции к натурному тестированию - Выполнен анализ нескольких семейств популяционных алгоритмов оптимизации и предложена модель организации данного типа алгоритмов. Разработан прототип библиотеки для работы с популяционными алгоритмами на базе предложенной модели. - Предложен метод оптимизации архитектуры нейросетей, основанный на сжатии нейросетевых архитектур в процессе эволюционного поиска. Сжатие нейросетевых моделей производится с использованием L1/L2 регуляризации. Дана теоретическая оценка ускорения эволюционного процесса с использованием предложенного метода. Проведено экспериментальное исследование предложенной реализации. Показано, что полученное ускорение достигается с незначительной потерей точности результата - Предложен подход оптимизации использования ресурсов суперкомпьютерного центра
5 1 января 2023 г.-31 декабря 2023 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры
Результаты этапа: 1) Предложен алгоритм параллельного обучения нейросети, направленный на уменьшение длительности коммуникаций обучающих процессов. Основная идея алгоритма заключается в разделении коммуникаций на локальные и глобальные и применении разных методов организации параллельного обучения на этих двух уровнях. Для организации коммуникаций между процессами, расположенных на разных вычислительных узлах, использовались методы параллельного обучения: Local-SGD, Gossip и Sparsification. С помощью вычислительных экспериментов было показано, что предложенный метод позволяет сократить время обучения нейронных сетей, при этом точность модели при использовании данного метода выше, чем при использовании алгоритмов параллельного обучения, имеющих схожую степень ускорения коммуникаций. 2) Функционал библиотеки роевых алгоритмов Insectae дополнен тремя новыми параллельными алгоритмами оптимизации. Выбор технологий распараллеливания и распределения задач в кластере был сделан на основе сравнительного анализа эффективности существующих технологий в при- менении к рассматриваемому классу задач. Для удобства пользователей в библиотеку добавлен набор тестовых задач и базовые средства визуализации. 3) Завершена интеграция модифицированного параллельного алгоритма DBSCAN c разработанным ранее фреймворком ClusterLogs, обеспечивающим автоматизированный и адаптивный метод кластеризации сообщений об ошибках 4) Изучена возможность оптимизации работы с памятью при решении систем алгебраических линейных уравнений с использованием разреженной матрицы. Предложено два новых формата хранения разреженной матрицы на основе широко используемого CSR формата. Полученная оптимизация позволила существенно сократить время операции умножения матрицы на вектор, а также позволила ускорить решение систем линейных алгебраических уравнений, использующих данную операцию в качестве основного вычислительного блока 5) Проведено сравнительное исследование эффективности индексации облаков точек с помощью решётки и kd-дерева в двумерном случае в приложении к задаче поиска k соседей.
6 1 января 2024 г.-31 декабря 2024 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры
Результаты этапа: 1. Проведены исследования методов индексации элементов облаков точек, выравнивания облаков точек и выделения геометрических примитивов в облаках точек.
7 1 января 2025 г.-31 декабря 2025 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры
Результаты этапа: 1. Разработаны и исследованы методы анализа, группировки и кластеризации нерегулярных и несбалансированных временных рядов. 2. Разработана автоматическая тестирующая подсистема, осуществляющая сравнение и подбор алгоритмов под запрошенную задачу в библиотеку Insectae, Расширена реализованная ранее островная модель за счёт поддержки его синхронного варианта. 3. Разработан метод прогнозирования эффективности эволюционных и роевых алгоритмов, в котором решена проблема «холодного старта», что позволяет обходиться без построения фиксированного дерева решений для этих целей. 4. Разработан подход к анализу свойств суперкомпьютерных приложений на основе выделения похожих заданий совместно с пользователем с помощью анализа хронологии заданий, сравнения отдельного задания с группой схожих заданий, а также сравнения групп заданий между собой. Предложены сценарии для анализа хронологий запусков и сравнения похожих заданий. Выполнена апробация предложенных заданий на потоке заданий суперкомпьютера «Ломоносов-2». 5. Исследован метод динамического прореживания сверточных нейронных сетей DPIREC. Проведен всесторонний анализ ключевых параметров метода прореживания, включая анализ их взаимного влияния на эффективность работы алгоритма. Предложен и успешно реализован новый подход к оценке значимости параметров нейронной сети, основанный на аппроксимации отраженных потерь. Для метода DPIREC разработана глобальная стратегия прореживания, которая учитывает значимость параметров на уровне всей модели, а не отдельных слоев. Данный подход позволил добиться более сбалансированного распределения значимых параметров по всей архитектуре сети и существенно снизить риск потери важных связей между слоями модели. 6. Разработан и исследован метод оптимизации архитектуры нейросетевых BERT-подобных моделей, основанный на использовании генетического алгоритма, с целью повышения эффективности их применения на целевой вычислительной платформе. 7. Выполнены сравнение методов машинного обучения для решения задачи сегментации облаков точек сканированных лесных деревьев. С помощью вычислительных экспериментов найдена более экономичная в плане использования оперативной памяти классификатору случайный лес, который как правило используется для решения обозначенной задачи. 8. Проведено исследование параллельных программных реализаций псевдоспектрального метода на различных параллельных архитектурах. Результаты вычислительных экспериментов демонстрируют существенное преимущество программных реализаций с использованием нескольких графических ускорителей по сравнению с классическими параллельными архитектурами. 9. Проведено сравнение ряда популярных форматов хранения разреженных матриц и соответствующих реализаций операции умножения матрицы на вектор. Среди реализованных форматов предпочтительным оказался формат Adaptive CSR, который даёт наибольшее ускорение умножения матрицы на вектор и решения СЛАУ методом итерационного уточнения при переносе вычислений с CPU на GPU. 10. Разработаны методы автоматического обнаружения проблем с производительностью на основе данных от средств системного мониторинга, исследованы нейросетевые модели и технологий, подходящих для решения данной задачи . 11. Исследованы временные затраты накладные расходы по мультиплексированию, применяющегося для сбора аппаратных событий в количестве, превышающем число аппаратных датчиков процессора. Экспериментальным путём определена формула для подсчёта первой выбранной неэффективности Contested Access. Построен полный функционал для обнаружения системной аномалии memleak.
8 1 января 2026 г.-31 декабря 2026 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры
Результаты этапа: -

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".

Прикрепленные файлы

№ Имя Описание Имя файла Размер Добавлен