В связи с техническими работами в центре обработки данных, возможность загрузки и скачивания файлов временно недоступна.
 

Обеспечение эффективности суперкомпьютерных центров будущего на основе технологий обработки больших объемов данных и экстремальных вычисленийНИР

Ensuring the efficiency of future supercomputing centers based on big data and extreme computing technologies

Источник финансирования НИР

ФЦП: Федеральная целевая программа, Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 - 2020 годы

Этапы НИР

# Сроки Название
1 5 июня 2014 г.-31 декабря 2014 г. Выбор направления исследований
Результаты этапа: Выполнен аналитический обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему. Данный обзор включает анализ существующих исследований по 8 различным направлениям и показывает, что, несмотря, на актуальность и наличие большого количества работ по рассматриваемой проблеме, на данный момент не существует общего подхода к ее решению. Проведены патентные исследования, которые показали, что исследуемый объект «Способ обеспечения эффективности суперкомпьютерных центров» обладает патентной чистотой. Регламент оценки патентной чистоты выполнен в соответствии с задачами патентных исследований в объеме тематического задания. Полученные результаты удовлетворяют поставленным требованиям в рамках задач патентных исследований. Разработаны следующие методики оценок: 1) объемов и вариабельности данных о состоянии компонентов суперкомпьютера и их общего объема; 2) объема и частоты съема данных, необходимых для обеспечения бесперебойного функционирования суперкомпьютера; 3) объема данных о структуре потока программ, исполняющихся на суперкомпьютере, и структуры этих данных; 4) свойств различных способов хранения данных с точки зрения их пригодности для хранения необходимых объемов данных и их выборки для последующей обработки. По разработанным методикам выполнены соответствующие оценки, отражающие общий объем данных, которые необходимо собирать и анализировать для получения детальной информации о состоянии современных суперкомпьютеров. Также выполнены теоретические оценки необходимого объема хранимых данных для анализа эффективности работы реальных приложений пользователей. Данные оценки показывают практическую возможность решения поставленных в рамках проекта задач. Разработана архитектура прототипа программной системы обеспечения эффективности функционирования суперкомпьютерных центров и определен набор его компонентов. В предложенной архитектуре прототип состоит из 4 связанных логических блоков, каждый из которых включает несколько компонентов, зачастую также связанных между собой. Предлагаемый многокомпонентный подход реализации прототипа позволит при необходимости достаточно легко наращивать функциональность, а также добавлять новые или совершенствовать существующие компоненты.
2 1 января 2015 г.-30 июня 2015 г. Теоретические исследования поставленных перед ПНИ задач (1 очереди)
Результаты этапа: Разработана базовая функциональность компонентов прототипа программной системы обеспечения эффективности функционирования суперкомпьютерных центров. Для всех компонент приведено описание текущего состояния реализации и планируемых направлений дальнейшей разработки, а также описание предполагаемой взаимосвязи компонент между собой. Разработаны прототипы двух компонент в составе общего прототипа: 1) прототип программных средств для определения ключевых характеристик эффективности работы реальных приложений пользователей: использования CPU, оперативной памяти, коммуникационной сети и ввода-вывода; и 2) прототип программных средств для получения данных о структуре потока программ, исполняющихся на суперкомпьютере. Разработаны различные методы, которые на следующих этапах будут применены для реализации прототипов компонент блока обеспечения надежности и работоспособности, входящего в состав общего прототипа: - методы формального описания программных моделей функционирования суперкомпьютерных комплексов; - методы построения, анализа и оптимизации программных моделей функционирования суперкомпьютерных комплексов; - механизмы распространения нештатных ситуаций; - методы верификации программных моделей функционирования суперкомпьютерных комплексов; - методы описания нештатных ситуаций; - методы анализа данных о нештатных ситуациях. Определен набор динамических характеристик работы суперкомпьютера, которые влияют на эффективность его работы, а также набор метрик эффективности работы суперкомпьютера в целом и его компонентов. На основе данных наборов на последующих этапах будут реализованы компоненты общего прототипа, связанные с различными аспектами эффективности работы суперкомпьютера. Разработаны требования к хранению данных о состоянии суперкомпьютеров и выполняющихся на них программ. На основе сформулированных требований предложена схема хранения данных, и указаны соображения по ее настройке в зависимости от параметров вычислительного комплекса, данные для которого будут сохраняться.
3 1 июля 2015 г.-31 декабря 2015 г. Теоретические исследования поставленных перед ПНИ задач (2 очереди)
Результаты этапа: На данном этапе разработаны все компоненты, входящие в состав общего прототипа обеспечения эффективности. В частности, разработаны подсистемы, отвечающие за мониторинг в рамках общего прототипа: - прототип программно-технических решений сбора данных набора датчиков группы 1, - прототип программно-технических решений сбора данных набора датчиков группы 2, - программная подсистема хранения данных о состоянии суперкомпьютеров и выполняющихся на них программ. Разработаны различные компоненты и методы, которые будут применяться в компонентах блока обеспечения надежности и работоспособности, входящего в состав общего прототипа: - прототип программных средств для автоматизированного построения программных моделей суперкомпьютерных комплексов, - методы визуализации программных моделей функционирования суперкомпьютерных комплексов, - методы самотестирования программных средств обеспечения бесперебойного функционирования и уменьшения времени простоя суперкомпьютеров, - программные средства анализа работоспособности компонентов суперкомпьютера, - программные средства для повышения надежности работы программных средств обеспечения бесперебойного функционирования и уменьшения времени простоя суперкомпьютеров, - пользовательский интерфейс программных средств обеспечения бесперебойного функционирования и уменьшения времени простоя суперкомпьютеров. Также разработаны программные подсистемы, предназначенные для представления пользователю полученных данных о состоянии отдельных приложений и всего суперкомпьютера: - программная подсистема визуализации графиков характеристик эффективности работы реальных приложений пользователей, - программная подсистема визуализации динамических характеристик работы суперкомпьютера, - программная подсистема визуализации структуры потока программ, исполняющихся на суперкомпьютере. Разработаны методы получения метрик эффективности работы суперкомпьютера в целом и его компонентов. Разработана программная документация в соответствии с требованиями ТЗ по всем отдельным компонентам и по всем прототипу в целом. Разработана программа и методики экспериментальных исследований прототипа программного комплекса системы обеспечения эффективности функционирования суперкомпьютерных центров.
4 1 января 2016 г.-30 июня 2016 г. Экспериментальные исследования поставленных перед ПНИ задач
Результаты этапа: На данном этапе завершена программная разработка общего прототипа обеспечения эффективности. В частности, была выполнена интеграция разработанных компонентов и проведена реализация общего прототипа программного комплекса системы обеспечения эффективности функционирования суперкомпьютерных центров. Также на примере суперкомпьютера «Ломоносов» была продемонстрирована возможность применения разработанного прототипа в суперкомпьютерных центрах, предоставляющих доступ к системам петафлопсного уровня производительности. Также была выполнена разработка независимого банка типичных нештатных ситуаций, который предназначен для облегчения процесса создания модели суперкомпьютера при применении разработанного прототипа на новыхвычислительных системах. Были успешно проведены экспериментальные исследования прототипа программного комплекса системы обеспечения эффективности функционирования суперкомпьютерных центров. Данные исследования показали, что разработанный общий прототип полностью удовлетворяет всем требованиям технического задания и календарного плана и обеспечивает всю требуемую функциональность на реальных суперкомпьютерных системах петафлопсного уровня производительности. В результате проведенных исследований был составлен ряд рекомендаций, которые позволяют дополнительно расширить функциональность прототипа, повысить удобство его применения и оптимизировать процесс его работы. По результатам экспериментальных исследований (согласно предложенным рекомендациям и выполненным на их основе доработкам) была проведена корректировка программной документации на прототип программной системы обеспечения эффективности функционирования суперкомпьютерных центров.
5 1 июля 2016 г.-31 декабря 2016 г. Обобщение и оценка результатов исследований
Результаты этапа: На данном этапе выполнены следующие работы. Разработаны следующие методики оценок: 1) объемов данных, циркулирующих и обрабатываемых разработанным прототипом программной системы обеспечения эффективности функционирования суперкомпьютерных центров в зависимости от масштабов обслуживаемых суперкомпьютеров, включая перспективные установки; 2) пригодности задействованных в разработанном прототипе программной системы обеспечения эффективности функционирования суперкомпьютерных центров подходов на пригодность к использованию в суперкомпьютерных центрах будущего. По разработанным методикам выполнены соответствующие оценки, которые показывают применимость предложенных решений на современных и будущих суперкомпьютерах. Проведено обобщение полученных результатов, а также разработаны рекомендации по практическому применению и коммерциализации результатов ПНИ. В рамках обобщения полученных результатов также проведена оценка научно-технического уровня полученных результатов в сравнении с лучшими достижениями в данной области. Разработан проект технического задания на проведение ОКР по теме «Разработка программного комплекса, предназначенного для обеспечения эффективности суперкомпьютерных центров на основе технологий обработки больших объемов данных и экстремальных вычислений».

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".