ИСТИНА

Целью проекта является разработка методов и средств построения информационной инфраструктуры – метаоблачной вычислительной среды (далее МОВС) – на основе федерации неоднородных облачных сред и установок высокопроизводительных вычислений (High Performance Computing, HPC) стран-участниц проекта, основанных на концепции Программно-конфигурируемых сетей (ПКС, SDN) и Виртуализации сетевых функций (ВСФ, NFV), и создание на их основе экспериментальной среды для проведения междисциплинарных научных исследований. Результаты ПНИ изложены в промежуточном отчёте по теме «Выбор и обоснование направления исследований. Теоретические исследования» по этапу 1, Рег. № ИКРБС АААА-Б20-220030790007-4 и промежуточном отчёте по теме «Теоретические исследования. Экспериментальные исследования» по этапу 2. Достижение поставленной цели позволит:  ускорить и облегчить создание информационной вычислительной инфраструктуры, ориентированной на поддержку специфики междисциплинарных проектов, обеспечить коллективное использование коллекций научных данных и научного оборудования;  сформировать реестр информационных инфраструктур проектов и предоставить возможность для их автоматизированного восстановления с целью подтверждения полученных в их ходе результатов, сбора дополнительных экспериментальных данных или же адаптации под нужды других проектов;  повысить эффективность и отдачу национальных инвестиций в инфраструктуру для научных исследований, в том числе дорогостоящих вычислительных ресурсов и лабораторного оборудования, за счет ее коллективного использования, применения техники виртуализации и автоматизации перераспределения имеющихся ресурсов;  расширить возможности для научного сотрудничества, в том числе международного. Современные междисциплинарные научные исследования проводятся силами нескольких научных коллективов, с использованием уникальных научных установок, и нуждаются в инфраструктуре информационных, вычислительных и коммуникационных ресурсов, адаптированных под специфику проекта. Создание такой инфраструктуры традиционным способом (локальный центр обработки данных или суперкомпьютер плюс программные средства коммуникации, специфичные для предметной области) вызывает ряд проблем:  Требуется привлечение значительных финансовых и материальных вложений – для каждого нового эксперимента нужна установка программного обеспечения (ПО) при помощи высококвалифицированных ИТ-специалистов.  Неэффективность коммуникаций между вычислительными установками, принадлежащими географически распределенным научным коллективам.  Снижение эффективности использования локальных вычислительных ресурсов из-за неэффективного планирования распределенных задач, использующих одновременно несколько вычислительных установок разных коллективов. Задача особенно усложняется, если в проект вовлечены независимые коллективы, которые часто имеют разные внутренние бизнес-процессы, специализируются на работе в разных предметных областях, обладают собственными предпочтениями в выборе аппаратного и программного обеспечения и находятся на существенном географическом расстоянии друг от друга. Разработчики инфраструктуры обычно закладывают мощности оборудования в расчете на пиковые нагрузки, что приводит к снижению как загрузки оборудования вне «часов пик», так и эффективности капиталовложений. Поскольку на этапе разработки требований к вычислительной инфраструктуре, необходимой для выполнения проекта, часть характеристик будущих расчётов зачастую известна лишь с некоторым приближением, то вычислительная сложность задач, как правило, переоценивается. Например, менее половины задач на высокопроизводительных системах действительно требуют вычислителей такого класса [1], а оставшиеся могут быть перенесены в ЦОД, стоимость использования которых значительно ниже. Много сложностей вызывает объединение и коллективное (распределенное) использование коллекций научных данных. Часто данные, которые необходимы для экспериментов одному коллективу, находятся во владении другого научного коллектива. Без специализированной системы/протокола взаимодействия между инфраструктурами коллективов такие эксперименты трудно осуществимы. Для решения описанных проблем в данном проекте предлагается создать облачную вычислительную среду на основе следующих принципов:  построение инфраструктуры в виде федерации локальных вычислительных установок, с возможностью передачи незадействованных ресурсов (процессорные мощности, память, сеть, программное обеспечение) под управление федерации;  виртуализация физических ресурсов, автоматизированное отображение виртуальных ресурсов на физические;  коллективное использование ресурсов федерации в рамках сразу нескольких проектов одновременно;  работа пользователя с ресурсами на уровне абстракции, которая не требовала бы квалификации системного администратора;  возможность сохранения результатов эксперимента и хода эксперимента для последующего воспроизведения, или передачи другим научным коллективам;  использование приложений для обработки научных данных как виртуального сервиса, с управлением и надлежащей поддержкой его жизненного цикла в соответствии с международными стандартами. Каждый федерат в составе федерации, в состав которого могут входить несколько вычислителей разной мощности, например, высокопроизводительный вычислительный кластер, ЦОД, суперкомпьютер, экспериментальная установка, ресурсы в облаке, в соответствии с заданной владельцем политикой доступа, предоставляет свои ресурсы для создания виртуальной инфраструктуры по запросу пользователя. Федерат может быть построен на основе имеющегося у организации оборудования, или же арендован у облачного провайдера. Таким образом, федерация – это форма управления, при которой несколько независимых организации, практикующих определенный вид деятельности, на определенной территории, согласны выделять свои ресурсы для достижения взаимно согласованной цели и согласных следовать (соблюдать) политику федерации при использовании ресурсов федерации. Гарантом соблюдения как правило является некоторый Совет федерации. Анализ имеющихся публикаций показывает, что основные направления теоретических исследований связаны со следующими проблемами построения федерации:  определение состава федерации, кто может выступать в качестве федерата;  определение топологии федерации, как федераты будут связаны между собой;  разработка принципов функционирования федерации в целом;  оркестрация ресурсов в рамках федерации в целом;  планирование ресурсов на уровне отдельного федерата и федерации в целом;  мониторинг состояния ресурсов федерации;  информационная безопасность;  методы аутентификации пользователей;  принципы проведения взаиморасчетов между федератами за предоставленные ресурсы (услуги) – клиринг. Целью данного этапа являлись: 1) Доработка оркестратора МОВС с целью улучшения качества распределения ресурсов федерации; 2) Апробация на реальных примерах; 3) Формирование отчуждаемого результата в виде заявки на патент. Для достижения целей были выполнены следующие задачи: 1) Разработан новый алгоритм планирования ресурсов федерации, который в процессе работы использует оценки времени выполнения MPI программ; 2) Данные оценки вычисляются одним из следующих алгоритмов: алгоритмом предсказания времени выполнения MPI задач в рамках одного федерата или алгоритмом предсказания времени выполнения MPI задач на заданной совокупности федератов. Новые алгоритмы позволили улучшить эффективность федерации по критерию минимизации времени нахождения MPI программы в вычислительной среде; 3) Проведена апробация МОВС на MPI программах из области биоинформатики, доступных на сайте ИППИ РАН; 4) Подана заявка на изобретение.