Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментахНИР

Development and study of distributed computing systems for data processing and analysis in physical experements

Источник финансирования НИР

госбюджет, раздел 0110 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2015 г.-31 декабря 2015 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: В отчетном периоде основные работы работы были связаны с развитием распределенных информационно-вычислительных систем (РИВС). РИВС позволяют объединить в единую среду различные ресурсы такие как базы данных, суперкомпьютеры и кластеры, средства взаимодействия с пользователями. Вместе это создает предпосылки для эффективной обработки все возрастающих потоков информации — больших данных - с реальных физических установок. Конкретная задача, которая решалась в рамках указанного темы, - изучение организации взаимодействия различных веб-сервисов, которые являются основой для построения РИВС, разработки веб-сервисов и протоколов обмена запросами между ними, создание методик проектирования РИВС в целях достижения наиболее эффективных распределенных сред для обработки, анализа и моделирования потоков Больших данных. В ходе работ были получены следующие результаты: а) разработаны новые подходы к построению инфраструктуры безопасности РИВС с использованием сессионных ключей и хешей, для обеспечения безопасного взаимодействия веб-сервисов РИВС. б) обеспечена поддержка и обслуживание Tier2 ресурсного грид-центра всемирной сети обработки и анализа данных с Болшого адронного коллайдера. в) обеспечено надежное хранение, обработка и анализ данных с эксперимента CMS Большого адронного коллайдера.
2 1 января 2016 г.-31 декабря 2016 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: Разработана и развита технология распределенной обработки и анализа больших данных (Big Data) с использованием облачных технологий и грида для высокопроизводительных приложений в естественных науках. Проведена поддержка и обслуживание Tier2 ресурсного грид-центра всемирной сети обработки и анализа данных с Болшого адронного коллайдера. Обеспечено хранение, обработка и анализ данных с эксперимента TUNKA|TAIGA. Проведен анализ направлений развития современных методов унифицированного запуска прикладного ПО в области естественных наук для высокопроизводительных вычислений. С использованием веб-технологий. Обеспечена доступность ресурсного грид-центра на уровне не менее, чем 85%. Обеспечено хранение и доступ к данным по физике гамма астрономии.
3 1 января 2017 г.-31 декабря 2017 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: Была продолжена работа по развитию центра хранения и обработки данных эксперимента ТАЙГА (TAIGA - Tunka Advanced Instrument for Cosmic Ray and Gamma Astronomy), нацеленного на изучение гамма-излучения сверхвысоких энергий. Для повышения безопасности работы разработан набор инструментов для управления контейнерной виртуализацией на удаленных ресурсах. Помимо этого осуществлялась поддержка пользователей, администрирование вычислительных ресурсов и ресурсов хранения данных ресурсного центра уровня Tier-3 грид-инфраструктуры WLCG для участия в проведении моделирования событий в физике тяжелых мезонов для эксперимента LHCb, а также для хранения, обработки и анализа данных с эксперимента CMS Большого адронного коллайдера (ЦЕРН, Женева, Швейцария). В результате проведенных работ пользователи распределенной информационно вычислительной системы НИИЯФ МГУ имеют возможность наиболее удобным образом использовать в режиме удаленного доступа высокопроизводительные вычислительные ресурсы и ресурсы хранения данных для повышения эффективности своей работы. Основные результаты доложены на конференциях и опубликованы следующие работы: International Conference on Computer Simulation in Physics and beyond, Москва, Россия, 9-12 октября 2017. Доклад: Docker Container Manager: A Simple Toolkit for Isolated Work with Shared Computational, Storage, and Network Resources (Устный). Авторы: Stanislav Polyakov, Alexander Kryukov, Andrey Demichev International Conference “Mathematical Modeling and Computational Physics, 2017” (MMCP2017), Дубна, ОИЯИ, Россия, 3-7 июля 2017. Доклад: Web Platform for Sharing Modeling Software in the Field of Nonlinear Optics (Устный). Авторы: Dubenskaya J., Kryukov A., Demichev A. S.P.Polyakov, A.P.Kryukov and A.P.Demichev, YASTD: A Simple Set of CLI Tools to Manage Docker Containers, CEUR Workshop Proceedings 1787 (2017) 557-560 S.P.Polyakov, A.P.Kryukov and A.P.Demichev, Docker Container Manager: A Simple Toolkit for Isolated Work with Shared Computational, Storage, and Network Resources, Journal of Physics: Conference Series (2017) (принято в печать) Web Platform for Sharing Modeling Software in the Field of Nonlinear Optics (Устный). Авторы: Dubenskaya J., Kryukov A., Demichev A. In Proc. Of International Conference “Mathematical Modeling and Computational Physics, 2017” (MMCP2017), European Physics Journal: Web of Conferences (2018), to be published. Получено 5 свидетельств о регистрации ПО. По результатам исследований были получены следующие результаты: 1. Развернуть центр обработки данных эксперимента ТАЙГА. 2. Обеспечена устойчивая работа Tier3 цента по анализу данных экспериментов LHC. 3. Продолжен анализ данных экспериментов CMS и LHCb на Tier3 центре НИИЯФ МГУ 4. Разработана веб-платформа для расчетов параметров нелинейно-оптических явлений.
4 1 января 2018 г.-31 декабря 2018 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа: В ходе выполнения работ по теме 6.2 были получены следующие основные результаты: 7. разработана архитектура распределенного хранилища данных для астрофизических экспериментов; 8. разработана программа идентификации типа частиц по данным черенковского телескопа эксперимента TAIGA методом машинного обучения; 9. разработан новый способ запуска задач МС моделирования событий в физических экспериментах на суперкомпьютерах с использованием контейнерной виртуализации; 10. предложен новый подход к решению проблемы управления распределенными хранилищами данных на основе метаданных, умных контрактов и блокчейн-технологии; 11. разработан алгоритм приведения тензорных выражений к канонической форме методом компьютерной алгебры; 12. разработаны программа приведения системы нелинейных ОДУ к нормальной форме. По результатам работ было сделано 7 докладов на российских и международных конференциях, опубликовано 5 работ в научных журналах, получено 2 свидетельства о регистрации программ.
5 1 января 2019 г.-31 декабря 2019 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа:
6 1 января 2020 г.-31 декабря 2020 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа:
7 1 января 2021 г.-31 декабря 2021 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа:
8 1 января 2022 г.-31 декабря 2022 г. Разработка и исследование распределенных информационно-вычислительных систем для обработки и анализа больших данных в физических экспериментах
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".