Применение алгоритмов кластеризации и визуализации 3-х мерного аналитического пространства к задаче анализа задержек в вычислительном кластередипломная работа (Бакалавр)
Аннотация:В выпускной квалификационной работе рассматривается задача анализа задержек, возникающих при передаче данных в многопроцессорной вычислительной системе. Данная задача актуальна, в связи с необходимостью создавать параллельные программы эффективно использующие ресурсы кластерной вычислительной системы. Так же анализ задержек в коммуникационной среде важен системным администраторам, для автоматизированного поиска неисправностей и тонкой настройки системного программного обеспечения вычислительного кластера.
В работе предложено несколько алгоритмов. Предложен алгоритм кластеризации, который позволяет сглаживая выбросы существенно сократить объём хранимых данных о величинах задержек. Предложен алгоритм, который автоматически находит пороговые значения в данных, тем самым давая возможность определить реально использующиеся размеры сетевых пакетов и иногда границы размеров передаваемых данных, на которых происходит переполнение буферов в программном и аппаратном стеке. Программная реализация алгоритмов выполнена на языках программирования Python и C++. В работе проведен обзор форматов хранения и выбран формат хранения для хранения кластеризованных данных HDF5. Разработано средство визуализации пороговых значений в 3D кубе.