Аннотация:В современном мире нововведения в сфере вычислений и вычислительной техники тре-
буют уже наличия более естественного интерфейса в интерактивных компьютерных систе-
мах, предназначенных для использования человеком. Человеко–компьютерное взаимодей-
ствие (HCI, human–computer interaction) — полидисциплинарное научное направление, су-
ществующее и развивающееся в целях совершенствования методов разработки, оценки и
внедрения интерактивных компьютерных систем, предназначенных для использования че-
ловеком, а также в целях исследования различных аспектов этого использования.
Основной задачей данной работы является создание программного комплекса для управ-
ления механическим объектом (управляемый робот) при помощи визуальных команд, счи-
тываемых датчиком в составе интерфейса человеко–машинного взаимодействия, визуальные
команды состоят из жестов правой руки, датчик регистрирует глубинное изображение. Глу-
бинным называется изображение, в котором значение каждого пикселя представляет собой
в условных единицах расстояние от камеры до соответствующего пикселю объекта. В дан-
ной работе датчик, регистрирующий глубинное изображение, также называется глубинной
камерой. Распознавание визуальных команд основано на классификации при помощи свёр-
точных нейронных сетей. Распознавание команд, выполняемых правой рукой, состоит из
двух подзадач: сегментация глубинного изображения для определения области руки, клас-
сификация вида жеста для определения вида посылаемого сигнала роботу. Полученные в
работе результаты приведены в разделах 3.1, 4.3, 4.4, 4.5. В качестве результатов отмечено
видео с примером использования разработанного программного комплекса. Максимальная
полученная точность классификации — 99%. По результатам проделанной работы был сделан
доклад на международной научной конференции студентов, аспирантов и молодых учёных
«Ломоносов-2018».