ИСТИНА

Гипотеза о многообразии утверждает, что данные в многомерном пространстве на самом деле лежат в непосредственной близости от некоторого многообразия гораздо более низкой размерности. Во многих случаях эта гипотеза была проверена эмпирически и использовалась для улучшения процесса обучения. Здесь мы представляем новый подход к проверке гипотезы о многообразии и к оценке размерности такого многообразия. Для этого мы используем одновременно два разных метода — один геометрический, другой вероятностный, — и проверяем, дают ли они близкий результат. Наш геометрический метод является модификацией для разреженных данных известного алгоритма подсчета ячеек для размерности Минковского. Вероятностный метод является новым. Хотя он использует стандартное расстояние до ближайшего соседа, он отличается от методов, которые ранее использовались в таких ситуациях. Этот метод надежен, быстр и включает специальное предварительное преобразование данных. Эксперименты на реальных наборах данных показывают, что предложенный подход, основанный на сочетании двух методов, является мощным и эффективным.

Manifold hypothesis states that data points in high-dimensional space actually lie in close vicinity of a manifold of much lower dimension. In many cases this hypothesis was empirically verified and used to enhance unsupervised and semi-supervised learning. Here we present new approach to manifold hypothesis checking and underlying manifold dimension estimation. In order to do it we use two very different methods simultaneously - one geometric, another probabilistic - and check whether they give the same result. Our geometrical method is a modification for sparse data of a well-known box-counting algorithm for Minkowski dimension calculation. The probabilistic method is new. Although it exploits standard nearest neighborhood distance, it is different from methods which were previously used in such situations. This method is robust, fast and includes special preliminary data transformation. Experiments on real datasets show that the suggested approach based on two methods combination is powerful and effective.