ИСТИНА

Нейронными схемами с функцией активации Хевисайда реализуются кусочно-параллельные функции (PP). Верно утверждение, что любая функция из класса PP реализуется схемой нелинейной глубины не более двух. То есть минимальная глубина нейронной сети не превосходит двух слоёв. В докладе рассматриваются нейронные схемы с функцией активации ReLU=max(0,x). Очевидно, что функции, реализуемые нейронными сетями прямого распространения с функцией активации ReLU будут принадлежать классу CPL – непрерывных кусочно-линейных функций. Докладчиками показано, что в данном случае для любого числа слоёв, существуют нейронные сети, глубину которых понизить не удастся.