Аннотация:Магистерская диссертация Думбая Алексея Дмитриевича посвящена проблеме, возникающих при генерации текстов, названной в одной из научных работ 2019 года «дегенерацией». Генерация текста осуществляется т.н. языковыми моделями и необходима в диалоговых системах, при суммаризации данных и в машинном переводе. Обычно языковые модели осуществляют генерацию последовательно «слово за словом», формируя для генерации следующего слова распределение на множестве слов. Как именно по распределению «сэмплируется» новое слово – один из вопросов, рассмотренных в работе.