Аннотация доклада.
Перспективной сферой использования больших языковых моделей является статический анализ программного кода. В частности, такие модели могут использоваться для обнаружения и классификации различных типов уязвимостей. Одной из наиболее распространенных архитектур больших языковых моделей является архитектура Transformer. Модели на этой архитектуре показывают впечатляющие результаты в области генерации программного кода, а также во многих других сферах программной инженерии. Эффективность обучения во многом зависит от качества данных на которых происходит обучение. В связи с этим, одной из ключевых проблем при обучении нейросетевых моделей является недостаток качественных наборов данных. В докладе будут рассмотрены основные трудности и особенности тонкой настройки больших языковых моделей при использовании их для поиска уязвимостей, а также представлен формальный подход к описанию нейросетевых статических анализаторов.