Нейронные языковые модели успешно применяются в задачах обработки естественного языка, однако с увеличением числа параметров улучшение качества работы модели в зависимости от масштабирования значительно замедляется. В докладе выдвигается гипотеза: сети Хопфилда могут лучше моделировать ассоциативную память, чем нейронные сети прямого распространения. Для проверки предположения проводится сравнение двух BERT-подобных языковых моделей: исходной и модифицированной сети Хопфилда. Предлагается ряд оптимизаций, которые могут быть применены к ряду других нейронных языковых моделей.