Использование современных сетей Хопфилда для обучения нейросетевых алгоритмов распознавания речи на неразмеченных данных
Семинар: Информационные технологии в задачах филологии и компьютерной лингвистики
Начало заседания: 17:30
Дата выступления: 4 Апрель 2023
Организация: НГУ (Новосибирск)
Авторы: Гребенкин Даниил Витальевич
В работе представлена гипотеза: использование «плотной» ассоциативной памяти вместо механизма внимания позволит сделать интегральную модель распознавания речи устойчивой к шумам, реверберационным эффектам и особенностям речи (диалектам, нарушениям произношения). Для проверки данной гипотезы создано две модели на основе нейросетевого алгоритма Wav2Vec2: c механизмом внимания (w2v2-classic-tiny) и с современными сетями Хопфилда (w2v2-hopfield-tiny). Результаты тестирования показали, что обученная на небольшом количестве данных модель со слоями «плотной» ассоциативной памяти имеет лучшее качество, чем модель со стандартной архитектурой. Полученные результаты интерпретированы с помощью анализа различных звуков, предсказанных моделью, с использованием UMAP-проекций и автоматического выравнивания.