На сегодняшний день волоконно-оптические линии связи являются самыми эффективными решениями для передачи больших объемов данных на дальние расстояния. Разработка систем связи, основанных на многомодовых волокнах, рассматривается в качестве перспективного пути для увеличения пропускной способности, за счет одновременной передачи сигналов по разным модам волокна. Доклад посвящен математическому моделированию нелинейного распространения оптических сигналов в многомодовых линиях связи. Исследуется влияние нелинейных эффектов на качество передаваемой информации в зависимости от типа связи и количества распространяющихся мод. Предложена схема обработки оптических сигналов и компенсации нелинейных искажений в приемнике системы связи, основанная на динамических нейронных сетях.