На семинаре Института вычислительных технологий СО РАН «Информационные технологии» старший научный сотрудник лаборатории аэрокосмического мониторинга и обработки данных к.ф.-м.н. Елена Александровна Мамаш представила доклад на тему «Системы сбора, хранения и обработки спутниковых данных: современное состояние, перспективы развития и применение в решении задач обработки данных и мониторинга окружающей среды»

В современном мире сложно себе представить жизнь без использования спутниковых систем и спутниковой информации. Спутниковые снимки стали неотъемлемой частью многих программ и сервисов, которыми мы пользуемся ежедневно на наших смартфонах, планшетах, ноутбуках и персональных компьютерах, иногда даже не замечая этого. Но визуальная оценка территорий земной поверхности это всего лишь одна и небольшая часть тех возможностей, которые могут быть реализованы с использованием спутниковых данных. Оценка климатических изменений как в региональных, так и в глобальных масштабах, ежедневный прогноз погоды, анализ экологической обстановки и социально экономического развития регионов – все это, и еще многое другое стало более эффективным и достоверным с появлением архивной и оперативной информации, получаемой приемными станциями с космических аппаратов. Объемы этой информации растут с каждым годом, вместе с тем возникают новые, а также растут и развиваются уже существующие системы сбора, хранения и обработки спутниковых данных. К наиболее известным из таких систем в настоящее время можно отнести следующие российские и зарубежные системы:

• Google Earth Engine
• Вега–Science (Институт космических исследований РАН)
• Giovanni (NASA – национальное космическое агентство США)
• TELEIOS (европейский проект)
• Open Data Cube (Geoscience Australia – ведущая организация по науке о Земле в государственном секторе Австралии, USGS – геологическая служба США и др.)
• ИССД СО РАН (Информационная система спутниковых данных СО РАН, Институт вычислительных технологий СО РАН)

Остановимся на каждой из них подробнее.

Google Earth Engine – информационная система для совместной работы с данными в науках о Земле (геофизика, геология, климатология, картография, почвоведение и др.), разрабатывается в рамках проекта компании Google. Система имеет большой распределенный архив данных с различных зарубежных космических аппаратов (спутники Terra/Aqua, Suomi NPP, Landsat, NOAA, Sentinel и др.), а также содержит другую пространственную информацию, необходимую для решения ряда задач мониторинга окружающей среды. Данные, допускающие единообразную обработку, организуются в коллекции. Вычисления производятся в режиме «online», пользователь имеет возможность самостоятельно создавать программы на языке JavaScript или Python. Для наиболее часто решаемых задач представлен набор готовых скриптов, которые облегчают понимание основных принципов работы системы и позволяют быстро реализовывать стандартные алгоритмы для решения своих задач. Интерфейс пользователя Google Earth Engine представлен на рис. 1.

Рис. 1. Интерфейс пользователя системы Google Earth Engine.

Система Вега-Science действует в рамках центра коллективного пользования «ИКИ-Мониторинг» Института космических исследований РАН, обеспечивает доступ пользователей к данным архивов спутниковой и другой пространственной информации на базе картографического интерфейса. Кроме возможности использования ресурса как источника для работы с набором данных, полученных с зарубежных и отечественных космических аппаратов, пользователю предоставляется набор готовых решений и алгоритмов в области задач сельского хозяйства, анализа растительного покрова, мониторинга пожарной обстановки. Представлен достаточно широкий спектр ГИС инструментов (инструменты работы с геоинформационными системами) для работы с картами. Также в этом сервисе пользователям предоставляется доступ к разнообразным готовым отчетным формам, графикам и гистограммам, содержащим количественную информацию, полученную на основе анализа и обработки спутниковых данных, а также необходимых данных из других источников. Хотя возможность написания собственных программ на базе этого ресурса отсутствует, при взаимодействии с разработчиками системы возможно встраивание новых алгоритмов и решений. Образец картографического интерфейса системы Вега-Science приведен на рис. 2.

Рис. 2. Пример сервиса системы «Вега-Science».

Система Giovanni (рис. 3) разработана для поддержки исследований, выполняемых с помощью данных из распределенных архивов Центра космических полетов имени Годдарда (NASA). Система предоставляет ученым, в первую очередь, геофизикам, готовые инструменты для изучения природных процессов и явлений с помощью данных дистанционного зондирования. Нацеленная, в основном, на исследования глобальных климатических процессов, она содержит в архиве данные среднего и низкого пространственного разрешения. Перечень доступных преобразований сводится к заранее определенному набору сценариев и алгоритмов. Пользователь имеет возможность выбрать сценарий, задать параметры обработки и получить результат в виде файла данных или визуализации на основе картографического интерфейса. Преимуществом является возможность анализа временных рядов выбранных пользователем серий данных с последующим построением соответствующих карт, графиков и диаграмм.

Рис. 3. Система Giovanni: список данных и выбор сценария.

Проект TELEIOS нацелен на создание инфраструктуры виртуальной обсерватории для данных зондирования Земли. Представляет собой набор картографических сервисов для работы не только со спутниковыми данными, но и со статистической информацией. Очень удобным и наглядным является сервис обнаружения пожаров по данным спутника Landsat (рис. 4). Некогда очень популярный ресурс, в настоящее время он утрачивает свою актуальность, в ряде сервисов данные не обновлялись с 2013 года.

Рис. 4. Картографический интерфейс TELEIOS: лесные пожары по данным Landsat.

Open Data Cube – проект с открытым исходным кодом для доступа, управления и анализа больших объемов пространственных данных, не только спутниковых. Он лег в основу ряда международных решений при построении архитектуры данных регионального и национального масштаба, таких как Digital Earth Australia, Africa Regional Cube и других. Для работы в системе необходима установка на персональном компьютере, либо на сервере пакета сопутствующих программ: Python, GDAL, PostgreSQL. Работа с проектом протекает на трех уровнях: хранение, реализация алгоритмов, интерфейс пользователя (рис. 5). Данные хранятся в особых форматах и должны пройти процедуру загрузки в Open Data Cube. Для работы с данными отечественных спутниковых систем нужно обеспечить их точную геопривязку и радиометрическую коррекцию. Возможно решение задач и реализация алгоритмов без использования пользовательского интерфейса, в среде Python.

Рис. 5. Интерфейс пользователя Open Data Cube.

Начиная с 2007 года, в ИВТ СО РАН функционирует информационно-вычислительная инфраструктура приема, обработки и анализа больших объемов спутниковых данных и другой пространственной информации (ИССД СО РАН). Данные поступают в систему в рамках многолетнего сотрудничества с Сибирским центром НИЦ «Планета». В базе данных ИВТ СО РАН в настоящее время представлены данные как с зарубежных, так и с отечественных космических аппаратов: SPOT, MODIS, Landsat, Метеор, Ресурс-П, Канопус-В. Преимуществом системы является то, что данные поступают оперативно, опережая получение данных NASA на 4 часа, что может быть критически важным фактором при мониторинге чрезвычайных ситуаций, например, лесных пожаров. Визуализация данных реализуется на основе сервиса Google Earth (Рис. 6). Система послужила основой для решения ряда научных прикладных задач, поставленных перед ИВТ СО РАН, в основном связанных с анализом временных серий данных, а именно термальных аномалий и температурных режимов поверхности.

• Реализовано приложение, обеспечивающее интерактивное отображение картосхемы плотности термоточек (центроидов пикселей, в которых средняя яркостная температура значительно превышает нормальный для соответствующей местности уровень) по данным сенсора MODIS (спутники Terra/Aqua) за произвольный период времени. Результаты исследования могут быть использованы для последующей оценки и моделирования пожарной ситуации на территории страны.
• Предложен метод выявления постоянных промышленных источников тепла, позволяющий с высокой точностью определить истинную координату установки.
• Для территории юга Сибири построены картосхемы распределения областей с повышенными значениями (аномалиями) температур поверхности Земли, для которых можно установить соответствие между выявленными областями и отдельными формами рельефа либо геологическими структурами.
• По данным сенсора MODIS исследовано температурное поле почв Среднесибирского трансекта и плоскогорья Укок, как ведущего фактора в изучении структурно-функциональной организации почвенного покрова.
• На основе серии данных, полученных с космического аппарата Landsat 8, выполнена оценка распределения температуры земной поверхности Новосибирска, Томска, Красноярска, Барнаула, Кемерово, Иркутска. Исследована связь выявленных тепловых аномалий с типом городской застройки.

При создании ИССД СО РАН предложен и реализован подход к работе с архивом пространственных данных, который позволяет выполнять произвольные SQL-запросы к данным файлового архива. Также возможно использование такого популярного среди научных работников интерактивного инструмента для совместной работы с данными, как iPython Notebook Server, основанного на языке программирования Python.

Рис. 6. Иллюстрация данных с сайта ИССД СО РАН, http://sdc.ict.nsc.ru

Таким образом, существующие системы сбора, хранения и обработки данных имеют свои преимущества и недостатки. Все эти системы можно охарактеризовать по параметрам, включающим в себя: организацию системы хранения, объем и типы данных архива, организацию доступа к данным и скорость выполнения запросов, наличие удобного пользовательского интерфейса, готовых программных решений, гибкость системы (возможность написания пользователем собственных программ и алгоритмов). Принимая решение об использовании того или иного ресурса необходимо учитывать все эти факторы, исходя из того, какие необходимо решать задачи и какими навыками обладает пользователь. Все эти системы требуют определенных знаний в области обработки данных дистанционного зондирования и геоинформационных систем, а в ряде случаев и навыков программирования. Поэтому остаются открытыми вопросы об использовании подобных сервисов специалистами в области наук о Земле и сельскохозяйственных наук, которые и являются главными постановщиками задач в области мониторинга окружающей среды, и об организации удобных сервисов или схем взаимодействия между специалистами различной квалификации.