Использование технологий реляционных баз данных для обработки спутниковых снимков
Семинар: Информационно-вычислительные технологии в задачах поддержки принятия решений
Начало заседания: 11:00
Дата выступления: 5 Ноябрь 2013
Организация: НГУ
Авторы: Владимир Кихтенко
В докладе описывается новая технология обеспечения доступа и обработки для накопленных архивов геоданных, в частности спутниковых снимков. Предлагается представить данные в виде виртуальных реляционных таблиц унифицированного формата, а алгоритмы в виде наборов SQL-запросов. Предлагаемое представление позволяет применить достижения в области реляционных баз данных в обработке геоданных в том числе: автоматическое распараллеливание на несколько процессорных ядер или узлов кластера, выполнение обработки с учетом физического расположения данных, высокоуровневые оптимизации порядка выполнения, а также оптимизация использования сетевых ресурсов. За счет унификации модели представления становится возможной бесшовная интеграция разнородных данных в рамках одного программного средства. Например, использование данных, полученных с различных инструментальных платформ и имеющих различное пространственное и временное разрешение. Кроме того, программная реализация алгоритмов упрощается, так как исследователю не нужно вникать в особенности различных форматов данных. Экспериментальная реализация этого подхода, разработанная в ИВТ СО РАН, основана на СУБД PostgreSQL с пространственными расширениями PostGIS. Она ориентирована на высокопроизводительную статистическую обработку длинных временных серий измерений, получаемых из 100 Тб архива спутниковых снимков MODIS и их производных продуктов в формате HDF. Ключевой особенностью реализации является использование технологии Foreign Data Wrappers, что позволяет распаковывать данные из архива на лету, без необходимости предварительного преобразования и хранения копии данных.