DSpace Repository

Применение массово-параллельных технологий для организации потоковой обработки радарных данных

Show simple item record

dc.contributor.author Потапов, Вадим Петрович ru_RU
dc.contributor.author Попов, Семен Евгеньевич ru_RU
dc.contributor.author Костылев, Михаил Александрович ru_RU
dc.contributor.author Potapov, Vadim Petrovich en
dc.contributor.author Popov, Semen Evgenevich en
dc.contributor.author Kostylev, Mihail Aleksandrovich en
dc.creator Институт вычислительных технологий СО РАН ru_RU
dc.creator Institute of Computational Technologies SB RAS en
dc.date.accessioned 2017-02-15T12:49:13Z
dc.date.available 2017-02-15T12:49:13Z
dc.date.issued 2016-09
dc.identifier.citation Потапов В. П., Попов С. Е., Костылев М. А. Применение массово-параллельных технологий для организации потоковой обработки радарных данных // Вестн. Новосиб. гос. ун-та. Серия: Информационные технологии. 2016. Т. 14, № 3. С. 69–80. ISSN 1818-7900. ru_RU
dc.identifier.citation Potapov V. P., Popov S. Е., Kostylev М. А. Application of Massively Parallel Systems to Organize Streaming Processing of Sar Data // Vestnik NSU Series: Information Technologies. - 2016. - Volume 14, Issue No 3. - P. 69-80. - ISSN 1818-7900. (in Russian). en
dc.identifier.issn 1818-7900
dc.identifier.uri https://lib.nsu.ru/xmlui/handle/nsu/11569
dc.description.abstract Представлен современный подход к созданию распределенного программного комплекса на базе массовопараллельной технологии Apache Spark для потоковой пре- и постобработки радарных снимков. Отличительной особенностью системы является возможность работы в режиме реального времени с большими объемами потоковых данных, а также возможность применения существующих алгоритмов не предназначенных для распределенной обработки на множестве узлов без изменения реализации алгоритма. В работе приводится сравнение технологий распределенных вычислений, представлено общее описание кластера и механизма выполнения задач преи постпроцессинга радарных данных, также приведены особенности имплементации конкретных задач в рамках предложенного подхода. В заключении приведены результаты тестирования разработанных алгоритмов на демонстрационном кластере. ru_RU
dc.description.abstract This article presents a modern approach of creating of distributed program complex based on mass-parallel technology Apache Spark for pre- and postprocessing of sar images. The unique feature of system is ability to work in real time mode with a huge amounts of streaming data and also ability to apply existed algorithms that are not used for distributed processing on multiple nodes without changing of algorithms implementation. There is a comparison of distributed processing technologies, the common description of cluster and mechanism of executing task of pre- and postprocessing sar images, also the features of exact tasks implementation in proposed approach are shown. In the conclusion there are the results of testing of developed algorithms on demonstration cluster. en
dc.language.iso ru ru_RU
dc.publisher Новосибирский государственный университет ru_RU
dc.subject Apache Spark ru_RU
dc.subject Apache Hadoop ru_RU
dc.subject распределенные информационные системы ru_RU
dc.subject радарная интерферометрия ru_RU
dc.subject алгоритмы обработки ru_RU
dc.subject Apache Spark en
dc.subject Apache Hadoop en
dc.subject distributed information systems en
dc.subject sar interfometry en
dc.subject processing algorithms en
dc.title Применение массово-параллельных технологий для организации потоковой обработки радарных данных ru_RU
dc.title.alternative Application of Massively Parallel Systems to Organize Streaming Processing of Sar Data en
dc.type Article ru_RU
dc.description.reference 1. Елизаветин И. В., Шувалов Р. И., Буш В. А. Принципы и методы радиолокационной съемки для целей формирования цифровой модели местности // Геодезия и картография. 2009. № 1. С. 39–45. 2. Ferretti A., Monti-Guarnieri A., Prati C., Rocca F., Massonnet D. InSAR Principles: Guidelines for SAR Interferometry Processing and Interpretation. ESA Publications. 2007. TM-19. 3. Zhengxiao Li, James Bethel. Image coregistration in sar interferometry // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Vol. 37. Part B1. Beijing, 2008. Р. 433–438. 4. Massonnet D., Feigl K. L. Radar interferometry and its application to changes in the earth’s surface // Reviews of Geophysics. 1998. Vol. 36 (4). P. 441–500. 5. Costantini M., Farina A., Zirilli F. A fast phase unwrapping algorithm for SAR interferometry // IEEE Trans. GARS. 1999.Vol. 37. No. 1. P. 452–460. 6. Mistry P., Braganza S., Kaeli D., Leeser M. Accelerating phase unwrapping and affine transformations for optical quadrature microscopy using CUDA // Proc. of 2nd Workshop on General Purpose Processing on Graphics Processing Units, GPGPU 2009. Washington, DC, USA, 2009. 7. Karasev P. A., Campbell D. P., Richards M. A. Obtaining a 35x Speedup in 2D Phase Unwrapping Using Commodity Graphics Processors // Radar Conference. 2007 IEEE. P. 574–578. 8. Верба В. С., Неронский Л. Б., Осипов И. Г., Турук В. Э. Радиолокационные системы землеобзора космического базирования. М.: Радиотехника, 2010. 675 с. 9. Zhenhua Wu, Wenjing Ma, Guoping Long, Yucheng Li, Yucheng Li, Yucheng Li. High Performance Two-Dimensional Phase Unwrapping on GPUs // Proc. of the 11th ACM Conference on Computing Frontiers – CF '14. 2014. 10. Shi Xin-Liang, Xie Xiao-Chun. GPU acceleration of range alignment based on minimum entropy criterion // Radar Conference 2013, IET International. 14-16 April 2013. P. 1–4. 11. Guerriero A., Anelli1 V. W., Pagliara1 A., Nutricato R., Nitti D. O. High performance GPU implementation of InSAR time-consuming algorithm kernels // Proc. of the 1st Workshop on the State of the art and Challenges Of Research Efforts at POLIBA. 2014. p. 383 12. Fan Zhang, Bing-nan Wang, Mao-sheng Xiang. Accelerating InSAR raw data simulation on GPU using CUDA. Geoscience and Remote Sensing Symposium (IGARSS), 2010 IEEE International. 25–30 July 2010. P. 2932–2935. 13. Marinkovic, P. S., Hanssen, R. F., Kampes, B. M. Utilization of Parallelization Algorithms in InSAR/PS-InSAR Processing // Proceedings of the 2004 Envisat ERS Symposium (ESA SP572). 6–10 September 2004. P. 1–7 14. Gao Sheng, Zeng Qi-ming, Jiao Jian, Liang Cun-ren, Tong Qing-xi. Parallel processing of InSAR interferogram filtering with CUDA programming // Science of Surveying and Mapping. 2015. No. 1. P. 54–68. 15. Феоктистов А. А., Захаров А. И., Гусев М. А., Денисов П. В. Исследование возможностей метода малых базовых линий на примере модуля SBaS программного пакета SARScape и данных РСА ASAR/ENVISat и PALSAR/ALOS. Часть 1. Ключевые моменты метода // Журнал радиоэлектроники. 2015. № 9. С. 1–26. 16. Reyes-Ortiz J. L., Oneto L., Anguita D. Big Data Analytics in the Cloud: Spark on Hadoop vs MPI/OpenMP on Beowulf // INNS Conference on Big Data 2015 Program San Francisco. 8–10 August 2015. P. 121–130 17. Prakasam Kannan. Beyond Hadoop MapReduce Apache Tez and Apache Spark. San Jose State University. URL: http://www.sjsu.edu/people/robert.chun/courses/CS259Fall2013/s3/F.pdf (дата обращения 02.08.2016). 18. Потапов В. П., Попов С. Е. Высокопроизводительный алгоритм роста регионов для развертки интерферометрической фазы на базе технологии CUDA // Программная инженерия. 2016. № 2. C. 61–74. DOI: 10.17587/prin.7.61-74 ru_RU
dc.subject.udc 004.042
dc.relation.ispartofvolume 14
dc.relation.ispartofnumber 3
dc.relation.ispartofpages 69-80


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Advanced Search

Browse

My Account