Показать сокращенную информацию
dc.contributor.author | Потапов, Вадим Петрович | ru_RU |
dc.contributor.author | Попов, Семен Евгеньевич | ru_RU |
dc.contributor.author | Костылев, Михаил Александрович | ru_RU |
dc.contributor.author | Potapov, Vadim Petrovich | en |
dc.contributor.author | Popov, Semen Evgenevich | en |
dc.contributor.author | Kostylev, Mihail Aleksandrovich | en |
dc.creator | Институт вычислительных технологий СО РАН | ru_RU |
dc.creator | Institute of Computational Technologies SB RAS | en |
dc.date.accessioned | 2017-02-15T12:49:13Z | |
dc.date.available | 2017-02-15T12:49:13Z | |
dc.date.issued | 2016-09 | |
dc.identifier.citation | Потапов В. П., Попов С. Е., Костылев М. А. Применение массово-параллельных технологий для организации потоковой обработки радарных данных // Вестн. Новосиб. гос. ун-та. Серия: Информационные технологии. 2016. Т. 14, № 3. С. 69–80. ISSN 1818-7900. | ru_RU |
dc.identifier.citation | Potapov V. P., Popov S. Е., Kostylev М. А. Application of Massively Parallel Systems to Organize Streaming Processing of Sar Data // Vestnik NSU Series: Information Technologies. - 2016. - Volume 14, Issue No 3. - P. 69-80. - ISSN 1818-7900. (in Russian). | en |
dc.identifier.issn | 1818-7900 | |
dc.identifier.uri | https://lib.nsu.ru/xmlui/handle/nsu/11569 | |
dc.description.abstract | Представлен современный подход к созданию распределенного программного комплекса на базе массовопараллельной технологии Apache Spark для потоковой пре- и постобработки радарных снимков. Отличительной особенностью системы является возможность работы в режиме реального времени с большими объемами потоковых данных, а также возможность применения существующих алгоритмов не предназначенных для распределенной обработки на множестве узлов без изменения реализации алгоритма. В работе приводится сравнение технологий распределенных вычислений, представлено общее описание кластера и механизма выполнения задач преи постпроцессинга радарных данных, также приведены особенности имплементации конкретных задач в рамках предложенного подхода. В заключении приведены результаты тестирования разработанных алгоритмов на демонстрационном кластере. | ru_RU |
dc.description.abstract | This article presents a modern approach of creating of distributed program complex based on mass-parallel technology Apache Spark for pre- and postprocessing of sar images. The unique feature of system is ability to work in real time mode with a huge amounts of streaming data and also ability to apply existed algorithms that are not used for distributed processing on multiple nodes without changing of algorithms implementation. There is a comparison of distributed processing technologies, the common description of cluster and mechanism of executing task of pre- and postprocessing sar images, also the features of exact tasks implementation in proposed approach are shown. In the conclusion there are the results of testing of developed algorithms on demonstration cluster. | en |
dc.language.iso | ru | ru_RU |
dc.publisher | Новосибирский государственный университет | ru_RU |
dc.subject | Apache Spark | ru_RU |
dc.subject | Apache Hadoop | ru_RU |
dc.subject | распределенные информационные системы | ru_RU |
dc.subject | радарная интерферометрия | ru_RU |
dc.subject | алгоритмы обработки | ru_RU |
dc.subject | Apache Spark | en |
dc.subject | Apache Hadoop | en |
dc.subject | distributed information systems | en |
dc.subject | sar interfometry | en |
dc.subject | processing algorithms | en |
dc.title | Применение массово-параллельных технологий для организации потоковой обработки радарных данных | ru_RU |
dc.title.alternative | Application of Massively Parallel Systems to Organize Streaming Processing of Sar Data | en |
dc.type | Article | ru_RU |
dc.description.reference | 1. Елизаветин И. В., Шувалов Р. И., Буш В. А. Принципы и методы радиолокационной съемки для целей формирования цифровой модели местности // Геодезия и картография. 2009. № 1. С. 39–45. 2. Ferretti A., Monti-Guarnieri A., Prati C., Rocca F., Massonnet D. InSAR Principles: Guidelines for SAR Interferometry Processing and Interpretation. ESA Publications. 2007. TM-19. 3. Zhengxiao Li, James Bethel. Image coregistration in sar interferometry // The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Vol. 37. Part B1. Beijing, 2008. Р. 433–438. 4. Massonnet D., Feigl K. L. Radar interferometry and its application to changes in the earth’s surface // Reviews of Geophysics. 1998. Vol. 36 (4). P. 441–500. 5. Costantini M., Farina A., Zirilli F. A fast phase unwrapping algorithm for SAR interferometry // IEEE Trans. GARS. 1999.Vol. 37. No. 1. P. 452–460. 6. Mistry P., Braganza S., Kaeli D., Leeser M. Accelerating phase unwrapping and affine transformations for optical quadrature microscopy using CUDA // Proc. of 2nd Workshop on General Purpose Processing on Graphics Processing Units, GPGPU 2009. Washington, DC, USA, 2009. 7. Karasev P. A., Campbell D. P., Richards M. A. Obtaining a 35x Speedup in 2D Phase Unwrapping Using Commodity Graphics Processors // Radar Conference. 2007 IEEE. P. 574–578. 8. Верба В. С., Неронский Л. Б., Осипов И. Г., Турук В. Э. Радиолокационные системы землеобзора космического базирования. М.: Радиотехника, 2010. 675 с. 9. Zhenhua Wu, Wenjing Ma, Guoping Long, Yucheng Li, Yucheng Li, Yucheng Li. High Performance Two-Dimensional Phase Unwrapping on GPUs // Proc. of the 11th ACM Conference on Computing Frontiers – CF '14. 2014. 10. Shi Xin-Liang, Xie Xiao-Chun. GPU acceleration of range alignment based on minimum entropy criterion // Radar Conference 2013, IET International. 14-16 April 2013. P. 1–4. 11. Guerriero A., Anelli1 V. W., Pagliara1 A., Nutricato R., Nitti D. O. High performance GPU implementation of InSAR time-consuming algorithm kernels // Proc. of the 1st Workshop on the State of the art and Challenges Of Research Efforts at POLIBA. 2014. p. 383 12. Fan Zhang, Bing-nan Wang, Mao-sheng Xiang. Accelerating InSAR raw data simulation on GPU using CUDA. Geoscience and Remote Sensing Symposium (IGARSS), 2010 IEEE International. 25–30 July 2010. P. 2932–2935. 13. Marinkovic, P. S., Hanssen, R. F., Kampes, B. M. Utilization of Parallelization Algorithms in InSAR/PS-InSAR Processing // Proceedings of the 2004 Envisat ERS Symposium (ESA SP572). 6–10 September 2004. P. 1–7 14. Gao Sheng, Zeng Qi-ming, Jiao Jian, Liang Cun-ren, Tong Qing-xi. Parallel processing of InSAR interferogram filtering with CUDA programming // Science of Surveying and Mapping. 2015. No. 1. P. 54–68. 15. Феоктистов А. А., Захаров А. И., Гусев М. А., Денисов П. В. Исследование возможностей метода малых базовых линий на примере модуля SBaS программного пакета SARScape и данных РСА ASAR/ENVISat и PALSAR/ALOS. Часть 1. Ключевые моменты метода // Журнал радиоэлектроники. 2015. № 9. С. 1–26. 16. Reyes-Ortiz J. L., Oneto L., Anguita D. Big Data Analytics in the Cloud: Spark on Hadoop vs MPI/OpenMP on Beowulf // INNS Conference on Big Data 2015 Program San Francisco. 8–10 August 2015. P. 121–130 17. Prakasam Kannan. Beyond Hadoop MapReduce Apache Tez and Apache Spark. San Jose State University. URL: http://www.sjsu.edu/people/robert.chun/courses/CS259Fall2013/s3/F.pdf (дата обращения 02.08.2016). 18. Потапов В. П., Попов С. Е. Высокопроизводительный алгоритм роста регионов для развертки интерферометрической фазы на базе технологии CUDA // Программная инженерия. 2016. № 2. C. 61–74. DOI: 10.17587/prin.7.61-74 | ru_RU |
dc.subject.udc | 004.042 | |
dc.relation.ispartofvolume | 14 | |
dc.relation.ispartofnumber | 3 | |
dc.relation.ispartofpages | 69-80 |