Исследование магистранта НГУ поможет оценить показатель бедности в Замбии на основе космических снимков

В своей магистерской диссертации выпускник программы Big Data Analytics & Artificial Intelligence Механико-математического факультета Оуэн Сийото исследовал использование концепции переноса обучения и ридж-регрессии на спутниковых изображениях для прогнозирования бедности в Замбии. Магистрант смог оценить индекс благосостояния Замбии, используя данные опросов, спутниковые снимки и методы машинного обучения — и в итоге получил результаты, сопоставимые с аналогичными работами, выполненными в других странах.

— Идея проекта возникла потому, что я понял, что во многих развивающихся странах до сих пор бедность — одна из важнейших проблем. Например, в Замбии, откуда я родом, за чертой бедности живут 54,4% населения. Другая проблема состоит в том, что эти страны не могут собрать достоверную информацию о том, где именно находятся бедные люди. Сбор такой информации требует очень большого количества ресурсов — как времени, так и денег. Именно поэтому мы с моим научным руководителем начали исследовать использование технологий машинного обучения для оценки бедности, — рассказал об актуальности диссертации Оуэн Сийото.

В работе выпускник использовал концепцию переноса обучения, которая в последнее время набирает популярность при работе со спутниковыми изображениями Google как при дневном, так и при ночном освещении. При подготовке была задействована сверточная нейронная сеть (Convolutional Neural Network — CNN), предварительно обученная предсказывать благополучность района на основании интенсивности света на изображении. Кроме того, нейронная сеть позволяла определять типы зданий и дорог — выделять особенности богатых и бедных областей Замбии. При помощи этих данных другой алгоритм был обучен оценивать уровень бедности местности по определенным характеристикам.

— Работа была очень сложной, особенно в первый год, когда я приступал к проекту и не понимал многих методов. Долгое время я работал в команде с другими сокурсниками, которые помогали мне разобраться и реализовать методы в этом проекте, — рассказал Оуэн Сийото. — Это исследование решает реальную проблему, поэтому имеет высокую практическую ценность. Организация Объединенных Наций пытается решить проблему бедности, и для этого необходимо найти дешевый и достоверный способ сбора информации. Мое исследование раскрывает один из них, поскольку точность предсказания предложенного мной алгоритма очень высока.

При успешном применении переноса обучения и ридж-регрессии магистранту удалось не только оценить уровень благосостояния страны в целом, но и доказать, что предложенная им модель не была результатом статистической случайности. Кроме того, исследование предоставляет статистику, которую правительство и другие заинтересованные стороны могут использовать для решения проблемы бедности населения. Магистрант утверждает, что получить такие данные было бы почти невозможно на более низких административных уровнях из-за связанных с этим расходов, в то время как технологии машинного обучения делают данные доступными почти бесплатно.