2. НГУ
3. Центр искусственного интеллекта
4. Публикации
5. Институт интеллектуальной робототехники и работа в интересах индустриальных партнеров

Институт интеллектуальной робототехники (ИИР) Новосибирского государственного университета – самое молодое образовательное подразделение НГУ, реализующее направление бакалавриата 15.03.06 «Мехатроника и робототехника. Искусственный интеллект». Первый набор студентов (35 бюджет, 3 платно) прошел в 2020 году, первый выпуск – 13 студентов по совместной программе с СВЭУ (Китай, Пекин) состоялся в 2023 году. Институт создавался как ответ на необходимость обеспечить технологический суверенитет в области машинного обучения и искусственного интеллекта за счет подготовки специалистов, способных разрабатывать и внедрять в производство соответствующие технологические решения.

В последние годы на самых разных уровнях неоднократно озвучивалась задача, стоящая перед образовательной системой: обеспечить запросы по подготовке кадров, возникающие со стороны отечественной промышленности. Однако важно не просто удовлетворять текущие кадровые потребности той или иной отрасли или отдельной корпорации. Учитывая, что цикл подготовки бакалавра, начиная с разработки образовательной программы и заканчивая первым выпуском таких специалистов занимает 4-5 лет, университетам необходимо предугадывать такие запросы, прогнозировать, какие именно специалисты потребуются в данной обла

сти спустя соответствующий срок, что само по себе является достаточно сложной задачей.

Оптимальным способом решения этой задачи видится стратегия, в рамках которой университет дает будущему специалисту фундаментальные знания в том или ином направлении, основы его профессиональной подготовки, которые в дальнейшем позволят ему быстро и эффективно разобраться с нюансами и конкретными задачами, которые поставит перед ним его работодатель.

Именно такой подход был использован при организации ИИР НГУ, это один из первых (возможно единственный на сегодняшний момент) бакалавриат, который специализирован на теме глубокого машинного обучения. Его история началась в середине 2018 года, когда возникло понимание, что глубокие нейронные сети (ГНС, англ. DNN – Deep neural network) не просто интересный математический объект с уникальными свойствами, но они имеют еще и огромные прикладные перспективы. И стало очевидно, что широкое внедрение ГНС повлечет за собой изменение технологического уклада. Причем ГНС – это сквозная технология, которая может применяться в самых разных областях: в видеоаналитике, обработке естественных языков, написании текстов. Впоследствии, когда появились большие языковые модели, успешно справившиеся с тестом Тьюринга, возможности этой технологии и спрос на специалистов, владеющих ее применением еще более выросли. И Новосибирский государственный университет, как университет, лидирующий по многим естественнонаучным, точным, техническим областям, не остался в стороне от этого процесса.

ИИР НГУ реализует только программу бакалавриата и это было осознанным решением, заложенным в его организационные принципы. Следуя принципам мобильности ИТ-специалистов, мы надеемся, что выпускники продолжат карьеру в других местах: пойдут на работу в компании соответствующего профиля, в команды разработчиков продуктов с использованием технологий искусственного интеллекта, а также продолжат обучение в магистратурах других вузов по тематике искусственного интеллекта. Открытие собственной магистратуры не предусмотрено, чтобы не провоцировать «застаивание» выпускников.

Образовательная программа выстроена так, что студенты одинаково много внимания уделяют изучению как программирования, так и математики, что обеспечивает достаточно прочную теоретическую базу в подготовке будущих специалистов. Другая особенность организации образовательного процесса заключается в том, что сразу после получения минимальной теоретической базы, достаточной для работы с моделями искусственного интеллекта, студенты вовлекаются в проектную и практическую работу.

Поскольку наиболее актуальные сведения в области искусственного интеллекта можно получить только в ходе проектной работы в актуальных направлениях, ИИР НГУ нацелен на создание собственного пула разработчиков–преподавателей. Соответственно сотрудники принимаются сразу на две позиции: разработчика (инженер) и профессорско-преподавательский состав. Нагрузка по должности преподавателя варьируется от 6 до 10 часов. По должности разработчика сотрудники института выполняют поисковые и пилотные проекты в области машинного обучения, технического зрения, беспилотного транспорта в инициативном порядке и за счет средств индустриальных партнеров. Предполагается, что к 2028 году деятельность в области разработки инновационных продуктов и технологий должна приносить не менее 50 % доходов ИИР НГУ.

Можно выделить три основных направления, в которых используются возможности ГНС – обработка естественных языков, обработка изображений и других сигналов и обработка больших табличных данных. В рамках каждого из них есть деление на более узкие и специализированные задачи. Все эти направления достаточно подробно рассматриваются в рамках теоретического блока обучения, но, понимая, что на базе одного относительно небольшого университетского подразделения невозможно обеспечить одновременную проектную работу по всему широкому спектру применения ГНС, было принято решение сосредоточиться на двух из них:

- искусственный интеллект на краевых вычислителях для систем идентификации, контроля на производстве, машинного зрения на производстве, больших языковых моделей для управления роботизированными системами;

- программное обеспечение для беспилотного транспорта.

Еще один важный элемент образовательного курса, который нетипичен для естественно-научных программ – участие в хакатонах. Как показывает практика, когда речь идет о нейронных сетях и машинном обучении, часто хакатон становится самым простым способом для обучающегося войти в новую область. Характерными чертами хакатонов являются живое обсуждение, обмен опытом, практика «мозговых штурмов». И в результате, буквально через три-четыре месяца такой работы, поучаствовав в одном или нескольких хакатонах, студенты значительно продвигаются в своей подготовке, особенно в части проектной деятельности.

В настоящее время сотрудниками и студентами ИИР по этим направлениям успешно реализован ряд проектов, предполагающих применение технологий искусственного интеллекта для решения конкретных задач, поставленных нашими индустриальными партнерами. В качестве примера приведем некоторые из них.

Сотрудниками ИИР НГУ по соглашению с ООО «Сибирское стекло» была разработан и установлен на одну из производственных линий комплекс обучаемой видеоаналитики, способный решать самые разные задачи, например, вести точный подсчет количества бутылок, которые идут по конвейеру. Использование такой системы позволяет осуществлять подсчет продукции и контроль ее качества на тех участках конвейера, где это сложно (или невозможно) делать с помощью стандартных светодиодных датчиков.

Также комплекс способен не просто считать, но и различать их типы, оперативно и, что самое важное, автоматически перенастраивая датчики в соответствии с изменениями сортамента производителя.

К главным преимуществам комплекса относится то, что это обучаемая система, и это позволяло бы сотрудникам предприятия в дальнейшем самостоятельно перенастраивать ее, расширяя функционал. Изначально речь шла о задачах, связанных с распознаванием и подсчетом предметов. Но потенциально эта система способна на выявление и классификацию дефектов продукции, фиксацию брака и боя стеклотары, попавший на конвейер. Иначе говоря, переложить на систему работу, которую выполняют сотрудники отдела технического контроля.

Рисунок 1. Пример работы комплекса обучаемой видеоаналитики, установленного на одном из конвейеров на производстве стеклотары

Следующий пример показывает, как с помощью аналогичных систем возможно решать задачу автоматизации рабочих процессов на промышленном производстве, а именно -  на одной из сборочных линий завода «Катод».

Производство оптико-электронных приборов на АО «Катод» (г. Новосибирск) включает в себя несколько технологических операций, которые должны проводиться с высокой точностью и в защитной среде (специальных боксах с агрессивной средой).

Сотрудники предприятия могут работать в таких боксах только используя специальные перчатки, что сильно осложняет достижение необходимой точности операций. Очевидным решением стала бы автоматизация процесса и для решения этой задачи предприятие обратилось в Новосибирский государственный университет.

Задача осложнялась тем, что агрессивная защитная среда требует исключения любых контактов с железом (например, в виде направляющих, обеспечивающих точность работы автоматики) и требовался другой способ добиться нужного качества перемещений манипулятора, заменяющего человеческие руки. Для этого надо было обеспечить возможность постоянной коррекции приводов, в зависимости от ситуации.

В ИИР НГУ предложили использовать для управления автоматизированной установкой систему технического зрения. Взяв за основу открытую архитектуру нейронной сети, авторы проекта адаптировали ее к сборочной платформе, созданной на заводе. Затем собрали набор изображений и провели на его основе ее «обучение», чтобы она смогла управлять движениями манипулятора с точностью до одной десятой миллиметра.

Рисунок 2. Прототип системы, управляющей движениями манипулятора

Прототип системы успешно прошел испытания и в настоящее время она передана для опытной эксплуатации заказчику.

***

Как показала практика, участие в подобных проектах дает студентам значительные преимущества как в выборе места для проведения преддипломной практики, так и для последующего трудоустройства.

Сегодня наблюдается настоящий бум технологических решений, использующих машинное зрение, глубокие нейронные сети и связанные с ними технологии искусственного интеллекта. То, что еще несколько лет назад считалось экспериментальной разработкой, сегодня становится практически обязательным функционалом, стандартом для выпускаемого на рынок продукта. Это, в свою очередь, формирует постоянно растущий запрос на рынке труда на специалистов соответствующей квалификации. Крупные корпорации решают эту проблему, используя различные инструменты, включая запуск совместных с вузами образовательных программ, нацеленных на подготовку будущих специалистов «под себя». Но средний, а тем более малый бизнес не имеет такой возможности и это, в частности, обуславливает их высокий интерес к студентам ИИР, многие из которых получают предложения о трудоустройстве еще на стадии обучения. 

Политика широкого внедрения в российских муниципалитетах технологий «умного города», проводимая сегодня целым рядом федеральных министерств и ведомств, еще более повысит спрос на подобных специалистов, но уже в государственном и муниципальном секторах. Проекты, выполненные в интересах индустриальных партнеров НГУ, показывают, что аналогичные решения и проекты могут быть, при наличии запроса со стороны муниципалитетов, реализованы и в инфраструктуре городского хозяйства.

Во-первых, это целый комплекс задач, связанных с мониторингом, сбором и анализом самой разнообразной информации. И здесь невозможно обойтись без систем интеллектуальной видеоаналитики, чье развитие позволяет сегодня решать гораздо более широкий спектр задач, чем несколько лет назад. Например, в области отслеживания транспорта эти системы давно научились фиксировать каждое транспортное средство, идентифицировать его номер на основе ряда неполных изображений и отслеживать перемещения по улицам города. Следующий шаг, научиться выделять отдельных участников дорожного движения, как транспортные средства, так и пешеходов, прогнозировать их поведение и предотвращать возможные причины возникновения аварийной ситуации. Другой возможный пример – разработка системы, способной анализировать уровень снежного покрова на городских улицах, интенсивность выпадения осадков и на основе обработки этой информации формировать маршруты для работы снегоуборочной техники.

Еще одна важное и актуальное направление – это искусственный интеллект и его взаимодействие с беспилотными летательными аппаратами (БПЛА). Сейчас эта отрасль переживает бурное развитие и в ИИР НГУ активно и плодотворно работает в области оснащения БПЛА искусственным интеллектом, чтобы они могли не только обеспечивать сбор информации или запоминать маршрут полета, самостоятельно возвращаясь к точке старта, но и решали бы гораздо более сложные задачи.

Так, в настоящее время в Туле запущен проект оснащения городского общественного транспорта видеокамерами, которые, в ходе следования автобуса или троллейбуса по маршруту, собирают  информацию о состоянии дорожного покрытия и дорожных знаках и передавают ее в центр обработки данных. Однако, очевидно, что с помощью БПЛА эту задачу можно решить гораздо эффективнее, используя при этом меньше устройств. Во-первых, у камер БПЛА гораздо больше область захватываемого изображения. С помощью алгоритмов, которые, в том числе, разрабатываются в ИИР НГУ, они более точно определяют координаты ямы или другого повреждения дорожного полотна. Этими же преимуществами летательные аппараты обладают и в решении многих других задачи мониторинга, например – обнаружения стихийных свалок и других объектов, загрязняющих городскую среду, фиксации несанкционированной застройки, вопросов обеспечения безопасности и т.д. А использование технологий искусственного интеллекта позволит БПЛА не просто собирать информацию, но и проводить ее первичную обработку в ходе полета, осуществлять ее оперативную передачу нужному адресату и так далее. Подобные решения обладают исключительно большим потенциалом с точки зрения задач городского хозяйства, его развития и оптимизации.

Не менее перспективной является разработка различных голосовых помощников, «электронных секретарей» и тому подобное, которые также опираются на технологии искусственного интеллекта. Прежде всего речь о разнообразных сервисах, нацеленных на взаимодействие с населением – электронных приемных, чат-ботах и тому подобное, которые уже сегодня становятся практически обязательной составляющей работы разных подразделений муниципалитетов и оперативных служб. Вообще, там, где требуется интеллектуальная, а не физическая активность, внедрение технологий, основанных на искусственном интеллекте осуществляется быстрее, электронные секретари станут привычным элементом в городских службах намного раньше, чем роботы-дворники. Связано это с тем, что задачи сбора и обработки больших объемов информации искусственный интеллект уже научился решать быстрее и эффективнее человека, а вот необходимой точности управления различными манипуляторами еще только предстоит достичь.

Говоря о современных технологиях искусственного интеллекта как ключевой составляющей инфраструктуры «умного города, необходимо рассматривать их не только как набор отдельных инновационных решений, но и как единый комплекс, цифровую экосистему. И ее формирование не должно быть стихийным, наоборот, внедрение одних решений должно согласовываться с другими, их работа – быть взаимно интегрированной. Все это, в свою очередь, делает разумным и обоснованным предварительно отработать детали процесса на некоем полигоне, в роли которого может выступать «умный кампус» Новосибирского государственного университета.

Внедряя на его территории собственные разработки в области видеоаналитики, голосовых помощников и т.п. – мы сможем оптимизировать работу его инфраструктуры, организации образовательного процесса и досуга студентов и преподавателей, транспортные потоки на территории кампуса и другие составляющие его жизни с помощью технологий искусственного интеллекта. А с другой стороны, используя вычислительные мощности университета, особенно в случае успешной реализации проекта Суперкомпьютерного центра «Лаврентьев», получится создать единый центр анализа и управления работой всей этой «умной» инфраструктуры. А сам кампус станет оптимальным полигоном «умного города», на котором будет хорошо видно, как преимущества подобных инноваций, так и их слабые стороны, требующие доработки, а также – возможные проблемы, возникающие в результате их взаимодействия.