Самарские ученые научили нейросеть видеть "невидимое" со скоростью света

Ученые Самарского университета им. Королёва разработали и испытали скоростную нейросеть, способную в режиме реального времени анализировать поступающий видеопоток и практически мгновенно распознавать и находить в этом видеопотоке заданные объекты и изображения. Наряду с анализом "картинки" с обычной видеокамеры, разработка может оперативно, почти со скоростью света, анализировать также данные, получаемые с помощью гиперспектрометров - устройств, видящих реальность в многоканальном спектральном отображении и позволяющих обнаруживать объекты, невидимые для обычных средств наблюдения.

Проект реализуется по заказу Российского федерального ядерного центра-Всероссийского научно-исследовательского института экспериментальной физики (РФЯЦ-ВНИИЭФ) в рамках научной программы Национального центра физики и математики (НЦФМ), создаваемого в городе Сарове Нижегородской области по поручению Президента России. Исследования по данному проекту финансируются со стороны Министерства науки и высшего образования Российской Федерации и Госкорпорации "Росатом".

"Учеными нашего университета разработана оптическая нейросеть на основе аналоговой фотонной вычислительной системы, собран демонстрационный образец системы, подтвердивший в ходе экспериментов работоспособность выбранной схемы. Данная нейросеть предназначена для анализа поступающего в систему видеопотока и последующего распознавания и классификации определенных объектов и изображений. Ключевой особенностью разработки является возможность анализа гиперспектральных данных - система рассчитана на работу с двухдиапазонным гиперспектрометром, который также разработан у нас в университете. Аналоговая фотонная вычислительная система позволяет проводить анализ и распознавание объектов почти со скоростью света, что значительно - в сотни раз -превосходит скоростные характеристики современных цифровых нейросетей на основе традиционных полупроводниковых компьютеров. Это особенно важно для оперативного анализа гиперспектральных данных, изначально представляющих собой значительные по объему массивы информации", - рассказал профессор кафедры технической кибернетики Самарского университета им. Королёва доктор физико-математических наук Роман Скиданов.

Кроме быстродействия и широкого спектрального диапазона, аналоговые оптические вычислительные системы обладают также такими преимуществами, как полная защищенность от электромагнитных помех, малое потребление энергии и возможность параллельной обработки данных. Схема системы, позволяющей вести полностью оптическую обработку поступающей информации, была впервые предложена еще в 1958 году. Данное направление активно развивалось в 80-е годы прошлого века, но затем применение подобных устройств практически сошло на нет из-за их громоздкости и в связи с развитием цифровой техники. Последние годы эта сфера прикладных исследований становится все более актуальной в различных странах мира благодаря появлению новых материалов и созданию компактной оптики с особой структурой.

"Наш демонстрационный образец создан с использованием стандартных лабораторных оптико-механических компонентов, а также различных модуляторов и видеокамер. Оптическая схема устройства разработана в таком виде, чтобы благодаря камере, регистрирующей распределение интенсивности в частотной плоскости, можно было решать ряд дополнительных задач. Надежность распознавания в ходе первых экспериментов на демонстрационном образце составила 93,75%. В 2024 году планируется собрать и испытать экспериментальный образец системы в достаточно компактном корпусе размером с небольшой системный блок компьютера. Точность и надежность распознавания у экспериментального образца должна вырасти за счет подбора компонентов с улучшенными характеристиками. Опытный образец установки, возможно, будет готов в 2025 году", - отметил Роман Скиданов.

Справочно

При гиперспектральной съемке или гиперспектральном дистанционном зондировании Земли, проводимом с БПЛА или космического спутника, каждый пиксель полученного изображения представлен в виде полного или непрерывного спектра, что позволяет выявлять спектральные свойства искомых объектов и в ходе анализа полученных данных обнаруживать объекты, которые нельзя увидеть с помощью иных средств наблюдения.

Например, с помощью гиперспектрометров можно эффективно обнаруживать парниковые газы, фиксируя выбросы метана и CO2, а также вести геологоразведку труднодоступных территорий, выявляя из космоса спектральные сигнатуры различных минералов, в том числе тех, что указывают на возможное расположение месторождений нефти и природного газа. Гиперспектрометры более качественно и точно отслеживают возникновение лесных пожаров, следят за состоянием лесов и сельскохозяйственных посевов, помогают вычислять вегетационные индексы и даже выявляют из космоса стресс у растений.

Самарский университет им. Королёва - участник национального проекта "Наука и университеты".