Самарские ученые научили нейросеть видеть «невидимое» со скоростью света

В Самарском университете им. Королёва создали скоростную нейросеть, обрабатывающую гиперспектральные данные.

Ученые Самарского университета им. Королёва разработали и испытали скоростную нейросеть, способную в режиме реального времени анализировать поступающий видеопоток и практически мгновенно распознавать и находить в этом видеопотоке заданные объекты и изображения. Наряду с анализом «картинки» с обычной видеокамеры, разработка может оперативно, почти со скоростью света, анализировать также данные, получаемые с помощью гиперспектрометров — устройств, видящих реальность в многоканальном спектральном отображении и позволяющих обнаруживать объекты, невидимые для обычных средств наблюдения.

Проект реализуется по заказу Российского федерального ядерного центра-Всероссийского научно-исследовательского института экспериментальной физики (РФЯЦ-ВНИИЭФ) в рамках научной программы Национального центра физики и математики (НЦФМ), создаваемого в городе Сарове Нижегородской области по поручению Президента России. Исследования по данному проекту финансируются со стороны Министерства науки и высшего образования Российской Федерации и Госкорпорации «Росатом».

«Учеными нашего университета разработана оптическая нейросеть на основе аналоговой фотонной вычислительной системы, собран демонстрационный образец системы, подтвердивший в ходе экспериментов работоспособность выбранной схемы. Данная нейросеть предназначена для анализа поступающего в систему видеопотока и последующего распознавания и классификации определенных объектов и изображений. Ключевой особенностью разработки является возможность анализа гиперспектральных данных — система рассчитана на работу с двухдиапазонным гиперспектрометром, который также разработан у нас в университете. Аналоговая фотонная вычислительная система позволяет проводить анализ и распознавание объектов почти со скоростью света, что значительно — в сотни раз -превосходит скоростные характеристики современных цифровых нейросетей на основе традиционных полупроводниковых компьютеров. Это особенно важно для оперативного анализа гиперспектральных данных, изначально представляющих собой значительные по объему массивы информации», — рассказал профессор кафедры технической кибернетики Самарского университета им. Королёва доктор физико-математических наук Роман Скиданов.

Кроме быстродействия и широкого спектрального диапазона, аналоговые оптические вычислительные системы обладают также такими преимуществами, как полная защищенность от электромагнитных помех, малое потребление энергии и возможность параллельной обработки данных. Схема системы, позволяющей вести полностью оптическую обработку поступающей информации, была впервые предложена еще в 1958 году. Данное направление активно развивалось в 80-е годы прошлого века, но затем применение подобных устройств практически сошло на нет из-за их громоздкости и в связи с развитием цифровой техники. Последние годы эта сфера прикладных исследований становится все более актуальной в различных странах мира благодаря появлению новых материалов и созданию компактной оптики с особой структурой.

«Наш демонстрационный образец создан с использованием стандартных лабораторных оптико-механических компонентов, а также различных модуляторов и видеокамер. Оптическая схема устройства разработана в таком виде, чтобы благодаря камере, регистрирующей распределение интенсивности в частотной плоскости, можно было решать ряд дополнительных задач. Надежность распознавания в ходе первых экспериментов на демонстрационном образце составила 93,75%. В 2024 году планируется собрать и испытать экспериментальный образец системы в достаточно компактном корпусе размером с небольшой системный блок компьютера. Точность и надежность распознавания у экспериментального образца должна вырасти за счет подбора компонентов с улучшенными характеристиками. Опытный образец установки, возможно, будет готов в 2025 году», — отметил Роман Скиданов.