Интеллектуальные фотодетекторы: ИИ в сенсорах

Исследователи из Калифорнийского университета в Лос-Анджелесе (UCLA) совместно с коллегами из Калифорнийского университета в Беркли разработали инновационный тип интеллектуальных сенсоров изображений. Эти устройства способны выполнять машинное обучение непосредственно в процессе фотодетекции.

Это достижение, представленное в журнале Science, кардинально меняет подход к интеграции спектральной визуализации, машинного зрения и искусственного интеллекта в одном полупроводниковом устройстве.

Традиционно спектральные камеры создают массивы изображений, каждое из которых соответствует определенной длине волны. Затем эти огромные объемы данных передаются для обработки и анализа. Такой подход создает значительные ограничения: оборудование должно перемещать и обрабатывать колоссальные объемы информации, что снижает скорость, энергоэффективность и разрешающую способность.

Новая платформа устройств, названная спектральными машинами на ядрах (SKM), полностью устраняет этот «узкий» этап. Вместо записи больших массивов данных, SKM напрямую преобразуют спектральную и пространственную информацию в выходной фототок. Это позволяет самому сенсору идентифицировать материалы, химические вещества и объекты в сложной сцене.

«Этот процесс математически схож с алгоритмами машинного обучения, использующими машины на ядрах», — поясняет Айдоган Озкан, профессор электротехники и компьютерной инженерии в UCLA и один из ведущих авторов исследования. «С помощью этих SKM мы создали оптоэлектронные сенсоры, которые могут обучаться и вычислять без необходимости цифровой постобработки».

Работа велась в тесном сотрудничестве с исследовательской группой профессора Али Джавея и доктора Дехуэй Чжана из Национальной лаборатории Лоуренса Беркли и Калифорнийского университета в Беркли.

Обучение и производительность SKM

Каждое устройство SKM можно электрически настраивать для усиления или подавления определенных спектральных характеристик. В процессе обучения исследователи демонстрировали сенсору изображения, например, ярких птиц в лесной местности, позволяя SKM случайным образом выбирать подмножество пикселей и получая простые команды, такие как «определить птицу» или «определить фон».

На основе этих примеров устройство находило оптимальную последовательность электрического управления для выделения пикселей с птицами и подавления областей фона. При последующем предъявлении новых, ранее не виденных изображений, сенсор генерировал положительный фототок только для пикселей, относящихся к целевому объекту. Это продемонстрировало, что устройство обучилось на предыдущих примерах и способно «искать и находить» желаемые признаки, подобно собаке-ретриверу.

Применение и будущий потенциал

Команда показала, что устройства SKM способны интеллектуально анализировать сложные сцены в видимом и средне-инфракрасном диапазонах спектра без использования традиционных гиперспектральных массивов изображений. В видимом диапазоне кремниевые фотопроводники выполняли задачи метрологии полупроводниковых пластин и идентификации элементов, демонстрируя преимущества в скорости и энергопотреблении по сравнению с традиционными цифровыми гиперспектральными системами машинного зрения.

В средне-инфракрасном диапазоне фотодиод с электрической перестройкой, работающий при комнатной температуре, позволил идентифицировать химические вещества и анализировать их смеси. Исследователи также продемонстрировали применение SKM для определения уровня гидратации листьев растений и сегментации объектов, причем все эти задачи решались непосредственно на основе фототока сенсора, без необходимости захвата или обработки гиперспектрального массива изображений.

Эта технология знаменует собой новую парадигму в спектральной визуализации. Интегрируя интеллектуальные функции и машинное обучение непосредственно в физику фотодетекции, устройства SKM устраняют узкие места, связанные с перемещением данных, и значительно снижают энергопотребление, обеспечивая сверхбыстрый спектральный анализ в компактном, энергоэффективном формате.

Эти возможности делают SKM идеальными для мобильных устройств, автономных роботов, экологического мониторинга, промышленной инспекции и спутниковой съемки.

«Эта работа переосмысливает фотодетекцию как автоматизированное физическое вычисление», — отмечает Юханг Ли, аспирант UCLA и соавтор работы. «Теперь мы можем быстро выполнять сложный спектральный анализ непосредственно в точке первичного обнаружения фотонов».

Первым автором работы является доктор Дехуэй Чжан из Калифорнийского университета в Беркли, а ведущими старшими авторами — профессор Айдоган Озкан из UCLA и профессор Али Джавей из Калифорнийского университета в Беркли.