DARPA запускає програму розробки нейроморфних інфрачервоних камер

FENCE займеться розробкою камер, які оброблятимуть зображення за допомогою схем, що імітують частину людського мозку.


Агентство DARPA оголосило про запуск програми Fast Event-based Neuromorphic Camera and Electronics (FENCE), покликаної зробити камери-тепловізори більш ефективними за рахунок імітації процесу обробки візуальної інформації людським мозком. Три групи вчених, об'єднані під крилом компаній Raytheon Technologies, BAE Systems і Northrop Grumman, повинні розробити розумну інфрачервону камеру, яка буде обробляти менше даних, працювати швидше, ніж нині існуючі, і споживати менше енергії.

Сучасні тепловізори постійно вдосконалюються, але в міру цього вони почасти стають жертвами власної досконалості. Хоча існуючі камери і можуть отримувати зображення високої роздільної здатності і відстежувати об'єкти з високою точністю, вони роблять це шляхом обробки величезної кількості даних, що вимагає серйозних апаратних ресурсів, а також часу і енергії. На думку DARPA, це добре, коли завдання полягає у відстеженні самотнього літака в ясному блакитному небі, але якщо фон захаращений іншими об'єктами або постійно змінюється, як це часто буває при проведенні військових операцій, сучасні розумні інфрачервоні камери швидко перевантажуються і перестають давати задовільний результат.

Автори програми FENCE розраховують на створення камери з використанням схем, що імітують роботу мозку, тобто нейроморфних. Вони, потенційно, дозволять різко скоротити обсяг даних, які необхідно обробляти системі камери, за рахунок ігнорування неактуальних частин зображення. Коротко ідея полягає в тому, що замість того щоб обробляти всю сцену, камера буде фокусуватися тільки на мінливих пікселях.

Для досягнення цієї мети команда FENCE вже працює над створенням нової інфрачервоної фокальної площинної матриці з низькою затримкою і низьким енергоспоживанням, асинхронною інтегральною схемою зчитування і обробним шаром, який повинен буде ідентифікувати необхідні просторові і тимчасові сигнали. Також будуть потрібні нові алгоритми цифрової обробки сигналів і навчання для обробки складних, мінливих фонів.

Результатом може стати датчик, що споживає менше 1,5 Вт енергії. Оскільки нова технологія націлена на військове застосування, що включає автономні транспортні засоби, робототехніку, пошук і відстеження ВК-випромінювання, датчики повинні бути гнучкими і адаптованими.