Новые подробности о камере, способной снимать из-за угла

Единичный фотон или маленькая их группа не балуют учёных информацией. Пока эти частицы приходят от объекта несметными толпами, мы вряд ли получим нечто большее, чем обычные фото или видео. Но стоит научиться выделять из потока света очень специфические фрагменты, как рождается новый тип съёмки - из-за угла.

Самый главный секрет съёмки за углом заключается в невероятной синхронизации быстротечных этапов процесса.

Первое, что приходит на ум, когда речь заходит о съёмке вещей, расположенных вне прямой видимости, - это зеркала. Но зеркал везде не понаставишь. Даже если в их качестве смогут выступить обычные предметы - стены домов или коридоров, двери, предметы мебели или фонарные столбы - увы, разглядеть в них что-то окажется нереальным. Ведь поверхность их обычно матовая, рассеивает свет она хаотично и ничего не «показывает»… Но это лишь на первый взгляд.

Решить необычную задачу взялась группа студентов из Массачусетского технологического института под руководством профессора Рамеша Раскара (Ramesh Raskar). Их изобретение называется «камера быстротечного изображения» (Transient imaging camera, о данном изобретении мы кратко писали в статье).

Рис. 1. Бабушка в спальне, кошка в углу и внук под столом будут спасены, ведь пожарный видит их при помощи лазерной камеры (иллюстрация Ahmed Kirmani, Ramesh Raskar/MIT).

В основе этой системы - лазер, регулярно выдающий яркие вспышки длительностью всего в квадриллионную долю секунды (не зря проект также получил название «Фемтофотография» - Femto-Photography). Эти короткие зондирующие импульсы уходят в разные стороны, в том числе попадают на предметы, направляющие их за угол. В примере ниже - в комнату с приоткрытой дверью. Но в качестве «зеркал» могут выступить и пол, и потолок.

Рис. 2. Сверхкороткий импульс лазера (1-2) уходит к двери и отражается внутрь комнаты к скрытым объектам (2-3). Отражённые лучи (3-4) возвращаются к двери и отправляются в камеру (4-1). Несмотря на то, что обычная дверь не является зеркалом и отражения от неё достаточно случайны, изящный алгоритм способен вычленить изображение человека из этого потока (иллюстрация Ahmed Kirmani, Ramesh Raskar/MIT).

Далее в дело вступает быстродействующая электроника. Поймав весь отражённый от обстановки свет, можно получить только яркое пятно без деталей. Но поскольку импульс у нас ультракороткий, на сцену выходит его величество время. Современная техника позволяет производить переключения в схеме быстрее, чем свет успевает пройти хоть миллиметр пути. И эта возможность - ключ к дальнейшей обработке возвращённого света.

Сразу после импульса электроника держит затвор камеры закрытым. Она ждёт, пока от ближних предметов (соседняя стена коридора, сама матовая дверь) вернутся фотоны «первичного отражения». Они нам не нужны и только испортят всю картину.

Далее камера начинает собирать свет. Фотоны от «второго отражения» (условно говоря, это поток от скрытых за углом вещей) через определённое время отскакивают от двери (третье отражение) и направляются к камере. Конечно, из всего первоначального импульса в объектив попадёт очень малая доля света (остальные фотоны разлетаются кто куда), но и её будет достаточно.

Рис. 3. Три уровня отражения. Сверхскоростной затвор и электроника позволяют поймать в матрицу только те фотоны, которые нужны (иллюстрация Ahmed Kirmani, Ramesh Raskar/MIT).

Важно, что датчик быстротечной камеры фиксирует не только направление, с которого прилетел фотон, но и точное время его прилёта. Насколько точное? Речь идёт о разрешении в пикосекунды. Дальше начинается маленькая математическая магия.

Чтобы собрать достаточно информации для обработки, лазер должен сделать от 10 вспышек, каждый раз немного с другой позиции. Теперь, используя эти кадры и информацию о времени прибытия каждой порции квантов, камера строит трёхмерную сцену, скрытую за углом.

Рис. 4. Основные части камеры: фемтосекундный лазер (а), пикосекундный детектор (b), скоростной осциллограф ©. На рисунке d показана тестовая сцена - контрастный объект (нечто вроде двухмерного штрихкода), скрытый за рассеивающими свет экранами (фото Ahmed Kirmani, Ramesh Raskar/MIT).

Можно вспомнить одну аналогию: военные применяют похожий метод, который позволяет авиационной камере со вспышкой видеть технику противника под кронами деревьев. Всё дело в сверхскоростном затворе и чипе, который держит его закрытым, пока возвращается свет от листьев. Он открывается, когда приходит черёд запоздавших на миллиардные доли секунды фотонов, отразившихся от танков и машин.

В нашем случае к этому принципу добавляется математическая обработка пришедшего сигнала, позволяющая восстановить форму объекта по слабому вторичному излучению, отражённому от матовой поверхности. Эта обработка напоминает томографию - там тоже конечный результат получается после сопоставления информации о сигнале, воспринятом с разных точек.

Рис. 5. Общий принцип работы новой камеры (на схеме) в чём-то схож с технологией «камер времени пролёта» (time-of-flight camera), в свою очередь родственных лидарам. Только в данном случае идея получила развитие, не зря профессор называет разработку «time-of-flight camera на стероидах» (иллюстрация Ahmed Kirmani, Ramesh Raskar/MIT).

Использовать такую технологию можно при спасении людей во время стихийных бедствий или на пожарах, при проведении полицейских и военных операций. Например, зондируя внутренние помещения здания через окна, можно получить изображения людей, невидимых с улицы, например пострадавших, лежащих на полу, или преступников, укрывающихся в дальних углах комнат.

Рис. 6. С новой камерой автомобили могли бы избегать столкновений с машинами, скрытыми за углом улицы, медики - получать изображения труднодоступных участков сердца, лёгких или кишечника… (иллюстрация Ahmed Kirmani, Ramesh Raskar/MIT).

«Это как получить рентгеновское зрение без рентгеновских лучей. Мы обходим проблему, вместо того чтобы идти напролом», - объясняет Раскар, кстати, известный нам по шестимерной фотографии и удивительному принципу наведения на резкость после съёмки.

Рис. 7. Пока «мимолётную камеру» нельзя взять в руки. Это просто набор лазеров, сенсоров, зеркал и полупрозрачных стёкол, закреплённых на стенде (фото Ahmed Kirmani, Ramesh Raskar/MIT).

Пока опытная установка Раскара и его товарищей может выявлять лишь сравнительно простые рисунки за углом. До восстановления сцен из реальной жизни ей далеко. Ещё предстоит поработать над алгоритмом расшифровки, чтобы получать достаточно ясные картины с тем небольшим числом фотонов, что попадают в объектив. Да и добиться компактности подобной камеры - не так просто. Однако умение «нарезать» возвращающийся поток фотонов столь тонкими «дольками» способно вылиться в интересное направление видео- и фотосъёмки.

«У каждого фотона своя история, - говорит Рамеш, - где он родился, кто его столкнул с пути, где он прошёл… Я хочу слушать фотоны…"