Невероятният оптичен микрофон може да раздели множество инструменти отдалеч

Сподели

Изследователи от университета Карнеги Мелън представиха забележително аудио от нова оптична микрофонна система, която използва камери, за да вижда и реконструира звуковите вибрации. Забележително е, че може ясно да раздели един инструмент, който свири в група.

Този вид звукова изолация е изключително трудна дори за аудио микрофони от висок клас, така че да можете да го постигнете, използвайки нищо освен две камери и лазер? Усеща се малко като черна магия. Но резултатите, които можете да видите във видеото, вградено в края на това парче, са зашеметяващи.

Ето основната теория: звукът не е нищо друго освен поредица от вълни на налягане, които се движат във въздуха. Всичко, което издава звук, просто вибрира, за да създаде тези вълни на налягане. Оптичният микрофон е основно система от камери, предназначена да наблюдава и интерпретира вибрациите на повърхността на източник на звук – или дори обекти, поставени близо до източник на звук, които вибрират в съответствие със звуковите вълни във въздуха около тях.

Системата на екипа на Carnegie Mellon свети с лазер върху вибриращата повърхност, създавайки прецизен модел на петна, който се изкривява, когато източникът на звук вибрира. Двойка камери записват промените в спекъл модела при 63 кадъра в секунда, а софтуерен алгоритъм се използва за анализиране на вариациите на спекъл модела в кадрите в двете камери и реконструиране на аудио сигнал.

Лазерът поставя петна върху източника на звук и камерите проследяват вариациите в този модел

Университет Карнеги Мелън

Скоростта на кадрите от 63 кадъра в секунда може да изглежда противоинтуитивна тук; човешкият слух може да различи тонове, които се колебаят някъде между 20 и 20 000 цикъла в секунда, така че игнорирайки всички други предизвикателства тук, ограничението от 63 кадъра в секунда на входните данни изглежда поставя 63-Hz горна граница на звука, който това устройство може ” виж.”

Не е така. Всъщност, този оптичен микрофон може да чете звук до забележителните 63 000 Hz благодарение на много умно използване на включените камери. Една камера използва глобален затвор, което означава, че чете целия си сензор за изображение по едно и също време за всеки кадър. Другата камера използва подвижен затвор, така че чете сензора си като серия от хиляда последователни хоризонтални линии на кадър. Следователно изображението на подвижния затвор съдържа високочестотна информация, която може да се сравни обратно с глобалното изображение на затвора, за да отчете неща като движението и наклона на китара, докато свири на музикант, а софтуерният алгоритъм е достатъчно умен, за да събере звук. на тази информация.

„Измислихме нов начин за виждане на звука“, каза Марк Шейнин, водещ автор изследователската работа и научен сътрудник след докторантура в лабораторията за осветяване и изображения в Института по роботика на Карнеги Мелън. “Това е нов тип система за камери, ново устройство за изображения, което може да види нещо невидимо с просто око.”

Комбинирането на видео с 63 кадъра в секунда от две камери, една с глобален затвор и една с подвижен затвор, позволява на изследователите да възстановят звуков сигнал при 63
Комбинирането на видео с 63 кадъра в секунда от две камери, една с глобален затвор и една с подвижен затвор, позволява на изследователите да възстановят звуков сигнал при 63 000 Hz

Университет Карнеги Мелън

Екипът е тествал този оптичен микрофон на китара и цигулка, на конус на високоговорителя, на камертони и дори на чанта Doritos, която седи пред високоговорителя и вибрира в съпричастност с околния звук. Те също така го използваха, за да разделят аудиото от две китари, свирещи в дует, и от два високоговорителя, всеки от които свири различна песен един до друг.

„Тази система прокарва границата на това, което може да се направи с компютърно зрение“, каза съавторът Матю О’Тул, асистент в Института по роботика. “Това е нов механизъм за улавяне на висока скорост и малки вибрации и представя нова област на изследване.”

Екипът вярва, че тази технология може да се използва за много повече от дешифриране на аудио сигнали; вибрациите могат да бъдат ключов индикатор за механично износване, когато се развият неизправности в машините, например.

„Ако колата ви започне да издава странен звук, знаете, че е време да я прегледате“, каза Шейнин. „Сега си представете заводски етаж, пълен с машини. Нашата система ви позволява да наблюдавате здравето на всяка от тях, като усещате вибрациите им с една-единствена стационарна камера.“

Вижте настройката на оптичния микрофон и чуйте резултатите във видеото по-долу.

Оптично разпознаване на вибрации с двоен затвор (CVPR 2022 Oral)

Източник: Университет Карнеги Мелън



Публикациите се превеждат автоматично с google translate


Сподели