Система для поиска звуковых файлов MediaMined
В блоге я уже рассказывал как найти название мелодии а также о поиске звуков с FindSounds сегодня продолжим тему, но с более «технологической» точки зрения. Дело в том, что американец Джей ЛеБаф, основатель компании Imagine Research, создал уникальную поисковик, позволяющий находить и распознавать различные звуки.
Проект в какой-то степени представляет собой аналог поисковой системы типа Google. Система позволяет найти различные типы звуков, например, звук удара бейсбольной битой, шум взрыва или собачий лай. Создатель проекта Джей ЛеБаф — инженер электротехники, имеет образование по направлению классического фортепиано, а также является магистром Стэндфордского центра компьютерных исследований. Его мечта — превращение персональных компьютеров в звукооператоров.
Update 23.10.2019: Ссылка на сайт Imagine Research больше не работает. Альтернативные проекты могут быть в разделе музыкальные сайты + был пост про сервисы помогающие распознать мелодии.
И вот в ноябре 2011 года компания Imagine Research выпустила новое программное обеспечение с названием MediaMined. В его функции входит индексация, классификация и поиск всех видов аудио-файлов. Сейчас программа распознаёт четыреста различных видов звуков. Она способна найти звучание музыкальных инструментов и множество других звуков, например собачий лай, стук в дверь или звук человеческого смеха.
В настоящий момент ведётся работа по доработке функций программы. Вскоре система позволит пользователю разложить аудиофайл на отдельные составляющие звуки, которые будут отчётливо слышны. По словам ЛеБафа, теперь, когда началась индексация звуковых файлов, звукооператоры смогут за секунды найти необходимые им звуки через медиа архивы. Ведь данная разработка позволяет компьютеру понять с каким именно звуком он имеет дело, распознать его, после чего можно искать похожие записи, где он встречается.
Если взять любую запись и добавить в популярные программы работы со звукам, то увиденное мало что вам поможет понять. Загружая тот же самый файл в MediaMined получите информацию о том что именно представлено в звуковой дорожке — система может определять не только происхождение звуков, но и разные их свойства — жанр, ритм, громкость и многие другие параметры.
Софт будет полезен музыкантам, которые работая с оборудованием для звукозаписи, быстро смогут подобрать широкий спектр нужных звуков. Вообще на данном этапе разработка Imagine Research привлекает к себе внимание заинтересованных игроков на рынке. Так партнёрское соглашение с Imagine Research на тестирование программного обеспечения уже подписали шесть компаний, в числе которых есть и известная кинокомпания LucasFilm. Для неё поисковая система MediaMined стала инструментом для нахождения звуков в их собственной большой коллекции аудио-файлов. Среди других партнёров Imagine Research есть онлайн библиотека и сервис для хранения музыкальных записей Gobbler. Разработка MediaMined стоила компании 600 000 долларов.
Первые шесть месяцев проекта шла загрузка примерно полумиллиона файлов и их описание. Затем шла работа над программой обработки этих файлов для определения громкости, тональности, динамического диапазона и других характеристик. На последнем этапе восемь разработчиков обучали программу опознавать характеристике в составе любого цифрового аудио-архива. Работа над программой продолжается. Безусловно Джей ЛеБаф создал очень интересную систему, у которой весьма перспективное будущее.