Компьютерщики Базельского университета разработали новый метод поиска в базе данных изображений и видео на основе нарисованных от руки эскизов. Пользователь рисует эскиз на планшете или интерактивной бумаге, а система ищет подходящее изображение в базе данных. Новый метод находится в свободном доступе для исследователей.
Сегодня люди все чаще сталкиваются с необходимостью ориентироваться в обширных коллекциях фотографий и видео как на работе, так и дома. Хотя поисковые системы, такие как Google и Bing, упрощают быстрый и эффективный поиск документов или веб-сайтов с помощью поисковых запросов, возможности поиска коллекций мультимедийных объектов более ограничены.
Общее понятие сходства
Исследователи факультета математики и компьютерных наук Базельского университета разработали систему, известную как «vitrivr», которая позволяет искать изображения и видео с помощью эскиза. Пользователь создает эскиз нужного объекта на планшете или интерактивной бумаге, а программа выдает наиболее похожие на него изображения и видеоролики. Для видео пользователь может даже указать на эскизе, в каком направлении движется объект в искомой последовательности.
Разрабатывая систему, исследователи намеренно установили очень широкую концепцию сходства и адаптировали ее к разным типам эскизов; например, похожие цвета, формы или направления движения.
Индивидуальные поисковые запросы могут быть дополнены рядом других типов запросов - поисковыми запросами, примерами изображений и видео или их комбинацией. Важной особенностью новой системы является ее масштабируемость, что означает, что ее можно использовать даже с очень большими мультимедийными коллекциями.
Свободно доступная система
Система vitrivr имеет полностью открытый исходный код и поэтому находится в свободном доступе для международного исследовательского сообщества. Он уже используется для самых разных целей, от распознавания моделей движения в спортивных видеороликах для Федерального управления спорта до поиска коллекций цифровых водяных знаков в сотрудничестве с Базельской бумажной фабрикой..
Исследователи по всему миру в настоящее время работают над разработкой системы, часто при поддержке известных программ, таких как Google Summer of Code. vitrivr также является основой для исследовательского проекта iMotion, который финансируется ЕС и Швейцарским национальным научным фондом и предназначен для использования в качестве поисковой системы для крупномасштабных коллекций видео в рамках сотрудничества с Red Hen Labs в США.