1.2. Огляд існуючих систем пошуку зображень на основі їх вмісту
Схема архітектури існуючих CBIR-систем представлена на рис. 0 .1 [Error: Reference source not found]. Інтерфейс користувача (UI, User Interface), як правило, складається з двох частин: формування запиту і візуалізація результатів виконання запиту.
Роботи [] містять огляд сучасних CBIR-систем. Зокрема, в роботі [Error: Reference source not found] для кожної системи розглянуто види властивостей зображень, що використовуються для пошуку, процес формування запиту, етап порівняння, індексування та представлення результатів. Табл. в Додатку Г містить інформацію про деякі CBIR-системи та їх пошукові властивості зображень [Error: Reference source not found].
Більшість CBIR-систем є результатами досліджень, і підкреслюють один з аспектів пошуку на основі вмісту. Іноді це можливість представлення результатів у вигляді ескізів у користувацькому інтерфейсі, іноді це використання нової структури даних для індексування. Деякі системи існують у дослідницьких, комерційних версіях та версіях для виробництва. Комерційні версії, як правило, володіють більш стандартними пошуковими можливостями. Деякі системи надають користувачеві інтерфейс, який дозволяє більш гнучко формулювати запити.
Властивості зображень, які використовують сучасні CBIR-системи класифікують на властивості низького рівня (колір, текстура, форма) та властивості високого рівня (розташування та знаходження обличчя). Крім цього, CBIR-системи можуть використовувати ключові слова в якості властивостей.
Рис. 0.1. Архітектура CBIR-систем
До спеціалізованих систем пошуку зображень за ключовими словами відносять наступні CBIR-системи: ADL [Error: Reference source not found, Error: Reference source not found], Amore [Error: Reference source not found, Error: Reference source not found], BDLP [Error: Reference source not found], Chabot [Error: Reference source not found], Diogenes [Error: Reference source not found], ImageRover [Error: Reference source not found, Error: Reference source not found], Lycos [Error: Reference source not found], MARS [Error: Reference source not found], MetaSEEk [Error: Reference source not found], MIR [Error: Reference source not found, Error: Reference source not found], PicHunter [Error: Reference source not found], QBIC [Error: Reference source not found], Shoebox [Error: Reference source not found], TODAI [Error: Reference source not found], VIR [Error: Reference source not found], WebSEEk [Error: Reference source not found], WebSeer [Error: Reference source not found] та ін. Такі CBIR-системи використовують ключові слова для зменшення розмірності задачі пошуку, вибираючи за ними конкретну графічну базу даних, а сам пошук відбувається за певними властивостями зображень.
До сучасних комерційних систем пошуку зображень за ключовими словами, графічні бази даних яких містять сотні тисяч образів належать: Alipr [Error: Reference source not found], AltaVista [Error: Reference source not found], DeviantArt [Error: Reference source not found], Every Stock Photo [Error: Reference source not found], Flickr [Error: Reference source not found], Google images [Error: Reference source not found], Inmagine [Error: Reference source not found], Morgue File [Error: Reference source not found], Photo laboratory [Error: Reference source not found], Photos.com [Error: Reference source not found], Stock.xchng [Error: Reference source not found], Stockvault [Error: Reference source not found], Yahoo!'s Image Surfer [Error: Reference source not found] та ін.
Прикладами сучасних комерційних CBIR-систем, які дозволяють знайти подібні зображення до користувацького є наступні: BYO Image Search Lab [Error: Reference source not found], Gazopa Similar Image Search [Error: Reference source not found], TinEye [Error: Reference source not found], SIMPLIcity [Error: Reference source not found], RetrievR [Error: Reference source not found] та ін.
Наступні комерційні CBIR-системи дозволяють знайти подібні зображення до вибраного користувачем: Bing [Error: Reference source not found], Flickr, Fragrantica [Error: Reference source not found], Google Similar Images [Error: Reference source not found], Incogna [Error: Reference source not found], Like.com [Error: Reference source not found], Live Image search (Live.com) [Error: Reference source not found], Terra Galleria Photography [Error: Reference source not found], Tiltomo [Error: Reference source not found], Xcavator [Error: Reference source not found] та ін.
Прикладами комерційних CBIR-систем, які в якості ознак використовують вміст образу (обличчя, пейзаж, фото) або колір, є наступні: Etsy [Error: Reference source not found], Exalead [Error: Reference source not found], Face Search [Error: Reference source not found], PicItUp [Error: Reference source not found], PicSearch [Error: Reference source not found], Snap.com [Error: Reference source not found] та ін.
Розроблено бібліотеку The Puzzle library [Error: Reference source not found], призначену для організації пошуку зображень на основі їх вмісту.
Більшість CBIR-систем для пошуку використовують різні властивості низького рівня, однак існують спеціалізовані системи, що використовують лише одну ознаку для пошуку: FIR [Error: Reference source not found], RETIN [Error: Reference source not found], SIMBA [Error: Reference source not found], WISE [Error: Reference source not found] та ін.
Чим простіше властивість може бути отримана із зображення, тим легше її впровадити в систему, і тим легше використовувати цю властивість. Наприклад, властивості кольору для пошуку образів здебільшого ефективні, оскільки їх не важко отримати і впровадити в систему. Однак, властивості форми, які є більш стійкі до шуму, беруть більш активну участь у CBIR-системах. Як результат, використовуються дуже прості функції, які часто є малоефективними.
Приклади CBIR-систем, що використовують в якості ознак зображення колірні гістограми: ASSERT [Error: Reference source not found], Blobworld [Error: Reference source not found], C-bird [Error: Reference source not found, Error: Reference source not found], CBVQ [Error: Reference source not found], Circus [Error: Reference source not found, Error: Reference source not found], Compass [Error: Reference source not found], FIDS [Error: Reference source not found], FOCUS [Error: Reference source not found], ImageRETRO [Error: Reference source not found], MIDSS [Error: Reference source not found], NETRA [Error: Reference source not found, Error: Reference source not found], Photobook [Error: Reference source not found], Quicklook [Error: Reference source not found], SMURF [Error: Reference source not found], Viper [Error: Reference source not found] та ін.
Ознаки форми використовують такі CBIR-системи: DrawSearch [Error: Reference source not found], FRIP [Error: Reference source not found], iPURE [Error: Reference source not found], PicToSeek [Error: Reference source not found], SQUID [Error: Reference source not found], Surimage [Error: Reference source not found], VP [Error: Reference source not found] та ін.
Більшість систем використовують ознаки кольору і текстури, меншість – ознаки форми та розташування. Результатом пошуку за кольором зазвичай є зображення зі схожими кольорами. Результатом пошуку за текстурою не завжди є зображення із подібною текстурою, якщо база даних містить багато зображень із домінуючими текстурами. Результати пошуку за формою часто є несподіваними. Тому вони не є найбільш ефективними властивостями.
Дуже незначна кількість CBIR-систем використовує для пошуку знаходження обличчя. Це, зокрема, такі системи: Diogenes, ImageScape [Error: Reference source not found, Error: Reference source not found], MIR, Photobook, WebSeer та ін.
Ознаки текстури використовують такі CBIR-системи: CANDID [Error: Reference source not found], ImageFinder [Error: Reference source not found], Jacob [Error: Reference source not found], KIWI [Error: Reference source not found, Error: Reference source not found] та ін.
Структури даних для індексування здебільшого не використовуються у CBIR-системах. Дійсно, для невеликих колекцій зображень, індексування структури даних не потрібне, а лінійний пошук може бути досить швидким. Сучасні комп’ютери можуть виконувати просте зіставлення сотень зображень у режимі близькому до реального часу.
Прикладами CBIR-систем, які використовують індексування є наступні: AltaVista, Amore [Error: Reference source not found], ASSERT, BDLP, Blobworld, CBVQ, Chabot, CHROMA [Error: Reference source not found], Circus, Excalibur, FIDS, FOCUS, ImageMiner [Error: Reference source not found], ImageRover, LCPD [Error: Reference source not found], MARS, MetaSEEk, NETRA, Picasso [Error: Reference source not found, Error: Reference source not found], PicSOM [Error: Reference source not found], QBIC, Shoebox, SYNAPSE [Error: Reference source not found], VisualSEEk [Error: Reference source not found] та ін.
Для оцінки результатів пошуку для CBIR-систем існують поняття точності (співвідношення між відповідними зображеннями до загальної кількості отриманих зображень) і ефективності (відсоток відповідних зображень до усіх можливих відповідних зображень).
CBIR-cистеми використовують у різних галузях науки та сферах людської діяльності. Зокрема, важливим напрямком колекцій системи ADL є інформаційна підтримка фундаментальних наук, в тому числі про Землю та соціальні науки. Графічні бази даних цієї системи містять цифрові моделі рельєфу, цифрову растрову графіку, відскановані аерофотознімки, зображення пейзажів, набори сейсмічних даних тощо. Система ASSERT призначена для пошуку зображень комп’ютерної томографії легенів з високою роздільною здатністю. Одним із використанням системи CANDID є пошук багатоспектральних супутникових зображень. Система Diogenes призначена для пошуку широко відомих осіб в мережі Інтернет, таких як знаменитостей. Програмне забезпечення Excalibur Visual RetrievalWare інтегроване в систему Image Surfer, яка використовується пошуковими двигунами Yahoo! та InfoseekWWW. Система ImageRover використовується як пошуковий двигун для WWW. Система Jacob використовується для пошуку у відеосховищах даних. Система LCPD використовується для пошуку студійних портретів. Сховища даних системи MARS містять зображення стародавніх африканських артефактів з музею Історії культури в Лос-Анджелесі. Технологія розпізнавання особи системи Photobook реалізована в пакеті Viisage FaceID, який використовується в кількох поліцейських департаментах США. Система Picasso використовується для електронної каталогізації творів живопису та скульптури з музеїв і галерей в центральній Італії. Система Shoebox використовується як інструмент управління власними колекціями фотографій. Система VIR Image Engine інтегрована в бази даних Sybase, Object Design, і Objectivity, і додана як компонента до СКБД Oracle. Система WISE використовується в бібліотеці Стенфордського університета для сприяння навчанню та дослідницьких проектах в області мистецтва.
Більшість з наведених систем пошуку зображень характеризвуються низькою точністю та ефективністю пошуку, і головним недоліком всіх практичних реалізацій є заміна пошуку сортуванням всієї БД за зменшенням схожості зображень з образом-запитом, і, як наслідок, низька швидкодія і неможливість отримання відповіді на запит в реальному масштабі часу.