FOLLOW US ON SOCIAL

Posted On

29
Квітень
2021

Впровадження методів комп’ютерного зору на ранніх етапах процесу фотограмметрії для підвищення деталізації

Харченко Олександр
(Київ, Україна)
СУЧАСНІ ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ
(Обчислювальна техніка та програмування)
ВПРОВАДЖЕННЯ МЕТОДІВ КОМП’ЮТЕРНОГО ЗОРУ НА РАННІХ ЕТАПАХ ПРОЦЕСУ ФОТОГРАММЕТРІЇ ДЛЯ ПІДВИЩЕННЯ ДЕТАЛІЗАЦІЇ
Досягнення фотограметрії та комп’ютерного зору призвели до розробки підходів Структура із руху (Structure from Motion — SfM) і багатовіконного стерео (Multi-view stereo — MVS), які зазнали надзвичайної еволюції протягом багатьох років. SfM полягає в процесі оцінки позицій камери, що представлені у вигляді послідовності 2D зображень та використовуються для реконструкції трьохмірної геометрії сцени. MVS загальний термін, під яким об’єднується група технік, що використовують стерео відповідність як свій основний механізм, задіючи більше двох зображень. Поєднання SfM, MVS і методів комп’ютерного зору пропонує автоматизований процес для генерації тривимірної хмари точок.
Метою даної роботи є презентація нового алгоритму автоматичної оцінки зображеннь і визначення точок підвищеної деталізації. Представлений алгоритм покликаний зменшити обсяги ручної роботи, необхідної для отримання кращого результату.
MVS алгоритм вимагає додаткової інформації, щоб вдало вирішити проблему реконструкції об’єкту і правильно розмістити камери. Зокрема, він вимагає, щоб кожне вхідне зображення мало відповідну модель камери, яка повнісю описує, як співставити тривимірну точку у світі, двовимірному пікселю у відповідному зображенні. Найчастіше використовують модель камери-обскура для представлення моделі камери. Вона повністю описується матрицею проекції камери 3х4, визначеною в певному масштабі [2].
Для визначення зовнішньої орієнтації зображень необхідно:
1. набір зображень;
2. піксельні координати чотирьох копланарних наземних пунктів орієнтації, виміряних на одному зображенні. Передбачається, що орієнтаціїні пункти також видимі на другому зображенні.
3. внутрішня орієнтація зображень разом з розміром пікселів або з фокусною відстанню, які майже завжди доступні у метаданих зображення;
SfM алгоритм приймає набір зображень, а як результат повертає параметри камери для кожного зображення, і набір треків, — пар відповідних тривимірних координат і двомірних пікселів на зображенні. Більшість SfM алгоритмів мають подібну логіку:
1) визначити особливі точки на кожному вхідному зображенні;
2) знайти відповідні точки між парами зображень;
3) побудова двомірних треків з відповідностей;
4) вирішення SfM можеді з двомірними треками;
5) уточнення SfM моделі використовуючи вирішення проблеми налаштування набору (bundle adjustment problem) [2].
Для підвищення ефективності алгоритму, індекси, відповідають порядковому номеру, починаючи із зображення на якому були виміряні пункти орієнтації і занкінчуючи останнім з набору.
Визначення спільних точок на зображеннях виконується на першому етапі алгоритму. Подальший пошук відповідностей відбувається виключно на парі зображень, для того, щоб скоротити час обробки і мінімізувати навантаження. Для прискорення процесу всі зображення попередньо піддаються зменшеншенню розділбної здатності. На цьому етапі особливі точки визначені на одному зображені порівнюються з особливими точками на всіх інщих зображеннях, використовуючи критерії мінімальної евклідової відстані між їх дескрипторами. Відповідності відкидуються, якщо відстань між дескрипторами відповідних точок знаходиться вище максимальної допустимої межі [1]. Вихідними даними цього етапу є кількість збігів особливих точок між кожною парою зображень, які визначають, чи пересікаються зображення взагалі.
Наступним етапом в алгоритмі фотограмметрії мусить бути оцінка зовнішної орієнтації в парах зображень, але отримавши набір зображень з визначеними точками перетину між кожним з них, можемо реалізувати оброку зображень методами комп’ютерного зору, а саме виявленням об’єктів (object detection). Такий підхід дозволить встановити певний регіон на зображеннях де знаходиться головний об’єкт фотограмметрії, втсновити певні елементи на цьому об’єкті, які потребують підвищеної деталізації, і у разі необхідності запустити попередній етап визначення особливих точок ще раз, вже з певними уточненнями.
Таким чином, вихідними даними попередніх етапів буде набір пар зображень з певною кількістю перетинів між кожним з них і набір координат пікселів, що уточнюють місця підвищеної деталізації.
Література:
1. Styliani Verykokou. A photogrammetry-based structure from motion algorithm using robust iterative bundle adjustment techniques/ Styliani Verykokou, Charalabos Ioannidis. – National Technical University of Athens, Greece ,2018. – 8 c.
2. Yasutaka Furukawa. Multi-View Stereo: A Tutorial. – Foundations and TrendsR in Computer Graphics and Vision, vol. 9, no. 1-2/ Yasutaka Furukawa, Carlos Hernández. – United States, 2013. – 148 c.
Науковий керівник: доктор технічних наук,
професор Бородавка Євгеній Володимирович