Реєстрація зображень (зіставлення, накладання) — це процес трансформування різних наборів даних в одну координатну систему. Даними можуть бути серія фотографій, дані з різних сенсорів, моментів часу, глибини, або точок спостереження. Алгоритми реєстрації зображень використовуються в комп'ютерному баченні, методах медичної візуалізації, у військовій справі для автоматичного розпізнавання цілей, і для впорядковування і аналізу зображень із супутникових даних. Реєстрація необхідна для того, мати можливість порівнювати або інтегрувати отримані з цих різних пристроїв реєстрації даних.
Класифікація алгоритмів
Порівняння методів основаних на аналізі інтенсивності або основі виділення ознак
В даному процесі, одна частина зображень являє собою опорне зображення або еталон, а інші відповідні зображення називаються цільовими, або тими, що підлягають скануванню, пошуку об'єктів. Реєстрація зображення досягається шляхом співставлення цільових зображень, так щоб вони збігалися з еталонним зображенням. У методах, що працюють з інтенсивністю зображень, порівнюють зразки інтенсивності зображення на основі кореляції показників, а в методах основаних на виділенні ознак шукають відповідності між елементами зображення, такими як точки, лінії і контури. Методи на основі аналізу інтенсивності, зіставляють цілі зображення чи частини зображень. Якщо зіставляються частини зображень, центри відповідних частин зображення розглядаються як відповідні характерні точки. Методи на основі виділення ознак головним чином встановлюють відповідність між групою різних точок зображення. Знайшовши відповідність між цими групами точок на зображенні (образами), для зображення кінцевого зображення виконується геометрична трансформація над цільовим зображенням, перед співставленням з еталонним зображенням, яка показує відповідність між цими зображеннями точка за точкою.
Моделі трансформації
Алгоритми співставлення зображень також можна класифікувати відповідно до моделей трансформації, які вони використовують для співвідношення простору цільового зображення в простір еталонного зображення. Перша широка категорія моделей трансформації включає в себе лінійні відображення такі як: обертання, масштабування, переміщення і інші афінні перетворення. Лінійні відображення носять глобальний характер, таким чином, їх не можна застосовувати для моделювання місцевих геометричних відмінностей між зображеннями.
Друга категорія перетворень дозволяє здійснювати еластичні або нежорсткі перетворення. Такі трансформації дозволяють здійснювати локальні деформації цільового зображення для узгодження з еталонним. Нежорсткі перетворення включають в свій набір радіальні базисні функції (сплайн "тонка пластина" або сплайни поверхонь, мультиквадратичні, і фінітні перетворення (тобто з компактним носієм)), моделі фізичної безперервності (в'язких рідин), моделі великих деформацій (дифеоморфізм).
Просторові методи і методи в частотній області
Просторові методи мають справу з простором зображення порівнюючи зразки інтенсивності або елементи зображення. Деякі алгоритми виділення ознак походять від традиційних технік для виконання ручного співставлення зображень, в яких оператор вручну виділяє відповідні контрольні точки в зображеннях. Коли кількість контрольних точок перевищує мінімум, що необхідний для визначення правильної моделі трансформації, можуть застосовуватись ітеративні алгоритми, такі як RANSAC, щоб швидко оцінити параметри конкретного типу перетворення (наприклад афінного) для співставлення зображень.
Методи, що працюють в частотній області визначають параметри трансформації для співставлення зображень при роботі в області перетворення. Такі методи застосовуються для простих перетворень, таких як переміщення, обертання і масштабування. Застосовуючи метод фазової кореляції до пари зображень отримують третє зображення, яке містить одиничний пік (точку). Координати цього піку, відповідають відносному зсуву між зображеннями. На відміну від просторових алгоритмів, метод фазової кореляції стійкий до наявності шуму, осциляцій, і інших перешкод, що є типовими для медичних чи супутникових зображень. Крім того, метод фазової кореляції використовує швидке перетворення Фур'є для підрахунку крос-кореляції між двома зображеннями, що як правило відбувається з високою продуктивністю. Метод можна вдосконалити для розрахунку різниці при обертанні і масштабуванні між двома зображеннями перевівши їх перед тим до лог-полярних координат. Завдяки властивостям перетворення Фур'є, обертання і масштабування може визначатися у спосіб інваріантний до переміщення.
Одно- і мульти-модальні методи
Інша класифікація груп методів це одномодальні і мультимодальні методи. Одномодальні методи намагаються реєструвати зображення отримані в одному режимі за допомогою однакового типу сенсора/сканера, в той час як мультимодальні методи реєстрації працюють з зображеннями, що отримані з різних типів і режимів роботи сенсорів.
Мультимодальні методи реєстрації часто використовуються в медичній візуалізації оскільки зображення об'єкту часто отримуються з різних сканерів. Прикладом того є реєстрація КТ/МРТ зображень мозку або ПЕТ/КТ зображення всього тіла для виявлення пухлин, реєстрації КТ зображень підвищеної контрастності в порівнянні з КТ зображеннями без підвищення контрастності для сегментації специфічний частин анатомії, і реєстрації ультразвукових і КТ зображень для локалізації передміхурової залози при променевій терапії.
Автоматичні і інтерактивні методи
Методи реєстрації можна класифікувати відносно рівня автоматизації, що вони забезпечують. Існують ручні, інтерактивні, полу-автоматичні і автоматичні методи. Ручні методи надають інструменти для зіставлення зображень вручну. Інтерактивні методи дозволяють зменшити систематичні помилки користувача, виконуючи певні ключові операції автоматично, але потребують участі користувача для контролю процесу реєстрацію. Напівавтоматичні методи автоматичного виконують більшість кроків реєстрації автоматично, але залежить від перевірки правильності користувачем. Автоматичні методи не потребують будь-якої взаємодії з користувачем і виконувати всі дії автоматично.
Міри схожості
Аналіз подібності зображень широко використовується в медичній візуалізації. Міри схожості зображень визначають ступінь схожості між образами інтенсивності двох зображень. Вибір міри схожості зображення залежить від модальності зображень, які зіставляються. Типовими прикладами таких мір схожості зображень є крос-кореляція, взаємна інформація, сума квадратів різниць інтенсивності, і співвідношення однорідності зображення. Міра взаємної інформації і нормалізованої взаємної інформації є найбільш популярною мірою схожості при співставленні мультимодальних зображень. Крос-кореляція, сума квадратів різниць інтенсивності і співвідношення однорідності зображення зазвичай використовуються для реєстрації зображень однакової модальності.
Невизначеність
Існує рівень невизначеності, що пов'язана з реєстрацією зображень, які мають які-небудь просторово-часові відмінності. Реєстрація зображень з мірою невизначеності є необхідною для багатьох застосувань виявлення змін, таких як медична діагностика.
В задачах дистанційного спостереження в яких цифрове зображення може представляти кілька кілометрів просторової відстані (такі як зображення NASA LANDSAT), невизначеність в реєстрації зображень може означати, що результат може мати деталізацію в декілька кілометрів в порівняні з точністю на поверхні землі. В кілька відомих роботах намагалися кількісно оцінити невизначеність в реєстрації зображень, щоб порівняти результати. Однак, багато підходів для оцінки невизначеності або визначення деформацій дуже затратні в обчисленні або застосовуються лише для обмеженого набору просторових трансформацій.
Посилання
- Кривцов О. А., Кориков А. М. Инверсно-композиционный алгоритм регистрации изображений Программная реализация алгоритма регистрации средствами языка C++ и библиотеки OpenCV
- Richard Szeliski, Image Alignment and Stitching: A Tutorial. Foundations and Trends in Computer Graphics and Computer Vision, 2:1-104, 2006.
- BrainAligner: for very large scale 3D brain registration, Nature Methods, 2011.
- B. Fischer, J. Modersitzki: Ill-posed medicine — an introduction to image registration. Inverse Problems, 24:1–19, 2008
- Barbara Zitová, Jan Flusser: Image registration methods: a survey. Image Vision Comput. 21(11): 977—1000 (2003).
- C. Je and H.-M. Park. Optimized Hierarchical Block Matching for Fast and Accurate Image Registration. Signal Processing: Image Communication, Volume 28, Issue 7, pp. 779—791, August, 2013.
- Registering Multimodal MRI Images using Matlab.
- elastix: a toolbox for rigid and nonrigid registration of images.
- niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).
- Image Registration techniques using MATLAB