Bu tezde, termal kızılötesi (TIR) ve görünür bant görüntüler arasında çapraz-mod, çapraz-görüş yerel özellik eşleştirmesi için yeni bir derin öğrenme tabanlı görüntü eşleştirme yöntemi sunuyoruz. Görünür bant görüntülerin aksine, TIR görüntüleri olumsuz aydınlatma ve hava koşullarına daha az duyarlıdır, ancak önemli doku ve doğrusal olmayan yoğunluk farklılıkları nedeniyle eşleştirmede zorluklar sunar. Mevcut el yapımı ve öğrenme tabanlı yöntemler, görünür-TIR eşleştirmede bakış açısı, ölçek ve doku çeşitliliklerini ele almakta yetersiz kalmaktadır. Ayrıca, termal ve görünür bant görüntülerin yoğunluk ve doku özelliklerine karşı derin öğrenme modellerini eğitmek için yeterli sayıda kesin referansa sahip veri setleri eksikliği bulunmaktadır. Bu sorunları çözmek için, gerçek termal ve görünür bant görüntülerle maskelenmiş görüntü modelleme ön eğitimi ve sahte-termal görüntü artırımı ile ince ayar yapmayı içeren iki aşamalı bir eğitim yaklaşımı sunuyoruz. Bu yaklaşım, termal ve görünür bant görüntüler arasındaki mod farklarını ele almaktadır. Ayrıca, ölçek farklılıklarını ayarlayan ve alt piksel seviyesinde iyileştirme yoluyla eşleştirme güvenilirliğini artıran rafine bir eşleştirme hattı tanıtıyoruz. Yöntemimizin farklı bakış açıları ve ölçeklerdeki görünür-TIR görüntü eşleştirme yeteneklerini ve farklı hava koşullarına karşı dayanıklılığını doğrulamak için, bulutlu ve güneşli hava koşullarında altı farklı sahneyi içeren yeni ve kapsamlı bir görünür-termal veri seti topladık. Son olarak, yöntemimizin birçok kriterde mevcut görüntü eşleştirme yöntemlerini geride bıraktığını gösteriyoruz.

In this thesis, we introduce a novel deep learning-based image matching method for cross-modal, cross-view local feature matching between thermal infrared (TIR) and visible-band images. Unlike visible-band images, TIR images are less susceptible to adverse lighting and weather conditions but present difficulties in matching due to significant texture and nonlinear intensity differences. Current hand-crafted and learning-based methods for visible-TIR matching fall short in handling viewpoint, scale, and texture diversities. Additionally, there is a lack of datasets with sufficient ground truth to train deep learning models against the intensity and texture characteristics of thermal and visible images. To address these problems, our method incorporates a two-stage training approach consisting of masked image modeling pre-training with real thermal and visible images, and fine-tuning with pseudo-thermal image augmentation to handle the modality differences between thermal and visible images. Furthermore, we introduce a refined matching pipeline that adjusts for scale discrepancies and enhances match reliability through sub-pixel level refinement. To validate the visible-TIR image matching capabilities of our method at different viewpoints and scales, as well as its robustness to different weather conditions, we collected a novel comprehensive visible-thermal dataset involving six diverse scenes in both cloudy and sunny weather conditions. Finally, we show that our method outperforms existing image matching methods on multiple benchmarks.