Institut Fresnel

Thème : Information et Photonique Sous-thème : Télédetecion (Remote Sensing)

Article : Multi-size and multi-model framework based on progressive growing and transfer learning for small target feature extraction and classification, Qiaoqiao Sun, Salah Bourennane & Xuefeng Liu, 2021, VOL. 42, NO. 21, 8145–8164
International Journal of Remote Sensing.

DOI: 10.1080/01431161.2021.1973688

Compte tenu du fort potentiel de l’apprentissage profond en traitement d’images et de ses modèles qui peuvent traiter des données multidimensionnelles, nous nous sommes intéressés à ce domaine dans nos récents travaux en imagerie hyperspectrale.
Comme les traitements basés sur la convolution peuvent considérer des données multidimensionnelles sans difficultés, nous avons utilisés les modèles 2D-CNN et 3D-CNN pour l’extraction et la classification des cibles. 2D-CNN a montré un grand potentiel dans la préservation de la structure spatiale des cibles. 3D-CNN permet de prendre directement des données 3D en entrée du réseau, ce qui permet d’exploiter les informations spectrales et spatiales en même temps.
De nombreux modèles existants basés sur l’apprentissage en profondeur arrivent à extraire des caractéristiques pour de la classification en imagerie hyperspectrale. Les données initiales de grandes dimensions sont souvent transformées en caractéristiques de faibles dimensions par les modèles d’apprentissage en profondeur avant traitement. Cependant, pour la plupart des modèles, la taille d’entrée pour les différentes cibles est la même alors que les différentes cibles ont souvent des tailles différentes, surtout lorsqu’il y a de petites cibles. Afin de résoudre ce problème et de tenir compte de ces variations de taille, nous avons créé un nouveau réseau multi-tailles et multi-modèles basé sur la convolution tridimensionnelle de l’auto-encoder, appelé 3D-M2CAE. Sa mise en œuvre et son optimisation s’appuient sur une technique d’augmentation de données et d’un transfert d’apprentissage. Pour chaque cible observée, trois 3D-CAE avec des tailles et des couches d’entrée progressives sont utilisés pour obtenir ses caractéristiques, ce qui améliore la robustesse d’extraction des caractéristiques en présence de variations des dimensions spatiales. Afin de réduire le temps de calcul, trois tridimensionnels et convolutionnels auto-encodeurs (3D-CAE) sont construits et formés de manière progressive à l’aide du transfert d’apprentissage. L’efficacité de la méthode proposée est vérifiée sur deux jeux de données hyperspectrales. Les résultats démontrent que la méthode proposée a un grand potentiel pour améliorer les résultats de classification des petites cibles.