Effet des nuages sur l’évaluation des systèmes de détection des dégâts cycloniques en Dominique
Analyse de sensibilité par paroisse après le passage de l’ouragan Maria en 2017
En termes simples
Après Maria, les nuages cachaient 1 166 bâtiments cartographiés. Plus de la moitié se trouvaient à Saint Patrick. [1]
Un logiciel qui déclarerait tous les bâtiments visibles endommagés retrouverait trois étiquettes sur quatre. Il se tromperait sur chaque bâtiment sans marque de dégâts. Pour le tester, il faut compter les deux types d’erreurs et indiquer les endroits où les nuages cachent la réponse.
Structures cartographiées masquées par les nuages
Étapes de l’analyse
- Compter les structures
- Isoler les structures visibles
- Encadrer les étiquettes inconnues
- Comparer les paroisses
Lire l’étude complète
Les nuages peuvent masquer des lacunes locales dans une carte des dégâts. À partir des dix paroisses de la carte publiée en octobre 2017 par UNOSAT et Copernicus, nous avons étudié la couverture des données de référence pour la vision par ordinateur. Les images couvraient 37 368 des 38 534 structures cartographiées. Parmi les 1 166 structures hors de la zone visible, 636 se trouvaient à Saint Patrick. À étiquettes visibles constantes, la part des structures susceptibles d’être signalées pour dégâts va de 73,46 % à 76,49 % sur l’île. À Saint Patrick, l’intervalle atteint 13,34 points. Ces bornes concernent les étiquettes de l’inventaire. La mesure des dégâts matériels exigerait des inspections sur place. [1]
Question de recherche
Dans quelle mesure les structures invisibles peuvent-elles modifier la proportion marquée pour dégâts possibles ? Où ces lacunes pèsent-elles le plus dans un test de classification d’images ?
Données et méthodes
Pour chaque paroisse, nous avons relevé l’effectif de l’inventaire, les structures visibles et celles signalées pour dégâts possibles sur la carte du 18 octobre 2017. UNOSAT a combiné son interprétation avec celle de Copernicus à partir d’images de plusieurs dates. Chaque contour correspond à une structure cartographiée. Pour cette analyse, une structure visible porte ou non une marque de dégâts possibles. L’étiquette des structures cachées reste inconnue. [1]
Avec N structures cartographiées, V visibles et A signalées, la proportion signalée parmi les visibles vaut A/V. Sur tout l’inventaire, elle se situe entre A/N et (A + N − V)/N. La première borne ne marque aucune structure cachée, la seconde les marque toutes. Nous avons additionné les effectifs avant de calculer les bornes pour l’île. Aucune hypothèse sur la localisation des dégâts sous les nuages n’est nécessaire.
Résultats
La carte signale 28 309 structures sur 37 368 visibles. Un système qui signalerait toutes les structures visibles serait en accord avec la carte dans 75,76 % des cas. Il ne reconnaîtrait aucune des 9 059 structures visibles sans marque. Ce score de référence ne demande aucun entraînement. [1]
Saint Patrick regroupe 54,55 % des structures cachées. La part signalée y atteint 72,99 % parmi les visibles. Les bornes pour l’inventaire entier sont de 63,26 % et 76,59 %. Saint Mark présente le deuxième intervalle le plus large, à 8,25 points. Saint John présente le plus étroit, à 0,26 point. Arrondir chaque borne séparément peut modifier la largeur affichée de 0,01 point. [1]
Discussion
Pour évaluer un classificateur, il convient de publier la couverture de chaque paroisse et les erreurs séparées pour les structures visibles avec et sans marque. Un système qui prédit des dégâts partout peut obtenir un score élevé. Il faut une autre image ou une visite sur place pour attribuer une étiquette de référence aux structures cachées. L’étude xBD distingue aussi les indices visibles sur image des constatations sur place. [2]
Limites
Les bornes tiennent fixes les étiquettes visibles et l’inventaire de 2017. Elles laissent de côté les bâtiments absents, les erreurs cartographiques, les écarts entre dates de prise de vue et les dégâts sous les toits. Lors de sa publication, l’évaluation était préliminaire et n’avait pas été validée sur le terrain. Les décomptes par paroisse ne contiennent pas de prédictions individuelles d’un modèle. Ils ne permettent de déterminer ni sa sensibilité ni l’état d’un bâtiment précis. [1]
Reproduire l’analyse
Relever dans la source [1] les trois effectifs de chaque paroisse.
Soustraire l’effectif visible de l’inventaire pour obtenir l’effectif masqué. Diviser par l’inventaire et multiplier par 100 pour obtenir le chiffre du graphique.
Pour la borne basse, diviser l’effectif signalé par l’inventaire. Pour la borne haute, ajouter l’effectif masqué au numérateur. Refaire le calcul avec les totaux des colonnes.
Tableau de données
| Paroisse | Structures cartographiées | Structures visibles | Structures signalées pour dégâts possibles |
|---|---|---|---|
| Saint Andrew | 6210 | 6164 | 5505 |
| Saint David | 3967 | 3910 | 3357 |
| Saint George | 8788 | 8757 | 5691 |
| Saint John | 3398 | 3389 | 2246 |
| Saint Joseph | 4010 | 3936 | 3269 |
| Saint Luke | 820 | 816 | 590 |
| Saint Mark | 1043 | 957 | 597 |
| Saint Patrick | 4768 | 4132 | 3016 |
| Saint Paul | 4570 | 4353 | 3218 |
| Saint Peter | 960 | 954 | 820 |
Références
- UNITAR–UNOSAT and Copernicus (2017). Buildings Damage Assessment & Related Density in Dominica: Analysis by Parish, 18 October, version 1.0. Parish table.
- Gupta et al. (2019). Creating xBD: A Dataset for Assessing Building Damage from Satellite Imagery. CVPR Workshops.
Crédits des données · UNITAR–UNOSAT / Copernicus, 18 October 2017. Parish totals; CAIA calculations. Source map: CC BY-NC 3.0.
Télécharger les données et le code d’analyse (ZIP)
Document de travail · Vérification interne · Comment nous vérifions les études