Introduction à la vérification des prévisions hydrologiques

Introduction

Échelle limnimétrique sur un pont

La vérification des prévisions hydrologiques fournit des informations précieuses tant aux prévisionnistes qu'aux utilisateurs des prévisions.

Personnes construisant une digue à l'aide de sacs de sable durant une crue

Ces informations peuvent être utilisées par ces deux groupes aux fins de l'évaluation, de l'amélioration et de l'utilisation des produits de prévision.

personnes construisant une digue à l'aide de sacs de sable devant une maison entourée par les eaux de crue

La vérification des prévisions hydrologiques peut s'avérer utile dans divers contextes hydrologiques, notamment pour faire face à l’écoulement causé par la fonte des neiges, aux difficultés d'approvisionnement en eau et à tous les types d'écoulement des cours d'eau, y compris les crues et les débits d'étiage.

Thèmes liés à la vérification

  • Caractéristiques de distribution
  • Degré de confiance des prévisions
  • Corrélation
  • Prévisions catégoriques
  • Exactitude (mesure de l’erreur)
  • Performance de prévision
  • Vérification conditionnelle

Ce module présente et explique les mesures statistiques et les représentations graphiques liées à sept thèmes de la vérification hydrologique. Ces thèmes ont été définis par une équipe du Service météorologique national des États-Unis (NWS) qui est spécialisée dans les systèmes de vérification. Ils sont traités dans les sections 2 à 8 de ce module.

Cette section expose les raisons justifiant de vérifier les prévisions et introduit des concepts et des termes importants. Nous examinerons les questions suivantes:

  • Pourquoi vérifie-t-on les prévisions hydrologiques?
  • Pourquoi ne peut-on pas s'appuyer sur un seul critère?
  • Qu'est-ce qu'une « bonne prévision »?
  • Quels types de prévisions hydrologiques vérifie-t-on?
  • Quelles sont les mesures de vérification couramment utilisées?
  • Quels sont les sept thèmes de vérification retenus par l'équipe compétente du Service météorologique national des États-Unis (NWS)?

Pourquoi vérifier les prévisions?

Évaluation et vérification

Carte de prévision des écoulements du Northeast River Forecast center

On procède à l'évaluation des prévisions hydrologiques pour trois grandes raisons. 1) pour comprendre et quantifier l'exactitude et la performance des prévisions. 2) pour voir si les informations sont bien communiquées aux utilisateurs des prévisions. 3) pour évaluer l'utilité de la prévision dans le contexte d'un utilisateur particulier.

Ce module se concentre sur la première raison: la volonté de comprendre et quantifier l'exactitude et la performance des prévisions. C'est ce qu'on appelle la vérification des prévisions.

Hydrogramme des valeurs prévues et observées

Trois grandes raisons peuvent expliquer la vérification des prévisions. 1) On peut vouloir surveiller la qualité des prévisions, c'est-à-dire mesurer la correspondance entre prévisions et observations. 2) On peut vouloir améliorer la qualité des prévisions en déterminant les forces et les faiblesses du système de prévision. 3) On peut vouloir comparer deux systèmes de prévision.

Exemple de prévision du niveau fluvial

Une prévision sera considérée comme « bonne » ou non selon l'utilisateur et selon la situation. Un utilisateur de prévisions fluviales peut se demander : « Le niveau maximal correspondra-t-il exactement aux prévisions? »

Exemple de prévision: « niveau maximal »

Si la prévision est fausse, le niveau sera-t-il plus ou moins élevé?

Exemple de prévision: « instant de survenue du phénomène »

Les prévisions indiquent-elles généralement précisément quand le niveau est maximal? Si ce n'est pas le cas, le pic observé intervient-il plus tôt ou plus tard?

Exemple de prévision avec erreurs sur le niveau du pic et sur le moment où il intervient

Un prévisionniste, quant à lui, peut souhaiter obtenir des informations supplémentaires, et se demander: « Nos prévisions sont-elles bonnes même si l'exactitude n'est pas absolue? » Il peut se demander: « Nos prévisions sont-elles meilleures que telle prévision de référence, par exemple que la sortie du modèle non ajustée? » Dans cet exemple hypothétique, pour le premier pic, la différence entre l’observation et la prévision ajustée par des professionnels est plus petite que la différence entre l’observation et la sortie du modèle.

La prévision ajustée est donc plus efficace que celle du modèle. Pour le deuxième pic, la prévision ajustée par des professionnels est aussi temporellement plus proche de l’observation que la prévision du modèle. Encore une fois, la prévision ajustée s’avère plus efficace que la prévision du modèle.

Un prévisionniste peut améliorer ses prévisions grâce à la vérification, surtout s'il constate des erreurs persistantes.

Buts de la vérification:

  • Contrôle de la qualité
  • Réduction de l'erreur
  • Comparaison entre les systèmes de prévision

Un prévisionniste peut donc vérifier les prévisions pour contrôler la qualité, réduire les erreurs de prévision et comparer des systèmes de prévision.

Référence à un critère unique

Maison à vendre - sans information

Les décideurs politiques aimeraient souvent que le résultat d’une vérification soit exprimée à l’aide d’un seul chiffre. (1) Si vous deviez décrire une maison à quelqu'un, pourriez-vous vous contenter de n'indiquer que le prix? Bien sûr que non.

Maison à vendre - avec informations

Bien que le prix soit important, on souhaite également obtenir des informations sur l’année de construction, le nombre de pièces, la taille, l'état, l'emplacement...

maison près d'un ruisseau

et une photo !

De même, pour vérifier une prévision hydrologique, on ne peut pas se contenter de mesurer l'exactitude selon un seul critère, comme la racine de l'erreur quadratique moyenne. C'est un critère important, mais il faut aussi mesurer les biais, la distribution des données, le degré de confiance, la corrélation, la performance, la discrimination et la fiabilité.

Articulation des mesures de vérification

Ce module devrait vous convaincre qu'une bonne vérification exige normalement d'examiner plusieurs chiffres et/ou figures, en fonction du type de prévision et des informations souhaitées.

Comment définir la qualité?

Qu'est-ce qu'une « bonne prévision »?

Prévision que le niveau critique de crue ne sera pas atteint

Revenons à la question toute simple : « comment mesurer la qualité d'une prévision? » Supposons que, selon les prévisions actuelles, dans 24 heures, le niveau de la rivière va se mettre à monter, pour s’élever rapidement de 5 mètres en 6 heures, et culminer à 20,75 mètres, soit 0,25 mètre au-dessous du niveau critique de crue.

Prévision que le niveau critique de crue ne sera pas atteint avec indication de la marge d'incertitude

Imaginons maintenant que le niveau monte exactement au moment prévu, mais que le pic atteigne 21,25 mètres au lieu de 20,75 mètres. Le pic se trouve donc à 0,25 mètre au-dessus du niveau critique de crue au lieu de 0,25 mètre au-dessous. La prévision était-elle bonne? Bien entendu, tout dépend de la personne qui pose la question et du contexte. Un prévisionniste sachant que la mesure des niveaux élevés sur cette rivière s’accompagne d’une grosse marge d'incertitude considérerait probablement cette prévision comme bonne.

Un responsable de la gestion des crises, par contre, verrait surtout que le niveau critique de crue a été dépassé et que personne ne l’avait annoncé.

maison et personnes construisant une digue à l'aide de sacs de sable

Compte tenu des graves conséquences que peut avoir l’absence de tout préparatif en cas d’inondation, cette même prévision pourra être considérée comme mauvaise.

Prévision que le niveau critique de crue ne sera pas atteint, avec indication de la marge d'incertitude

Supposons maintenant que le responsable de la gestion des crises ait consulté les statistiques pour ce type de prévision et qu’il sache que les prévisions relatives à la montée des eaux s'écartent parfois de plus d'un demi-mètre de la valeur vraie. Sachant que les prévisions de crues subites s'accompagnent souvent d'une grande incertitude, le responsable compétent décidera peut-être de prendre des mesures d'urgence si l’on prévoit une élévation à moins de 0,25 mètre du niveau critique de crue.

Types de prévisions

Types de prévisions hydrologiques à vérifier

Types de prévisions:

  • Déterministes
    • Valeur unique
  • Probabilistes
    • Valeurs multiples

Nous prenons deux types de prévision en considération: les prévisions déterministes et les probabilistes. Les prévisions déterministes sont des prédictions à valeur unique qui ne s'accompagnent d'aucune information sur l'incertitude. Les prévisions probabilistes prennent la forme de valeurs multiples ou de probabilités décrivant la fourchette des résultats possibles.

Le choix du type de vérification dépend de la nature de la prévision. Nous vous proposons ici un exemple simple pour faire ressortir les différences, mais nous vous encourageons à consulter les documents disponibles en ligne sur les prévisions probabilistes.

Ressources supplémentaires:
Voir le module sur les Prévisions d'ensemble de l'écoulement fluvial pour plus d'informations à ce sujet.

prévision déterministe d’un niveau de 23 m

Pour donner un exemple de prévision déterministe dans le domaine des crues, on pourrait annoncer: « la rivière atteindra 23 mètres à son niveau maximal ». Une seule valeur est indiquée (23 mètres) et deux résultats sont possibles : 1) le niveau atteindra 23 mètres ou 2) il n'atteindra pas 23 mètres.

Dans le cas d’une prévision déterministe, on pourra annoncer le dépassement d’une limite importante, comme le niveau critique de crue, sans donner aucune précision sur l'incertitude. Dans ce cas, on semble prévoir une inondation avec certitude, car le niveau prévu (23 mètres) est supérieur au niveau critique de crue (22 mètres).

Prévision déterministe avec catégories

Les prévisions, qu'elles soient déterministes ou probabilistes, peuvent être exprimées sous forme catégorique. Autrement dit, nous pouvons répartir la gamme des valeurs possibles en catégories distinctes.

Dans notre exemple, nous avons quatre catégories: aucune crue, crue mineure, crue modérée et crue majeure. Si nous prévoyons un niveau de 23 mètres, notre prévision déterministe, si elle est catégorique, annoncera une crue mineure, car 23 mètres se situe dans cette catégorie.

Prévision probabiliste avec catégories

Les prévisions probabilistes sont associées à une probabilité. Dans cet exemple, il s'agit de la probabilité que le niveau d'eau ait certaines valeurs. Si nous reprenons les catégories que nous venons de définir, nous pouvons exprimer une prévision probabiliste ainsi: il y a 40 % de chances que le niveau se trouve dans la catégorie des crues mineures. Cela signifie qu'il y a 60 % de chances que le niveau observé se trouve en dehors de la catégorie des crues mineures, soit au-dessus, soit au-dessous.

La prévision probabiliste d'une crue mineure donne une mesure de l'incertitude. La prévision déterministe impliquait une crue mineure sans incertitude.

prévision probabiliste avec probabilités cumulatives et catégories

Introduisons maintenant le concept de probabilités cumulatives, que nous utiliserons à la section suivante. En l'occurrence, la probabilité que le niveau dépasse 26 mètres et de 10 %. Il y a 30 % de chances que le niveau dépasse 24 mètres, ce qui correspond à la somme des probabilités dans les deux catégories de niveau les plus élevées. De même, la probabilité que la rivière dépasse le niveau critique de crue, situé à 22 mètres, est de 70 %, car c'est la somme des probabilités des trois catégories les plus élevées. Enfin, il y a 100 % de chances que le niveau atteigne ou dépasse le niveau actuel, de 18,5 mètres.

Une prévision probabiliste n'a pas besoin d'être associée à des catégories. Les probabilités peuvent être associées à des valeurs de niveau particulières.

Mesures de vérification

Thèmes/mesures de vérification

tableau des thèmes traités dans ce module

On utilise des mesures de vérification de types très divers. Nous les avons classées en fonction des attributs de prévision nécessaires pour l'utilisateur.

Une équipe de spécialistes du Service météorologique national des États-Unis (NWS) a dressé une liste de sept thèmes fondamentaux pour la vérification hydrologique. Ces thèmes, tout comme les mesures de vérification qui s'y associent, figurent dans ce tableau. Ce sont: les caractéristiques de distribution, le degré de confiance, la corrélation, les prévisions catégoriques, l’exactitude, l’efficacité et la performance conditionnelle.

Chacune des sections 2.0 à 8.0 de ce module détaille un de ces sept thèmes.

Ressources supplémentaires:
National Precipitation Verification Unit (NPVU) Help Guide to Understanding Verification Graphics.

Caractéristiques de distribution

Cette section traite des caractéristiques de distribution des prévisions et des observations. C'est l'un des sept facteurs à prendre en compte lorsqu’on entreprend de vérifier des prévisions hydrologiques.

Les caractéristiques de distribution nous renseignent sur les valeurs observées ou prévues, la fourchette de valeurs, les extrêmes et certaines valeurs caractéristiques. En examinant les caractéristiques de distribution, nous pouvons découvrir la dispersion des valeurs dans une plage de valeurs envisageables.

Mesures des caractéristiques de distribution

Déterministes Probabilistes
Moyenne
Variance
Écart type
Fonction de densité de probabilité (FDP) et fonction de répartition cumulative (FRC) Fonction de densité de probabilité (FDP) et fonction de répartition cumulative (FRC)
Écart Interquartile (EI) Écart Interquartile (EI)
Histogramme de rang

On choisit parfois des mesures différentes selon qu’on veut vérifier des prévisions déterministes ou probabilistes. Pour la vérification des prévisions probabilistes, en particulier, la fonction de densité de probabilité, la fonction de répartition cumulative, l'intervalle interquartile et l’histogramme de rang sont particulièrement pertinents.

Moyenne /variance

Moyenne, variance, écart type

Calcul de la moyenne mathématique

Si l’on vérifie des prévisions déterministes, on utilise couramment la moyenne, la variance et l’écart type pour évaluer la dispersion et de la distribution des valeurs. La moyenne est la somme des valeurs divisée par le nombre de valeurs. La moyenne est utilisée pour calculer la variance et la Racine d'Erreur Quadratique de la Moyenne (REQM), autrement appelée : racine carrée de la variance.

Calcul de la variance / de l’écart type

La variance est une mesure de la dispersion des valeurs autour de la moyenne. Elle correspond à la moyenne des carrés des écarts à la moyenne des diverses valeurs. On l'appelle aussi l'écart à la moyenne. Si toutes les valeurs sont très proches de la moyenne, la variance est faible.

L’écart type est la racine carrée de la variance. On l'utilise souvent pour déterminer dans quelle mesure une valeur particulière est caractéristique. Dans le cas d'une distribution normale, environ 67 % des valeurs devraient se situer à moins d'un écart type de la moyenne, et environ 95 % devraient se situer à moins de deux écarts types de la moyenne. Ainsi, toute valeur se situant à au moins 2 écarts types de la moyenne n’est pas caractéristique, car on l'observe tout au plus 5 % du temps.

Comme on peut s’y attendre, les variables hydrologiques ne présentent généralement pas une distribution normale. La moyenne et la variance peuvent néanmoins fournir une bonne synthèse des données.

Question

1. Par rapport à une rivière dont le débit est très constant, une rivière dont le débit fluctue fortement d'une année à l'autre aura une variance _____ même si le débit moyen _____. Choisissez la bonne réponse

La bonne réponse est a)

Faites votre choix.

FDP/ FRC

Fonction de densité de probabilité (FDP) et fonction de répartition cumulative (FRC)

La fonction de densité de probabilité (FDP) et la fonction de répartition cumulative (FRC) permettent de visualiser les fonctions de probabilité de certaines variables continues. Dans le contexte des prévisions, elles présentent la distribution des valeurs prévues.

Nous présenterons tout d’abord la FDP et la FRC en considérant des distributions normales. Nous aborderons ensuite les distributions asymétriques, qui sont fréquentes pour les variables hydrologiques.

Exemple de FDP et de FRC

Sur les deux graphiques, l'axe des x est gradué dans l'unité des données concernées, en l'occurrence une unité de débit telle que les mètres cubes par seconde ou les litres par seconde. L'axe des y indique la probabilité, qui va de 0 (probabilité nulle) à 1,0 (probabilité de 100 %).

Exemple simple de FDP et de FRC

Commençons par le cas simple d'une prévision déterministe qui indique un débit de 600 unités de débit. Sur le graphique FDP se trouve un point avec une probabilité de 1,0 à la valeur de 600 unités. La courbe prend la forme d’une seule ligne verticale. Sur le graphique FRC se trouve une ligne avec une probabilité de 0,0 pour toutes les valeurs de débit inférieures à 600 unités, puis la probabilité cumulative devient 1,0 pour les valeurs de 600 unités ou plus.

Graphiques de FDP et de FRC:

  1. Ils peuvent être élaborés à partir de prévisions probabilistes ou de plusieurs prévisions déterministes de valeur unique.
  2. Si l’on a plusieurs prévisions, les graphiques permettent de visualiser leur distribution.

Mais les graphiques de FDP et de FRC sont généralement utilisés pour plus d'une valeur prévue. C'est pourquoi ces courbes révèlent une dispersion des valeurs au fur et à mesure que la probabilité change. On peut créer ces graphiques à partir de prévisions probabilistes ou de plusieurs prévisions déterministes de valeur unique. Lorsqu'on dispose de plusieurs prévisions, les graphiques de FDP et de FRC présentent leur distribution.

Nous verrons plus tard comment utiliser une FRC pour plusieurs prévisions ou pour des prévisions probabilistes et établir une comparaison avec une observation de valeur unique. Cela nous fournira la base d'un indicateur appelé l'indice de probabilité ordonné.

Courbe de FDP avec indication de la moyenne

La FDP fait ressortir les valeurs les plus fréquentes. Ici, ces valeurs sont proches de 600 unités.

Courbes de FDP légèrement décalées

La FDP montre également comment les valeurs se répartissent autour de la moyenne. Un pic net et très marqué indique un faible écart type ou des prévisions d'un degré de confiance élevé.

Courbes de FDP plus nettement décalées

Un pic large et peu marqué indique un écart type plus important, ou une plus grande incertitude autour du débit.

Courbes de FDP ayant des moyennes différentes

Si le pic se situe ailleurs sur l'axe des x, la valeur moyenne est différente.

FDP pour une distribution normale

Ici, comme les distributions sont normales, la médiane et la moyenne ont la même valeur.

L’aire au-dessous de la courbe de FPD est égale à 1,0

L'aire au-dessous de la courbe de FDP est égale à 1,0. C'est une caractéristique importante, car tout du spectre des données est circonscrit par la courbe.

Graphique de FRC

Le graphique de FRC correspondant présente la probabilité cumulative pour un niveau de débit donné.

Exemple de FRC

Par exemple, la courbe reflétant une forte variance indique une probabilité de 90 % que l’écoulement soit de 900 unités de débit ou moins. On peut aussi en déduire qu'un dépassement n’est pas probable. Autrement dit, la probabilité de ne pas dépasser 900 unités de débit s'élève à 90 %.

FRC présentant la pente positive la plus marquée

La pente positive la plus forte correspond à la valeur la plus fréquente, qui se situe autour de 600 unités pour ces courbes.

Valeur médiane de la FRC

La médiane correspond à la valeur de probabilité cumulative de 0,5 sur la courbe de FRC, car, par définition, la médiane est le point de partage entre la moitié inférieure et la moitié supérieure des valeurs.

FRC pour les faibles variances

Les courbes de FRC des ensembles de données à faible variance couvrent une plus petite plage de valeurs sur l'axe des x et ont une pente plus marquée.

FRC à variance plus fortes

Les variances plus fortes sont reflétées par des courbes de pente moins forte et couvrent une plus grande plage de valeurs sur l'axe des x.

FDP/FRC réelles

Bien sûr, les courbes de FDP et de FRC correspondant à des valeurs du monde réel ne sont pas aussi simples. Les variables hydrologiques comme l'écoulement fluvial ne se caractérisent pas par des distributions normales. Un courbe de FDP représentant des données réelles a souvent une plus forte dispersion à l'extrémité supérieure.

Notez que, parfois, l'axe des y de la FDP indique la fréquence. La fréquence se calcule en multipliant la probabilité par la taille de l'échantillon.

FDP d'une rivière

Quand la distribution est asymétrique, les valeurs médiane et moyenne ne sont pas égales. La médiane est le point de partage entre la moitié inférieure des valeurs de débit et la moitié supérieure. Les valeurs relatives au débit de cette rivière étant réparties de manière asymétrique dans la zone des valeurs les plus élevées, la médiane, qui correspond à 350 unités de débit, est décalée du côté des valeurs inférieures de la plage de valeurs, qui va d'environ 50 à 1050 unités de débit. Lorsque la distribution est asymétrique, le débit moyen (qui est en l'occurrence d'environ 440 unités de débit) est correspond pas à la médiane. Ici, la moyenne est plus grande que la médiane, ce qui est fréquent dans les ensembles de données sur le débit des rivières. De même que pour la médiane, le débit moyen et plus éloigné les débits élevés que des débits les plus faibles.

FDP pour une rivière avec mention de la probabilité

La dispersion asymétrique des valeurs de débit ayant moins d'incidence sur la médiane, celle-ci est souvent considérée comme plus représentative de l'ensemble des données que la valeur moyenne.

FRC pour une rivière

La courbe de la FRC correspondant à cette FDP marque une asymétrie dans la zone des débits plus élevés. La pente de la courbe est plus forte dans la partie gauche du graphique où se situe la fréquence la plus élevée des valeurs de débit. Sur le côté droit, la courbe s'aplatit parce que les valeurs de débit élevé sont moins fréquentes. Notez aussi les valeurs de la moyenne et de la médiane.

FDP et FRC d'une rivière

Si nous regardons d’un même coup d’œil la FDP et la FRC, nous pouvons voir une relation. Une fréquence élevée sur la courbe de la FDP correspond à une pente marquée de la courbe de la FRC. Le plateau observable du côté droit de la courbe de la FDP correspond à l'atténuation de la pente de la courbe de la FRC.

FDP et FRC d'une rivière

Question 1 sur 3

Référez-vous au graphique de la FPD ci-dessus pour répondre à cette question.

Parmi les valeurs de débit suivantes, laquelle a la plus grande probabilité?

Choisissez la bonne réponse.

La bonne réponse est b)

Faites votre choix.

Question 2 sur 3

Référez-vous au graphique de la FPD ci-dessus pour répondre à cette question.

Le débit dont la probabilité est la plus élevée sur le graphique de la FPD correspond toujours à _____ sur le graphique de la FRC. Choisissez la bonne réponse.

La bonne réponse est d) : la pente la plus forte.

Les pics sur les courbes de FDP correspondent à des augmentations rapides de la probabilité (pentes fortes) sur les courbes de FRC. Bien qu'on puisse être tenté de penser que la réponse correcte est « b » sur ce graphique, ce n'est pas le cas pour tous les ensembles de données. Dans les ensembles de données très asymétriques, la médiane peut être très décalée par rapport à la probabilité maximale. La réponse « d » est la correcte pour tous les ensembles de données.

Faites votre choix.

Question 3 sur 3

Référez-vous au graphique de la FPD ci-dessus pour répondre à cette question.

Sur la courbe de la FRC, quel pourcentage de valeurs de débit se situent au-dessous de la médiane?

Choisissez la bonne réponse.

La bonne réponse est c) 50 %.

Par définition, la médiane est le point de partage entre la moitié supérieure des valeurs de l’ensemble de données et la moitié inférieure. Elle est considérée comme plus représentative de l'ensemble des données que la valeur moyenne.

Faites votre choix.

EI

Écart Interquartile (EI)

  • L’écart type ne convient pas pour les distributions asymétriques .
  • Utilisation de l'Écart Interquartile (EI)

Comme les variables hydrologiques présentent rarement des distributions normales, l'utilisation de la variance et de l’écart type peut prêter à confusion. L’Écart Interquartile (ou EI) peut être utilisé pour rendre compte des données dont la distribution est asymétrique.

Exemple d'Écart Interquartile (EI)

On voit ici la valeur des 250 unités de débit correspond au premier quartile (Q1) ou au 25e percentile. À gauche, se trouvent les valeurs qui appartiennent aux 25 % les plus basse Autrement dit, s'il y avait 100 valeurs, il s'agirait des 25 points de mesure ayant les valeurs les plus faibles. La valeur de 600 unités de débit correspond au troisième quartile (Q3) ou au 75e percentile. À droite se trouvent les valeurs qui appartiennent aux 25 % les plus hautes dans la distribution.

L'EI correspond à la moitié (50 %) centrale des valeurs de l’ensemble. Il est situé entre Q1 et Q3, c'est-à-dire, en l'occurrence, entre 250 et 600 unités de débit. L'EI s'exprime comme la différence entre le premier et le troisième quartile : EI = Q3 - Q1. Dans cet exemple, l'EI correspond à 600 moins 250, ce qui donne 350.

Boîte à moustaches

Les distributions associées à l'EI sont en général présentées sous la forme d'une boîte à moustaches. L'axe des y indique la valeur des données et l'axe des x indique en général le moment de la prévision. Le rectangle correspond à l'Écart Interquartile. La ligne horizontale y représente la médiane. Les deux moustaches, de part et d'autre de l’EI, correspondent, respectivement, aux 25 % de valeurs les plus hautes et aux 25 % les plus basses. Les extrémités des moustaches correspondent aux valeurs maximale et minimale. Dans notre exemple de rivière, les valeurs supérieures tendent à être asymétriques. La moustache du haut de l'échelle est donc plus longue.

Boîte à moustaches de la NOAA (Administration américaine pour les océans et l'atmosphère)

Cette boîte à moustaches représente le volume d'eau issue de la fonte des neiges (en millions de m3) dans la rivière Yuba, près de Smartville (Californie).

Question 1 sur 2

Quelles sont les tendances générales de la distribution des données?

Choisissez les meilleures réponses.

Les bonnes réponses sont c) et d)

Faites votre choix.

Question 2 sur 2

Que pouvons-nous dire des données représentant le volume d'eau de fonte des neiges prévu (en millions de m3) en juin 2008?

Choisissez la bonne réponse.

Les bonnes réponses sont a) et c)

Faites votre choix.

Histogramme de rang

  • Les prévisions probabilistes s'appuient souvent sur des prévisions d'ensemble, par exemple les prévisions hydrologiques de l’ESP (Ensemble Streamflow Prediction).
  • Distribution de l'ensemble – La gamme des valeurs envisagées dans une prévision d'ensemble.
  • Qu'est-ce qu'une distribution d’ensemble appropriée?
    • Utilisation d’un histogramme de rang

On utilise souvent des prévisions d'ensemble pour les prévisions probabilistes. Par exemple, on peut s’appuyer sur les prévisions produites par l’ESP (Ensemble Streamflow Prediction), un système de prévision d'ensemble pour les écoulements fluviaux.

La gamme des valeurs prévues dans une prévision d'ensemble est appelée dispersion d'ensemble.

Qu'est-ce qu'une dispersion d'ensemble appropriée? Pour répondre à cette question, nous utilisons un histogramme de rang, qu’on appelle parfois un diagramme de Talagrand.

Illustration de l’histogramme de rang (1)

Dans le cas le plus simple, nous avons un membre de l’ensemble, associé à deux intervalles de prévision, l'un contenant des valeurs supérieures et l'autre des valeurs inférieures à la valeur prévue. Il s'agit d'une prévision déterministe.

Illustration de l'histogramme de rang (2)

Supposons maintenant que nous ayons deux couples prévision-observation. Dans un système d'ensemble parfaitement ajusté, une observation tomberait dans l’intervalle supérieur et une autre dans l’intervalle inférieur.

Illustration de l’histogramme de rang (3)

Si nous avions deux membres de l’ensemble, nous aurions trois intervalles de prévision. Deux des trois intervalles de prévision se situeront en dehors de la dispersion de l'ensemble. L’intervalle du milieu correspond à la gamme de valeurs située entre les deux membres de l’ensemble.

Illustration de l’histogramme de rang (4)

Supposons maintenant que nous ayons trois observations. Dans un système d'ensemble parfaitement ajusté, une observation tomberait dans l’intervalle supérieur, une dans l’intervalle du milieu, et une dans l’intervalle inférieur. Celui qui se trouve dans l’intervalle du milieu se trouve à l’intérieur de la dispersion de l'ensemble.

Illustration de l’histogramme de rang (5)

S'il y a cinq membres dans l’ensemble, et donc six intervalles de prévision, deux de ceux-ci se situeront en dehors de la dispersion d'ensemble. Supposons maintenant que nous ayons six observations. Nous voudrions qu'une observation trouve sa place dans l’intervalle supérieur, une dans chacun des intervalles intermédiaires, et une dans l’intervalle inférieur. Les quatre observations des intervalles intermédiaires se situent à l’intérieur de la dispersion de l'ensemble.

Pour toute prévision d'ensemble bien ajustée, le pourcentage d'observations qui tombent en dehors de la dispersion d'ensemble devrait être égal à deux divisé par le nombre d’intervalles.

Question

Dans un système bien ajusté, s'il y a 39 membres de l’ensemble, associés à 40 intervalles de prévision, quel pourcentage d'observations devrait tomber en dehors de la dispersion de l'ensemble?

Choisissez la bonne réponse.

La bonne réponse est a) 5 %.

Dans un système bien ajusté, chaque intervalle aura le même nombre d'observations. Ainsi, le pourcentage d’observations tombant en dehors de la dispersion de l'ensemble sera de 2 divisé par le nombre d’intervalles, à savoir 40, ce qui donne 0,05, ou 5 %.

Faites votre choix.
Histogramme de rang: explications

En réalité, il y a en général plus d'une observation dans chaque intervalle de prévision. Considérons une prévision d'ensemble de 5 membres pour le débit. Pour cet exemple, nous utiliserons des prévisions d'unités de débit exprimées en nombres entiers. Les membres de l’ensemble sont : 210, 200, 330, 150 et 260 unités.

Histogramme de rang: explications

Pour créer un histogramme de rang, nous classons d'abord les membres de l’ensemble, en l'occurrence, du plus faible au plus élevé, ce qui nous donne 6 intervalles, qui définissent les gammes de valeurs suivantes : inférieures à 150, 150 à 199, 200 à 209, 210 à 259, 260 à 329, et égales ou supérieures à 330.

Notez que les intervalles ont des gammes de valeurs inégales. Par exemple, l'intervalle 3 ne s'étend que de 200 à 209, alors que l’intervalle 5 s'étend sur une plage beaucoup plus grande, de 260 à 329.

Histogramme de rang: explications

Pourtant, dans un système de prévision bien ajusté, chaque intervalle a des chances égales de recevoir le même nombre d'observations. Il y a donc autant de chances qu'une valeur de débit se situe dans l'intervalle entre 200 et 209 que dans l'intervalle entre 260 et 329.

Histogramme de rang: explications

Chacune des observations est placée dans l’intervalle approprié.

Histogramme de rang: explications

Ici, nous avons un nombre variable d'observations dans les divers intervalles.

Histogramme de rang: explications

Nous avons donc maintenant un diagramme à barres, qui montre la fréquence des observations par intervalle de prévision. Par exemple, le diagramme à barres indique que trois observations sont tombées dans l’intervalle 1 (correspondant aux débits inférieurs à 150).

Histogramme de rang: explications

Ensuite, nous dessinons l’axe des y pour représenter la fréquence des observations. Nous avons maintenant un histogramme de rang, que certains appellent aussi diagramme de Talagrand.

L'axe des y est souvent défini comme la fréquence divisée par la fréquence attendue.

Exemples de Talagrand

Comment doit-on interpréter un histogramme de rang? L'histogramme de rang fournit des informations sur la distribution des observations, associées aux prévisions d'ensemble. Examinons quelques histogrammes de rang idéaux.

Exemple de Talagrand plat

Si les observations présentent une distribution parfaite dans les prévisions d'ensemble, nous trouverons la même fréquence dans chaque intervalle. Et, si l'axe des y est défini comme la fréquence divisée par la fréquence escomptée, chacune des barres du diagramme a une valeur de 1,0.

Exemples de Talagrand en forme de U

Si l'histogramme de rang prend la forme d'un U, cela signifie que trop d'observations se situent aux valeurs extrêmes. La dispersion de l’ensemble est trop petite et doit être augmentée.

Exemples de Talagrand en forme de dôme

À l'inverse, que doit-on conclure si l'histogramme de rang prend la forme d'un dôme? Cela indique que trop peu d'observations se situent aux valeurs extrêmes. La dispersion de l’ensemble est trop grande et doit être diminuée.

Exemples de Talagrand ascendant

Si la hauteur des barres (et donc la fréquence) augmente à mesure qu’on se déplace à droite de l'histogramme de rang (et que celui-ci prend la forme d’une pente ascendante), cela indique que les observations se situent trop souvent parmi les valeurs élevées de la dispersion de l'ensemble : il y a eu sous-estimation.

Inversement, si la hauteur des barres (et donc la fréquence) diminue à mesure qu’on se déplace à droite de l'histogramme, (pour ressembler à une pente descendante ou à un L), cela indique que les observations se situent trop souvent parmi les petites valeurs de l'ensemble : il y a eu surestimation.

Il est important de se rappeler que les histogrammes de rang exigent un nombre important de couples prévision-observation. Tout histogramme de rang qui comprendrait moins de couples que de membres de l'ensemble serait par définition inutile.

Question de révision

Question

Diagramme de Talagrand pour les écoulements fluviaux présentant une dispersion trop faible de l'ensemble dans les prévisions.

Examinez cet histogramme de rang. Dans quelle mesure la dispersion de l'ensemble est-elle appropriée ? Que révèle-t-elle sur les prévisions?
Choisissez toutes les bonnes réponses.

Les bonnes réponses sont a) et c).

La forme en U indique que la dispersion de l'ensemble est trop faible car les observations sont plus fréquentes aux valeurs extrêmes. Cette surreprésentation se manifeste surtout aux valeurs les plus élevées, ce qui indique que les observations de débits élevés tendent à être plus nombreuses que ne le suggèrent les prévisions d'ensemble. On peut donc conclure à une sous-estimation.

Faites votre choix.

Degré de confiance

Cette section porte sur la mesure du degré de confiance des prévisions. Le degré de confiance est l'un des sept facteurs à prendre en compte lorsqu’on vérifie des prévisions hydrologiques.

La caractérisation du degré de confiance permet d'évaluer dans quelle mesure on peut être certain que la valeur prévue se situera dans la gamme des valeurs escomptée. Le degré de confiance est tributaire du nombre d'échantillons appartenant à l'ensemble de données.

Mesure du degré de confiance des prévisions :

Déterministes Probabilistes
Taille de l'échantillon Taille de l'échantillon
Intervalle de confiance Intervalle de confiance

Les mesures présentées dans cette section s'appliquent à la vérification des prévisions déterministes ou probabilistes.

Taille de l'échantillon

  • Nombre de couple prévision-observation à utiliser.
  • Nombre minimum d'échantillons requis pour que le degré de confiance soit acceptable.
  • Plus l'échantillon est grand, plus il est probable que toute la gamme des possibilités soit représentée.

La taille de l'échantillon correspond au nombre de couples observation-prévision utilisés dans le cadre d'une méthode de vérification particulière. Le concept d’échantillon est important. Un échantillon est un sous-ensemble représentatif d'un ensemble de données plus grand qu'on utilise à des fins statistiques. Il faut un nombre minimum d'échantillons dans un ensemble de données pour garantir un certain degré de confiance dans les prévisions. Plus l'échantillon est grand, plus il est probable que les données rendront compte de tout l'éventail des possibilités.

Incertitude de l'hydrogramme prévu

Par exemple, si l'on prévoit une crue majeure, le degré d'incertitude est en général plus élevé car les grandes crues figurent plus rarement dans les échantillons. L'utilisation d'un petit échantillon entraîne souvent une plus grande incertitude dans les indicateurs utilisés pour la vérification et, par conséquent, un degré de confiance moins élevé dans la prévision.

Incidence de la taille de l'échantillon sur la compréhension du comportement des rivières

Si, durant 100 ans, les relevés indiquent que le débit d'une rivière est stable, il y a de bonnes chances pour que le comportement de cette rivière soit compris. L'incertitude diminue, tandis que le degré de confiance des prévisions augmente. À l'inverse, si l'on ne dispose que de 20 ans de relevés, il y a moins de chances que l’échantillon englobe tout l'éventail des débits qu’avec cent ans d'observation. L’utilisation d’un échantillon qui ne reflète pas bien l'éventail des possibilités accroît le degré d'incertitude des prévisions.

Incidence de la taille de l'échantillon sur la compréhension du comportement des rivières

Question

Sélectionnons parmi ces relevés une période de 20 ans. Pourquoi pourrait-on avoir de la peine à comprendre le comportement de la rivière sur la base de ce sous-ensemble de données?

Choisissez toutes les bonnes réponses.

Les bonnes réponses sont c) et d).

La rivière n'a pas connu d'écoulement de crue. Elle n'a pas non plus connu de débit d’étiage (extrêmement faible). Par conséquent, cette période de 20 ans n'est pas représentative du comportement de la rivière tel qu'il apparaît sur toute la période enregistrée.

Faites votre choix.

Intervalle de confiance

  • Intervalle de confiance: plage de valeurs contenant la valeur vraie
  • Degré de confiance: probabilité annoncée que l'intervalle de confiance comporte la valeur vraie
  • Ces éléments aident à exprimer l'incertitude associée à une prévision

L'intervalle de confiance permet d'exprimer une prévision sous la forme d'une plage de valeurs incluant l'observation (c’est-à-dire la valeur vraie), avec une probabilité annoncée. La probabilité annoncée est connue sous le terme de degré de confiance. Nous disposons ainsi d'une expression de l'incertitude.

Photo de fonte des neiges

Ainsi, une prévision peut indiquer : « II y a 95 % de chances que le débit de pointe lié à la fonte des neiges soit de 800 à 1000 mètres cubes par seconde (m3/s) ».

L'intervalle de confiance est la plage de valeurs, 800-1000, et le degré de confiance est de 95 %.

Question

Selon les prévisions du niveau de la rivière, il y a 95 % de chances que le niveau maximal se situe entre 16 et 20 mètres.

L'intervalle de confiance est _____, et le degré de confiance est _____.

Choisissez la bonne réponse.

La bonne réponse est a) « 16-20 m | 95 % »

Faites votre choix.

Compromis

Compromis entre l'intervalle de confiance et le degré de confiance

Il faut trouver un compromis entre le degré de confiance et l'intervalle de confiance. La prévision idéale aurait un degré de confiance de 100 % et un intervalle de confiance de ±0. Cela impliquerait d'être absolument certain que la valeur prédite est exacte.

Nous ne souhaiterions pas une prévision ayant un faible degré de confiance et un intervalle de confiance étendu. Non seulement nous pourrions difficilement nous fier à cette prévision, mais celle-ci serait de plus très imprécise, puisqu’un vaste éventail de valeurs seraient susceptibles d’être correctes. Par exemple, personne ne souhaiterait une prévision annonçant un degré de confiance de 10 % que le débit de pointe dû à la fonte des neiges sera compris entre 100 et 1000 m3/s.

L'idéal est que les prévisions aient un degré de confiance élevé et un petit intervalle de confiance. À cet effet, le mieux est de disposer de nombreuses données, fondées sur un grand échantillon d’observations.

Question

Revenons à notre prévision assortie d'une probabilité de 95 %, que le niveau maximal se situe entre 16 et 20 mètres. Mettons que nous voulons un degré de confiance de 99 %. Qu'adviendrait-il de notre intervalle de confiance de 16-20 mètres?

Choisissez la bonne réponse.

La bonne réponse est b) L'intervalle augmenterait.

Faites votre choix.

Intervalle de confiance des indicateurs numériques

Intervalle de confiance des indicateurs numériques

  • Mesure de la fiabilité des indicateurs numériques
    • Probabilité de 95 % que l'erreur moyenne se situe entre 15 et 18 mètres cubes par seconde
  • Plus l’échantillon est petit >> plus l’incertitude est grande
    • Plus l’incertitude est grande >> plus le degré de confiance diminue

En plus de l'intervalle de confiance des prévisions, il faut estimer l’intervalle de confiance des indicateurs numériques. L'intervalle de confiance exprime ici la probabilité que l’estimation d’un indicateur s’inscrive dans les limites spécifiées. En voici un exemple: « Il y a 95 % de chances que l'erreur moyenne pour les prévisions de débit soit comprise entre 15 et 18 m3/s ».

Un petit échantillon de couples prévision-observation peut ne pas être représentatif de toute la gamme des conditions possibles, simplement pour des raisons aléatoire. Plus l’échantillon est petit, plus il faut prévoir d’incertitude pour les indicateurs utilisés pour la vérification. Plus il y a d’incertitude dans la vérification, moins les prévisions sont fiables.

Corrélation

Cette section porte sur les mesures de corrélation dans le contexte de la vérification des prévisions hydrologiques. La corrélation compte aussi parmi les sept facteurs à prendre en compte pour la vérification de prévisions hydrologiques.

La corrélation fournit une mesure du degré de dépendance entre deux variables, en l’occurrence entre les prévisions et les observations.

Mesures de la corrélation:

Déterministes Probabilistes
Diagrammes de dispersion
Coefficient de corrélation

Cette section ne porte que sur la vérification des prévisions déterministes.

Signification

Signification de la corrélation

Corrélation entre l'hydrogramme prévu et l'observation

Sur la base d’une analyse de la tendance et de la configuration des prévisions, la corrélation permet de déterminer dans quelle mesure celles-ci correspondent aux observations. Une bonne corrélation des prévisions peut être le signe de leur exactitude. Toutefois, une prévision peut présenter une bonne corrélation avec les observations sans être exacte. Par exemple, dans cette série chronologique d'hydrogrammes, les pics et les creux marquent des tendances similaires dans les prévisions et les observations, mais l'ampleur des débits observés diffère de celle des prévisions. Les prévisions sont systématiquement trop basses. Dans ce cas, les prévisions et les observations sont bien corrélées, mais les prévisions présentent des erreurs systématiques.

Diagrammes de dispersion

Exemple de diagramme de dispersion

Les diagrammes de dispersion permettent de visualiser en peu de temps la relation entre deux variables. En matière de prévision, les deux variables sont en règle générale la valeur prévue et la valeur observée. Il existe plusieurs types de diagrammes de dispersion. Le plus courant présente les valeurs prévues sur l'axe des y et les valeurs observées sur l'axe des x. Plus les points s’alignent le long de la diagonale ascendante, plus les valeurs observées et les valeurs prévues sont corrélées positivement.

Coefficient de corrélation

Illustration de la corrélation de Pearson

Le coefficient de corrélation de Pearson mesure le degré de dépendance linéaire entre les prévisions et les observations. Autrement dit, on aimerait savoir si, lorsque les valeurs prévues augmentent, les observations augmentent-elles aussi. Et si, lorsque les valeurs prévues présentent un pic, les observations en présentent un elles aussi.

Les valeurs vont de -1 à +1. Une valeur de 1,0 indique une corrélation parfaite. Une valeur de 0,0 indique l'absence de toute corrélation; autrement dit, il n'y a pas de relation statistique entre les prévisions et les observations. Une valeur de -1,0 indique une corrélation négative parfaite. Autrement dit, chaque fois qu'on prévoit un débit élevé, on observe un débit faible.

Diagrammes de dispersion faisant ressortir différents types de corrélations

Le coefficient de corrélation donne une mesure numérique de la corrélation. Les diagrammes de dispersion offrent une représentation graphique de la corrélation. Voyons comment se présentent divers diagrammes de dispersion exposant le débit observé par rapport au débit prévu pour différents coefficients de corrélation.

Exemple de corrélation - aucune corrélation

Ce diagramme de dispersion ne révèle aucune relation entre les valeurs prévues et les valeurs observées. Le coefficient de corrélation est de 0,0.

Exemple de corrélation - faible corrélation

Ce diagramme de dispersion indique une faible corrélation positive. Autrement dit, parmi les points, une tendance se dessine autour de la diagonale à pente positive qui traverse le diagramme, mais de nombreux points restent dispersés autour de celle-ci. Le coefficient de corrélation est un petit nombre positif.

Exemple de corrélation - forte corrélation

Le diagramme de dispersion suivant présente des points alignés près de la diagonale à pente positive. On a donc une bonne corrélation entre les prévisions et les observations. De ce fait, le coefficient de corrélation est un nombre positif proche de 1,0.

Exemple de corrélation - corrélation négative

Le diagramme de dispersion suivant présente des points alignés le long d'une droite à pente négative. On a donc une corrélation négative entre les prévisions et les observations. Elle correspondrait à un coefficient de corrélation proche de -1,0.

Questions de révision

Exemple de diagramme de dispersion

Prenons ce diagramme de dispersion, qui présente le niveau observé par rapport au niveau prévu.

Question 1 sur 2

Qu’en déduisez-vous au sujet de la corrélation?

Choisissez la meilleure réponse.

La bonne réponse est b).

Faites votre choix.

Question 2 sur 2

Qu’en déduisez-vous au sujet de la corrélation? Choisissez la bonne réponse.

La bonne réponse est d).

Faites votre choix.

Prévisions catégoriques

Cette section porte sur la vérification des prévisions catégoriques. Les indicateurs utilisés pour la vérification des prévisions catégoriques comptent parmi les sept facteurs à prendre en compte lorsqu’on vérifie des prévisions hydrologiques.

La corrélation donne une indication sur le degré de dépendance entre deux variables, en l’occurrence entre les prévisions et les observations.

Mesures des prévisions catégoriques:

Déterministes Probabilistes
Probabilité de détection (POD)
Rapport de fausses alarmes (FAR)
Probabilité de fausse détection (POFD)
Biais
Indice de réussite critique (CSI)
Indice de Brier (BS)
Indice de probabilité ordonné (RPS)

Les méthodes de vérification des prévisions catégoriques s'appliquent aux prévisions déterministes comme aux prévisions probabilistes. Certains indices sont utilisés uniquement pour la vérification des prévisions déterministes, et d'autres ne sont utilisés que pour les prévisions probabilistes.

Déterministes/Probabilistes

Nous examinerons des exemples tant déterministes que probabilistes pour une rivière où le niveau critique de crue est de 22 mètres.

Exemple de limnimètre

Imaginons que la prévision déterministe du niveau maximal était de 22,1 mètres, c’est-à-dire 0,1 mètre au-dessus du niveau critique de crue.

Si le niveau maximal observé n'est que de 21,9 mètres, alors aucune crue n'a été observée car le niveau se situe à 0,1 mètre au-dessous du niveau critique de crue. Dans ce cas, la prévision serait classée dans la catégorie « crue » et l'observation dans la catégorie « pas de crue ».

Bien que la prévision déterministe soit très proche de la valeur du niveau observé, si l'on prend pour base la limite de la catégorie « égal ou supérieur au niveau critique de crue », la prévision serait considérée comme une fausse alarme.

Exemple de limnimètre - probabiliste

Considérons maintenant une prévision probabiliste pour la même situation. Selon nos prévisions probabilistes, il y avait une probabilité de 40 % de ne pas atteindre le niveau critique de crue (22 mètres) et une probabilité de 60 % s’atteindre celui-ci, avec un niveau égal ou supérieur à 22 mètres.

Tout comme pour la vérification de la prévision déterministe, nous aimerions comparer ces prévisions probabilistes avec les observations. Cependant, une observation unique ne peut pas se classer dans une gamme de probabilités. Soit le phénomène a eu lieu, soit il n'a pas eu lieu. Par conséquent, nous établissons une probabilité de 100 % pour l’observation de la survenue du phénomène et une probabilité de 0 % pour l’observation de sa non-survenue. Ainsi, dans notre cas, si le niveau critique de crue de 22 mètres avait été atteint ou dépassé, il y aurait eu une probabilité de 100 % qu'on observe une crue. Cependant, le niveau maximal observé, de 21,9 mètres, se situe juste au-dessous du niveau critique de crue, de sorte que, selon l'observation, il faut retenir une probabilité de crue de 0 %. Au lieu de devoir conclure sans nuance à une fausse alarme, comme il a fallu le faire dans l’exemple de la prévision déterministe, nous retenons que la prévision probabiliste avait établi une probabilité de 40 que le niveau critique de crue ne soit pas atteint (comme cela a été le cas).

Test de contingence

Tableau de contingence à double entrée

Les tableaux de contingence décrivent la distribution des prévisions et des observations du point de vue de leur fréquence dans les différentes catégories. Pour une vérification fondée sur deux catégories, on s'appuie couramment sur un tableau de contingence à double entrée. Ce tableaux s'articule autour de rubriques « Oui » et « Non », signifiant par exemple « crue » et « pas de crue ».

Dans ce simple tableau « Oui » et « Non », les lignes correspondent aux catégories de prévision et les colonnes aux catégories d'observation. Lorsque les catégories sont « crue » et « pas de crue », le « Oui » indique une crue, qu’elle soit observée ou prévue. Le « Non » indique « pas de crue » qu’elle soit observée ou prévue. La case a indique le nombre de crues observées qui ont été correctement prévues (c’est-à-dire les occurrences prévues qui ont été confirmées). La case b indique le nombre de cas où aucune crue n'a été observée, alors qu'une crue avait été prévue à tort (c’est-à-dire les fausses alarmes). La case c indique le nombre de crues observées qui n'avaient pas été prévues (c’est-à-dire les occurrences non signalées). La case d indique le nombre de cas où une crue n'a été ni observée ni prévue (c’est-à-dire les prévisions négatives confirmées). Les totaux « a+c » et « b+d » correspondent, respectivement, au nombre total de crues et au nombre total de situations sans crue qui ont été observées. Les totaux « a+b » et « c+d » correspondent, respectivement, au nombre total de crues et au nombre total de situations sans crue qui ont été prévues.

(Suite) Indicateurs sous forme de tableau

Tableau de contingence (à double entrée)
  • Probabilité de détection (POD)
    • Taux de réussite
    • Proportion de crues observées qui avaient été prévues
    • POD = a/(a+c)
    • de 0 (pire cas) à 1 (perfection)
  • Rapport de fausses alarmes (FAR)
    • Proportion de crues prévues qui n'ont pas été observées
    • FAR = b/(a+b)
    • de 0 (perfection) à 1 (pire cas)

Deux indices courants sont la probabilité de détection (POD) et le rapport de fausses alarmes (FAR).

Dans notre exemple, la POD (ou le taux de réussites) indique la proportion de cas de crues observées qui avaient été prévues. À partir du tableau de contingence à double entrée, la POD se calcule comme suit: a/(a+c). La POD peut aller de 0 (pire cas) à 1 (perfection), qui correspond à 100 %.

Dans notre exemple, le FAR indique la proportion de cas de crues prévues qui n'ont pas été observées. Il se calcule comme suit: b/(a+b). La valeur parfaite est 0 et la pire valeur possible est 1.

  • Indice de réussite critique (CSI)
    • Proportion de crues correctement prévues par rapport à toutes les crues, qu'elles soient prévues ou observées.
    • CSI = a/(a+b+c)
    • de 0 (pire cas) à 1 (perfection)
  • Probabilité de fausse détection (POFD)
    • Probabilité qu'une crue qui ne s'est pas produite ait été prévue.
    • POFD = b/(b+d)
    • de 0 (perfection) à 1 (pire cas)
    • La POFD est parfois appelée taux de fausses alarmes, ce qui n'est pas la même chose que le rapport de fausses alarmes.
  • Biais
    • Ratio de toutes les crues prévues sur toutes les crues observées
    • Biais = (a+b)/(a+c)
    • de 0 (faible biais) à l'infini (biais élevé) en passant par 1 (perfection)

D'autres indices couramment calculés sont l'indice de réussite critique (CSI), la probabilité de fausse détection (POFD) et le biais.

Le CSI est parfois appelé « indice de menace ». Lorsque deux catégories sont définies, à savoir « crue » ou « pas de crue », le CSI (ou l'indice de menace) est le taux de prévisions de crues confirmées par rapport à tous les cas de crues (observées ou prévues). Cet indice permet de faire ressortir la capacité de prévoir des phénomènes rares, en évitant que l'indice ne soit biaisé par le nombre de cas où un phénomène qui n'avait pas été prévu n'est pas intervenu. Par exemple, le CSI peut être utile lors de la vérification de crues majeures.

Sur le tableau de contingence, le CSI se calcule comme suit: a/(a+b+c). La valeur peut aller de 0 (pire cas) à 1 (perfection).

La POFD rend compte de la proportion de cas où une crue avait été prévue, mais n'a pas été observée. Elle se calcule comme suit: b/(b+d). La valeur peut aller de 0 (perfection) à 1 (pire cas). Ce taux est parfois appelé taux de fausses alarmes et ne doit pas être confondu avec le rapport de fausses alarmes.

En l'occurrence, le biais correspond au nombre total de crues prévues divisé par le total des crues observées, ou (a+b)/(a+c). La valeur peut aller de zéro à l'infini. 1 est la valeur parfaite. Le 1 indique l'absence de tout biais. Autrement dit, le nombre de crues observées est le même que le nombre de crues prévues. Les valeurs inférieures à 1 indiquent un faible biais: le nombre de crues observées est supérieur au nombre de crues prévues. Les valeurs supérieures à 1 indiquent un biais élevé: le nombre de crues qui ont été prévues est supérieur au nombre de crues observées.

Exemple de tableau de contingence à double entrée (2 x 2)
Indice Tableau Formule Critères Description
Probabilité de détection (taux de réussites) POD POD = a/(a+c) de 0 (pire cas) à 1 (perfection) Proportion de crues observées qui avaient été prévues
Rapport de fausses alarmes (FAR) FAR FAR = b/(a+b) de 0 (perfection) à 1 (pire cas) Proportion de crues prévues qui n'ont pas été observées
Indice de réussite critique CSI CSI = a/(a+b+c) de 0 (pire cas) à 1 (perfection) Proportion de crues correctement prévues par rapport à toutes les crues, prévues ou observées.
Probabilité de fausse détection (taux de fausses alarmes) POFD POFD = b/(b+d) de 0 (perfection) à 1 (pire cas) Proportion de crues qui avaient été prévues mais qui n'ont pas été observées
Biais Biais = (a+b)/(a+c) de 0 (faible biais) à l'infini (biais élevé) en passant par 1 (perfection) Ratio de toutes les crues prévues sur toutes les crues observées

Prenons notre tableau de contingence pour les catégories « crue » (« Oui ») et « pas de crue » («  Non »)

Quelle est la valeur des indices suivants?

Choisissez la bonne réponse pour chacun.

(Suite) Tableau

Tableau de contingence à triple entrée (3 X 3)

Tableau de contingence numérique à triple entrée (3 x 3)

En hydrologie, il est souvent nécessaire de définir plus de deux catégories. Par exemple, on peut souhaiter définir trois catégories d'écoulement. Il pourrait s'agir (1) des écoulements inférieurs à 20 unités de débit, (2) des écoulements compris dans l'intervalle entre 20 et 25 unités de débit, et (3) des écoulements supérieurs à 25 unités de débit. Pour trois catégories, il nous faut un tableau de contingence à triple entrée. Dans ce cas, on n’inscrit plus dans les cases «  Oui » ou «  Non », mais des valeurs numériques pour les différentes catégories. Dans ce tableau, les lignes correspondent toujours aux catégories de prévisions et les colonnes aux catégories d'observations.

Tableau de contingence à triple entrée (3 x 3)

Les trois catégories du tableau peuvent être exprimées de différentes manières. Par exemple, nous pourrions nous référer à des limites qualitatives et définir les catégories par rapport à ces limites (inférieur à, entre telle et telle valeur, et supérieur à).

Si les prévisions sont parfaites, les observations correspondent exactement aux prévisions, et tous les couples prévision-observation se situent sur la diagonale définie par les lettres a, e et i.

Qu'en est-il des indices traditionnels tels que la POD et le FAR? Nous devons tout d'abord choisir la catégorie que nous vérifions. Supposons que nous vérifions un débit de la catégorie «  entre telle et telle valeur ». Alors, la POD «  intermédiaire » = e/(b+e+h). Le FAR «  intermédiaire » = (d+f)/(d+e+f).

Tableau de contingence à triple entrée
  • Utilisez le tableau de contingence à triple entrée pour définir les taux de surestimation et de sous-estimation.
  • Taux de surestimation pour la catégorie «  intermédiaire » = h/(b+e+h)

Question 1 sur 2

Référez-vous au tableau ci-dessus pour répondre à cette question.

Quel serait la POD pour un débit dépassant le seuil des forts débits (POD «  supérieure »)?

Choisissez la bonne réponse.

La bonne réponse est d) i/(c+f+i).

Faites votre choix.

Nous pouvons également calculer les taux de surestimation et de sous-estimation. Une fois encore, prenons la catégorie «  intermédiaire » pour cet exemple. Nous voulons donc connaître la proportion d'observations de la catégorie «  intermédiaire » qui avaient été attribuées, dans les prévisions, à la catégorie «  supérieur à » (surestimation) et à la catégorie «  inférieur à » (sous-estimation).

  • Le taux de surestimation = h/(b+e+h).

Question 2 sur 2

Référez-vous au tableau ci-dessus pour répondre à cette question.

Quel serait le taux de sous-estimation pour les débits observés dans la catégorie «  intermédiaire »?

Choisissez la bonne réponse.

La bonne réponse est b) b/(b+e+h).

Faites votre choix.

BS (indice de Brier) vs RPS (indice de probabilité ordonné)

Indice de Brier versus indice de probabilité ordonné

Diagramme en secteurs du RPS (indice de probabilité ordonné)

Passons maintenant à la vérification des prévisions catégoriques probabilistes. Les deux sections suivantes porteront sur deux indices: l'indice de Brier (BS) et l'indice de probabilité ordonné (RPS).

On utilise l'indice de Brier lorsque les prévisions probabilistes sont réparties dans deux catégories. On utilise le RPS pour vérifier les prévisions lorsqu'il y a plus de 2 catégories. Ces deux indices se fondent sur la même formulation mathématique pour comparer la probabilité observée et la probabilité prévue. Cependant, avant d'entrer dans les détails, expliquons pourquoi un prévisionniste choisirait l'une ou l'autre.

L'indice de Brier est très utile lorsque les conséquences sont asymétriques. Ainsi, par exemple, lorsque les deux catégories sont la présence de crue et l'absence de crue, la différence entre les catégories a une grande portée et l'indice de Brier offre une mesure de vérification utile.

L'indice RPS est utile lorsque les conséquences sont symétriques. Autrement dit, la valeur d'une catégorie particulière n'est pas aussi importante que la mesure de synthèse de toutes les catégories. Le RPS est donc un outil utile pour vérifier une prévision s’appuyant sur de nombreuses catégories de débit lorsque vous ne vous intéressez pas particulièrement à une catégorie donnée.

Indice de Brier (BS)

Formule de l'indice de Brier

L'indice de Brier peut être utilisé pour déterminer l'ampleur des erreurs de prévision probabiliste. Comme indiqué précédemment, il est particulièrement utile lorsque la différence entre les deux catégories a une grande portée. Il a pour base la moyenne des carrés des différences entre les probabilités prévues (f) et les probabilités observées (o), pour tous les couples prévision-observation.

Vous vous rappelez certainement que la probabilité observée est de 0,0 si le phénomène ne s'est pas produit, et de 1,0 s'il s'est produit. Comme c’est le cas pour d’autres indices caractérisant l'erreur, la meilleure valeur pour l'indice BS est 0,0, car elle indique l'absence de différence entre la probabilité observée et la probabilité prévue. La pire valeur possible pour l'indice BS est 1,0. L'indice de Brier pour les prévisions probabilistes est l'équivalent de l'erreur quadratique moyenne pour les prévisions déterministes.

Formule de l'indice de Brier simplifiée

Pour simplifier, nous utiliserons un exemple de prévision unique. Le N de l'équation est donc égal à un. Cela permet de simplifier l'équation aux fins de la démonstration.

Indice de Brier (exemple 1)

Disons que, selon les prévisions, il y a 80 % de chances (c'est-à-dire une probabilité de 0,80) que le débit atteigne ou dépasse le niveau critique de crue. Le niveau critique de crue est atteint, ce qui signifie que la «  probabilité » observée est de 1,0. La BS est la probabilité prévue moins la probabilité observée au carré, c'est-à-dire (0,80-1,0) au carré, soit -0,20 au carré, ou 0,04. Cette valeur est très proche de 0,0, ce qui est bien.

Indice de Brier (exemple 2)

Quel serait l’indice si le niveau critique de crue n'était pas observé, alors que nous avions prédit que le débit avait une probabilité de 80 % de l'atteindre ou de le dépasser? La probabilité observée est de 0,0. Nous avons (0,80-0,00) au carré, soit 0,64. L’indice est beaucoup plus proche de 1,0, ce qui révèle beaucoup moins d’exactitude.

L'indice RPS

Indice de probabilité ordonné

Exemple de RPS

Pour comprendre l'indice de probabilité ordonné (RPS), il faut se rappeler la fonction de répartition cumulative (FRC) décrite à la section 2. L'indice RPS mesure la différence entre les prévisions probabilistes et les observations correspondantes sur la base de la différence entre les FRC des prévisions et des observations. Nous le montrerons bientôt lorsque nous présenterons la représentation graphique du RPS. Commençons toutefois par décrire la formulation du RPS.

RPS multi-catégories

Le RPS a une formulation très proche de celle de l'indice de Brier, mais il peut être utilisé pour vérifier plusieurs catégories, représentées ici par des segments. Ici, chaque segment correspond à une catégorie de niveaux. Une probabilité prévue est associée à chacun des segments. Le RSP permet donc de déterminer si les prévisions probabilistes ont bien anticipé la fréquence à laquelle les observations tomberaient dans certains segments.

Si les segments recouvrent toute la gamme des prévisions, le RPS est analogue à un indicateur de l’erreur d'une prévision déterministe. Ainsi, si les catégories de débit No 1 à No 16 correspondent à toutes les probabilités qu'il est possible de prévoir, alors le RPS établit dans quelle mesure notre prévision probabiliste s'est éloignée de la valeur observée.

Diagramme en secteurs de l'indice de Brier (BS) et de l'indice de probabilité ordonné (RPS)

Commençons par un exemple simple à 3 catégories, ou 3 intervalles. Imaginons que nous avons défini trois intervalles de débits sur la base des limites entre les débits faible, moyen et élevé. En l'occurrence, le débit moyen est le plus probable. Ainsi, nos trois intervalles correspondent, respectivement, au débit faible (inférieur à 200 unités de débit), au débit moyen (égal ou supérieur à 200 unités, mais inférieur ou égal à 300) et au débit élevé (supérieur à 300 unités de débit).

Formule de l'indice de Brier (2)

Rappelez-vous que l'indice de Brier est la moyenne des différences de probabilité au carré pour tous les couples prévision-observation dans un système à deux intervalles. Cette équation simplifiée suppose une seule série de prévisions.

Formule du RPS (1)

Le RPS correspond également à la somme des carrés des différences entre les probabilités prévues (f) et les probabilités observées (o), mais pour de nombreuses catégories. Toujours pour simplifier, nous supposons qu'une seule série de prévisions est effectuée pour un système à trois intervalles, représentés par les chiffres 1, 2 et 3.

Pour plus de détails sur la formulation du RPS dans le cas de prévisions multiples et de nombreux intervalles, voir les ressources supplémentaires.

Calcul du RPS

RPS: Diagramme en secteurs à 3 intervalles pour les prévisions

Nous allons maintenant prendre un exemple numérique de RPS pour notre vérification fondée sur 3 intervalles. Supposons que, selon une prévision probabiliste, la probabilité associée à ces divers intervalles, exprimée de 0,0 à 1,0, est de 0,20 pour un débit faible, de 0,60 pour un débit moyen et de 0,20 pour un débit élevé.

RPS: diagramme en secteurs à 3 intervalles pour les observations

Supposons maintenant que le débit observé s’inscrive dans la catégorie des débits moyens. D'un point de vue probabiliste, cela signifie que la «  probabilité » que l’observation tombe dans l’intervalle du débit moyen est de 1,0 et que la «  probabilité » que l’observation tombe dans les deux autres intervalles est de 0,0.

RPS: diagramme en secteurs pour les prévisions et les observations

Pour calculer le RPS de la prévision, nous utiliserons les probabilités cumulatives, parfois appelées probabilités de non-dépassement. Les probabilités cumulatives ont déjà été définies à la section 2 de ce module.

Valeurs de la probabilité cumulative pour le calcul du RPS.

Probabilité cumulative prévue Probabilité cumulative observée
Intervalle 1 : faible débit
Intervalle 2 : débit moyen
Intervalle 3 : débit élevé

Tout d'abord, la probabilité prévue pour l’intervalle «  faible débit » est de 0,20. Comme il s'agit du premier intervalle, la probabilité qui s'y associe est égale à la probabilité cumulée.

Ensuite, la probabilité prévue pour l’intervalle «  débit moyen » est de 0,60. La probabilité cumulée correspond à la somme des intervalles «  faible débit » et «  débit moyen », soit 0,20 plus 0,60. La valeur de cette probabilité cumulée est de 0,80.

Vient ensuite la probabilité cumulée de l’intervalle «  débit élevé ». Cette valeur est de 1,0, car elle est égale à la somme de toutes les probabilités prévues pour les différents intervalles. Comme vous pouvez le voir, pour le dernier intervalle, la probabilité cumulée est toujours égale à 1.

Maintenant que nous connaissons les probabilités cumulatives prévues pour chaque intervalle, regardons les probabilités cumulatives observées. La probabilité observée de l’intervalle «  faible débit » est de 0,0, car un débit moyen a été observé.

La probabilité observée pour le «  débit moyen » est de 1,0, car c'est celui qui a été observé, sans qu'il soit dépassé. La probabilité cumulée est donc de 1,0.

La probabilité observée du débit élevé est de 0,0, car seul un débit moyen a été observé. La probabilité cumulée du débit élevé est toutefois de 1,0 car, dès lors que la probabilité cumulée a atteint 1,0 (ce qui est le cas pour l’intervalle «  débit moyen »), elle ne change plus de valeur.

Valeurs de probabilité cumulative pour le calcul du RPS.

Probabilité cumulative prévue Probabilité cumulative des observations
Intervalle 1 : faible débit 0,20 0,00
Intervalle 2 : débit moyen 0,80 1,00
Intervalle 3 : débit élevé 1,00 1,00

Maintenant que le tableau est rempli, nous pouvons calculer la valeur du RPS à l'aide de l'équation.

Formule de l'indice RPS (1)

Σ[(0,20-0,00)2 + (0,80-1,00)2 + (1,00-1,00)2] = Σ [0,04 + 0,04 +0,00] = 0,08

L'équation du RPS pour notre exemple à 3 intervalles donne (0,20 moins 0,00) au carré, plus (0,80 moins 1,00) au carré, plus (1,00 moins 1,00) au carré. Cela donne 0,04 plus 0,04 plus 0,00, soit un RPS d'une valeur de 0,08. Cette valeur est proche de la valeur parfaite du RPS (0,0), ce qui signifie que les probabilités prévues présentaient une faible erreur.

RPS: diagramme en secteurs pour les valeurs climatologiques et observées

Valeurs de la probabilité cumulative pour le calcul du RPS.

Calcul du RPS pour les probabilités climatologique vs observée pour le non-dépassement
Probabilité cumulative prévue Probabilité cumulative observée
Intervalle 1 : faible débit 0,20 0,00
Intervalle 2 : débit moyen 0,80 1,00
Intervalle 3: débit élevé 1,00 1,00

Question

En appliquant la même méthode et en vous appuyant sur les données indiquées pour les probabilités de débit climatologiques, sachant que le débit moyen a été observé, quelle serait la valeur du RPS pour la référence climatologique?

Choisissez la meilleure réponse.

La bonne réponse est c) Σ [(0,60-0,00)2+(0,90-1,00)2+(1,00-1,00)2] = 0,37

Formule de l'indice RPS (1)

Pour les références climatologiques, les probabilités cumulatives des intervalles de débit faible, moyen et élevé sont, respectivement, de 0,60, 0,90 et 1,00. Les probabilités cumulatives observées pour les intervalles à faible débit, à débit moyen et à débit élevé sont, respectivement, de 0,00, 1,00 et 1,00. L'équation est donc (0,60 moins 0,00) au carré, plus (0,90 moins 1,00) au carré, plus (1,00 moins 1,00) au carré, soit 0,36 plus 0,01 plus 0,00, ce qui donne un RPS de 0,37. Comme ce résultat est plus éloigné de la valeur parfaite (0,00) que le RPS que nous avons calculé pour la prévision, la prévision climatologique de référence est moins exacte que la prévision.

Faites votre choix.
Formule RPS normalisée

La meilleure valeur pour le RPS est de 0,00, mais la pire valeur dépend du nombre d’intervalles utilisés. Souvent, on normalise l'indice RPS en le divisant par le nombre d’intervalles moins 1. Cette formulation est parfois appelée «  RPS normalisé ».

Le RPS continu (qui sera vu à la section 6) est une formulation qui permet à l'indice d'être indépendant du nombre d’intervalles de prévision utilisés.

Représentation graphique du RPS

Graphique du RPS pour une crue mineure

Calcul du RPS pour la prévision vs l'observation

Probabilité prévue Probabilité observée
Intervalle 1: faible débit 0,20 0,00
Intervalle 2: débit moyen 0,80 1,00
Intervalle 3: débit élevé 1,00 1,00

Pour obtenir une représentation graphique du RPS, nous plaçons la probabilité cumulative sur l'axe des y et les catégories définies par les valeurs limites sur l'axe des x. Revenons à notre exemple de prévision. Nous avons défini trois intervalles correspondant aux catégories de débit «  faible », «  moyen » et «  élevé ». Nous pouvons inscrire la probabilité cumulative de la catégorie 1, qui est de 0,20; celle de la catégorie 2, qui est de 0,80; et celle de la catégorie 3, qui est de 1,00. Nous obtenons alors ce graphique pour la prévision. Une valeur de débit moyen ayant été observée, la probabilité cumulée observée correspond à 1,00 dans la catégorie du débit «  moyen » et se maintient à cette valeur.

Graphique du RPS avec zone ombrée pour une crue mineure

Ainsi, le graphique RPS montre simplement la différence entre la FRC prévue et la FRC observée. Le RPS est défini comme l'aire entre les deux courbes. Pour cette prévision, l'aire est plutôt petite, ce qui reflète la valeur satisfaisante du RPS (0,08).

Question 1 sur 2

Question sur le graphique du RPS pour les prévisions

Imaginons qu’une valeur de débit élevée a été observée pour la même prévision. À quoi ressemblerait le graphique du RPS?

Choisissez la bonne réponse.

La bonne réponse est a) Graphique a).

La courbe de la prévision est le même, mais la courbe de l'observation passe de 0,0 à 1,0 pour la catégorie 3, celle du débit élevé.

Faites votre choix.

Question 2 sur 2

Graphique du RPS, zones ombrées pour les débits élevé et faible

En reprenant le graphique RPS, mais dans l'hypothèse qu'un débit élevé a été observé, notez la zone ombrée qui représente la différence entre les probabilités prévue et observée. La valeur numérique du RPS est de 0,68. Comparez ce graphique avec le graphique précédent, qui présente la situation où le débit moyen a été observé, pour une même prévision et où le RPS est de 0,08. Qu'indiquent les zones ombrées?

Choisissez la meilleure réponse.

La bonne réponse est a) La prévision présente une erreur plus importante dans le scénario du débit élevé.

Faites votre choix.

Exactitude

Cette section porte sur la vérification del'exactitude des prévisions. L'exactitude est l'un des sept facteurs à prendre en compte pour la vérification de prévisions hydrologiques.

L'exactitude est définie comme le degré de correspondance entre la valeur observée et la valeur prévue. La quantification de l'exactitude est en fait directement liée à la mesure de l’erreur de prévision et nous pourrions donc l’appeler la définition de l’erreur. À l’exception de la mesure du biais, les valeurs proches de 0,0 sont préférables dans ce contexte, car elles indiquent que l'erreur de prévision est très faible. Dans le cas du biais, qui exprime une proportion, une valeur proche de 1,0 indique un écart minimal entre les prévisions et les observations.

Mesures de l'exactitude (mesure de l’erreur):

Déterministes Probabilistes
Erreur moyenne absolue (EMA)
Racine de l'erreur quadratique moyenne (REQM)
Erreur moyenne (ME)
Biais volumétrique
RPS continu (CRPS)

L'indice de probabilité ordonné continu est un indicateur d'erreur utilisé pour la vérification des prévisions probabilistes. Une valeur de 0,0 indique une corrélation parfaite - sans erreur. Tous les autres indices de cette section sont adaptés à la vérification des prévisions déterministes.

CRPS

Indice de probabilité ordonné continu (CRPS)

RPS à intervalles multiples

L’indice de probabilité ordonnée (RPS) a été décrit à la section sur la vérification des prévisions catégoriques. Souvent, le graphique RPS présente beaucoup plus d’intervalles que l'exemple à 3 intervalles que nous avons vu. Voici un graphique RPS présentant de nombreux intervalles correspondant tous à un débit de pointe.

Graphique RPS continu

Lorsque nous avons un très grand nombre d’intervalles de prévision, chacun correspond à une très petite gamme de valeurs de débit. De ce fait, les erreurs de probabilité entre les prévisions et les observations peuvent être présentées sous forme d'intégrale. On obtient alors un RPS continu de ce type.

Comme dans le cas de nombreuses autres mesures de l’erreur, une différence de zéro entre les probabilités observées et prévues est ici idéale, car elle correspond à une erreur nulle.

Indices d'erreurs

  • Deux mesures courantes de l’erreur:
    • Erreur moyenne absolue (EMA)
    • Racine de l'erreur quadratique moyenne (REQM)

Lors de la vérification de prévisions déterministes, deux mesures de l’erreur couramment utilisées pour définir l’exactitude quantitative sont l'erreur moyenne absolue (EMA) et la racine de l'erreur quadratique moyenne (REQM).

Illustration de la mesure de l’erreur présentant un hydrogramme

Ces deux types d'erreurs se fondent sur l’ampleur de la différence entre les prévisions et les observations. Ils n'indiquent pas si la différence est positive (la prévision est plus grande que l'observation) ou négative (la prévision est plus petite que l’observation).

Formule de l'erreur moyenne absolue (EMA)

L'EMA est la moyenne des différences absolues entre les observations et les prévisions. La REQM est la racine carrée de la moyenne des carrés des différences entre les observations et les prévisions. Dans les deux cas, une valeur de 0,00 indique une correspondance parfaite entre les observations et les prévisions. À partir de zéro, la valeur augmente à mesure que grossit l'erreur. Théoriquement, elle peut aller jusqu'à l'infini.

Formule de l'erreur moyenne absolue (EMA)

La REQM est plus sensible aux grandes différences entre les observations et les prévisions que l'EMA. Par conséquent, l'EMA se prête mieux à la vérification des valeurs relatives aux faibles débits, car l'ampleur des erreurs de prévision est alors généralement beaucoup plus faible. Les erreurs importantes, plus courantes pour les prévisions de débit élevé, dominent les mesures d'erreur exprimées par la REQM.

Formule de l'erreur moyenne absolue (EMA)

Un autre indicateur d'erreur est l'erreur moyenne (ME). L'erreur moyenne est la moyenne des différences arithmétiques entre les observations et les prévisions.

Indicateur de l'erreur moyenne en hydrologie

Contrairement à l'EMA et à la REQM, la ME indique si les prévisions tendent à être plus élevées ou plus faibles que les observations. Sa valeur peut donc être négative. Les valeurs positives indiquent une tendance à la surestimation (les prévisions tendent à être plus élevées que les observations) et les valeurs négatives indiquent une tendance à la sous-estimation.

  • Erreur moyenne = zéro (les erreurs s'annulent)
  • Erreur moyenne absolue > zéro
  • Erreur quadratique moyenne >> zéro

Comme dans le cas d’autres mesures de l'erreur, une valeur de 0,00 est idéale, mais une valeur très basse peut prêter à confusion. Si un ensemble de prévisions comporte des erreurs importantes qui se répartissent de manière équilibrée autour de la moyenne, l'erreur moyenne prend la valeur de zéro, car les erreurs s'annulent. Par conséquent, une ME nulle n'indique pas nécessairement une prévision parfaite. Dans le même cas de figure, les valeurs de la REQM et de l'EMA seraient positives, indiquant une prévision imparfaite. Il est donc important de combiner la ME avec d'autres mesures lorsque l’on vérifie des prévisions.

Biais

Le terme «  biais » peut désigner plusieurs indicateurs. Parce que l'erreur moyenne indique dans quelle direction les prévisions se trouvent par rapport aux observations, on la considère parfois comme un «  biais additif ». Le biais catégoriel décrit à la section 5 est un biais de fréquence car il est calculé sur la base d'intervalles correspondant à des catégories de prévisions.

Graphique de biais volumétrique

Une autre statistique liée au biais couramment utilisée en hydrologie est le biais volumétrique, qui correspond au rapport entre la somme des valeurs prévues et la somme des valeurs observées, comme l'exprime la formule suivante:

Formule du biais

Ce rapport peut aller de 0 à l'infini. La valeur 1,0 indique l'absence de biais. Une valeur supérieure à 1,0 indique une surestimation (les prévisions étaient supérieures aux observations), et une valeur inférieure à 1,0 indique une sous-estimation.

Exercice

Voici un tableau présentant 5 prévisions concernant le débit d'une rivière et les débits observés correspondants. Le tableau indique également la différence (la prévision moins l'observation), la différence absolue et le carré de la différence. La dernière ligne indique le total de chaque colonne.

Vous trouvez au-dessous l'expression mathématique de chacune des quatre mesures de l’erreur: Erreur moyenne absolue, erreur quadratique moyenne, erreur moyenne et biais. Comme il y a cinq valeurs prévues, N est égal à 5.

Utilisez ces informations et une calculatrice pour répondre aux questions suivantes.

Exercice sur la mesure de l’erreur

Performance de prévision

Cette section porte sur les mesures de la performance de prévision et sur leur utilisation dans le cadre de la vérification des prévisions hydrologiques. La performance est l'un des sept facteurs à prendre en compte pour la vérification de prévisions hydrologiques.

Contrairement aux indices d’erreur, les indices d’efficacité permettent d’évaluer la performance de prévisions par rapport à une prévision de référence. Parmi les prévisions de référence couramment utilisées figurent les prévisions qui se fondent sur les données climatologiques, sur la persistance ou sur les sorties de modèles. Par exemple, nous pourrions constater que notre REQM et notre biais ne sont pas très bons, et vouloir déterminer dans quelle mesure nos prévisions sont meilleures que les références climatologiques.

Les indices d’efficacité sont particulièrement utiles, parce qu'ils tiennent compte du degré de difficulté de la prévision. Si la performance est meilleure parce que le phénomène était plus facile à prévoir, tant la prévision que la référence sont efficaces, et l'indice de comparaison n'est pas plus élevé. Les indices d’efficacité permettent de déterminer si la bonne performance est due au fait que le système de prévision est «  plus ingénieux » que les prévisions de référence.

Mesures de la performance de prévision:

Déterministes Probabilistes
Indice de comparaison fondé sur la racine de l'erreur quadratique moyenne (IC-REQM)
Indice d'efficacité de Brier (BSS)
Indice de probabilité ordonné (RPSS)

Les indices de comparaison peuvent être utilisés pour des prévisions déterministes ou probabilistes.

Formulation

Formulation des indices de comparaison

Formule de l'indice de comparaison

Les indices de comparaison prennent la forme suivante: indice de la prévision moins indice de la référence, divisé par la valeur d’indice parfaite moins l’indice de la référence.

  • Indice de comparaison fondé sur la racine de l'erreur quadratique moyenne (IC-REQM)
  • Indice d'efficacité de Brier (BSS)
  • Indice de probabilité ordonné (RPSS)

Nous allons examiner l’indice de comparaison fondé sur la racine de l'erreur quadratique moyenne, l'indice d'efficacité de Brier et l'indice de probabilité ordonné. Il s'agit de l'indice de comparaison fondé sur la racine de l'erreur quadratique moyenne (IC-REQM), de l’indice d'efficacité de Brier (BSS) et de l'indice de probabilité ordonné (RPSS).

  • Valeur parfaite = 0
Indice de comparaison de valeur nulle

La REQM, le BS et le RPSS ont tous une valeur numérique de zéro dans le cas de prévision parfaite. L'équation est donc la suivante: Notez bien que, pour d'autres indices de mesure de l'exactitude, une valeur nulle ne signifie pas nécessairement une prévision parfaite et que l'équation ne se résout alors pas ainsi.

Formule de l'indice de comparaison: prévision sans erreur

Si la prévision considérée ne présente aucune erreur (c'est-à-dire qu'elle est parfaite), l'équation de l'indice de comparaison prend cette forme: le numérateur est identique au dénominateur. Ainsi, un indice de comparaison parfait a une valeur de 1.

Indice de comparaison: cas où la prévision correspond à la référence

Si la prévision et la référence sont identiques, le numérateur devient nul et l'indice de comparaison est nul. Dans ce cas, il n'y a pas d’efficacité, parce que la performance de la prévision est identique à la performance de la référence.

  • Cas où la prévision n’est pas efficace par rapport à la référence: Indice de comparaison = 0
  • Performance positive (prévision meilleure que la référence): Indice de comparaison > 0 et <1
  • Performance négative (prévision moins bonne que la référence) : Indice de comparaison = 0

Une performance positive est indiquée par des indices de comparaison situés entre 0 et 1. Cela signifie que la prévision est plus efficace que la référence. Une performance négative est signalée par un indice de comparaison inférieur à zéro. Cela se produit dans les situations où la prévision s'est avérée moins bonne que la référence.

Cas où la prévision de référence est presque parfaite.

Dans les situations où la prévision de référence est presque parfaite, des indices de comparaison très négatifs peuvent apparaître même si la prévision n'était pas beaucoup moins bonne que la prévision de référence. D'un point de vue mathématique, cela tient au fait que le dénominateur est un nombre très petit.

Indice de comparaison fondé sur la REQM

  • Mesure la performance de la prévision officielle du débit fluvial.
  • Référence: données climatologiques sur l’écoulement fluvial.
  • La prévision officielle est-elle meilleure que la climatologie? Dans quelle mesure?

Considérons une situation où nous voulons utiliser la racine de l'erreur quadratique moyenne pour connaître la performance d'une prévision officielle du débit d'une rivière. La prévision de référence est la climatologie des débits. Autrement dit, nous chercherons à déterminer si la prévision officielle donne de meilleures orientations que la climatologie et, si c'est le cas, nous quantifierons dans quelle mesure elle est meilleure.

Indice de comparaison fondé sur la REQM (1)

Rappelons que la racine de l'erreur quadratique moyenne (REQM) mesure l'erreur sur la base de la différence entre les hydrogrammes observé et prévu. Ce graphique simple de REQM montre que l'erreur peut varier de zéro à une valeur relativement grande en fonction du temps.

Indice de comparaison fondé sur la REQM (2)

Nous pouvons ajouter la courbe de la REQM pour la climatologie sur le graphique. Lorsque la REQM de la prévision a une valeur inférieure à celle de la climatologie, la prévision est plus efficace que la climatologie car elle comporte moins d'erreurs que cette dernière.

Indice de comparaison fondé sur la REQM (3)

La prévision présente donc une performance positive par rapport à la climatologie. Lorsque la REQM de la prévision a une valeur supérieure à celle de la climatologie, la prévision est moins efficace. Voyons maintenant à quoi ressemble le graphique de l'indice de comparaison fondé sur la REQM correspondant (IC-REQM).

Indice de comparaison fondé sur la REQM (4)

Rappelons que lorsque la prévision est parfaite (ou que la REQM de la prévision est égale à zéro), l'indice de comparaison fondé sur la REQM est égal à 1, sa valeur optimale.

Indice de comparaison fondé sur la REQM (5)

Lorsque les REQM de la prévision et de la référence climatologique sont égales, il n'y a aucun gain d’efficacité, et l'indice de comparaison fondé sur la REQM est nul. C'est toujours le cas, quelle que soit la valeur de la REQM, car l'indice de comparaison ne mesure que la valeur ajoutée des prévisions par rapport à la référence (en l'occurrence la climatologie).

Indice de comparaison fondé sur la REQM (6)

Lorsque la REQM de la prévision climatologique est inférieure à celle de la prévision, et donc que cette dernière est moins efficace, la performance est négative. Dans les cas où la référence, en l'occurrence la climatologie, a une excellente REQM, proche de zéro, l'indice de comparaison fondé sur la REQM peut devenir très négatif même si la valeur de la REQM de la prévision est relativement faible.

Enfin, notez que l’indice de comparaison fondé sur la REQM peut être positif, même si la valeur de la REQM pour la prévision est relativement élevée. L'objectif principal de l'indice de comparaison est de mesurer la performance de la prévision par rapport à la référence climatologique.

BSS et RPSS

Indice d'efficacité de Brier et indice de probabilité ordonné (BSS et RPSS)

  • Prévision de référence = référence climatologique
  • Les prévisions donnent-elles de meilleures orientations que la climatologie?

Examinons maintenant les calculs liées à l'indice de Brier et à l'indice de probabilité ordonné. Dans ces exemples, nous prendrons la climatologie comme référence. Il faut donc déterminer si les prévisions donnent de meilleures orientations que la référence climatologique.

Diagramme en secteurs: probabilité prévue que le niveau critique de crue soit dépassé - bonne prévision

Reprenons l'exemple de l'indice de Brier de la section 5. Dans cet exemple, nous avions une probabilité de 0,80 que le niveau critique de crue soit dépassé et le dépassement avait été observé. L'indice de Brier est de 0,04.

Diagramme en secteurs de la probabilité climatologique d'un dépassement du niveau critique de crue

Si la référence climatologique suggère que la probabilité du dépassement est de 0,30, alors l'indice de Brier est de 0,49.

Formulation du BSS

L'indice d'efficacité de Brier (BSS) est l’indice de Brier de la prévision moins l’indice de Brier de la référence divisé par 0 moins l’indice de Brier de la référence. Ce donne 0,04 - 0,49 divisé par -0,49, Soit +0,92. Un indice d'efficacité de Brier de +0,92 signifie que la prévision offre une amélioration de 92 % par rapport à l'orientation climatologique.

Question de révision

  • RPSS similaire à BSS
  • La climatologie est la prévision de référence.

L'indice de probabilité ordonné (RPSS) se calcule de la même manière que l’indice BSS. En utilisant la prévision climatologique comme référence, reportez-vous à cette équation pour répondre aux questions.

Question 1 sur 3

Si le RPSS est inférieur à 0, que peut-on dire de la performance de la prévision?

Choisissez toutes les bonnes réponses.

Les bonnes réponses sont a) et d).

Faites votre choix.

Question 2 sur 3

Si le RPSS est inférieur à 1, mais supérieur à 0, que peut-on dire de la performance de la prévision?

Choisissez toutes les bonnes réponses.

Les bonnes réponses sont b) et c).

Faites votre choix.

Question 3 sur 3

À la section consacrée aux prévisions catégoriques, nous avons établi que le RPS d’une prévision dans le cas de l’observation d’un léger dépassement du niveau critique de crue était de 0,08. Le RPS de la prévision climatologique dans le cas de l’observation de ce léger dépassement est de 0,37. Quel est le RPSS pour la référence climatologique?

Choisissez la meilleure réponse.

La bonne réponse est d) 0,78.

Le RPSS est (0,08 moins 0,37) divisé par (0 moins 0,37), soit -0,29/-0,37, ce qui donne 0,78. La prévision offrirait donc une amélioration de 78 % par rapport à la référence climatologique.

Faites votre choix.

Mesures conditionnelles

Cette section porte sur les mesures conditionnelles de vérification des prévisions. La vérification conditionnelle des prévisions est l'un des sept facteurs à prendre en compte pour la vérification des prévisions hydrologiques.

Les mesures de vérification conditionnelles fournissent des informations sur l'efficacité des prévisions (ou des probabilités prévues) à l’égard d’un certain phénomène ou de conditions définies.

Mesures de vérification conditionnelle:

Déterministes Probabilistes
Mesures de la fiabilité Diagramme de fiabilité, Diagramme d'attributs, Diagramme de discrimination
Caractéristique relative de fonctionnement (CRF) Caractéristique relative de fonctionnement (CRF)

On peut procéder à des mesures de discrimination ou de fiabilité pour vérifier des prévisions, qu’elles soient déterministes ou probabilistes.

Fiabilité/Discrimination

  • Vérification conditionnelle des prévisions
    • Par rapport aux prévisions
    • Par rapport aux observations
  • Mesures de la fiabilité:
    • Connaissant les prévisions, quelles ont été les observations correspondantes?
  • Mesures de la discrimination:
    • Connaissant les observations, quelles avaient été les prévisions correspondantes?

La vérification conditionnelle des prévisions peut porter soit sur les prévisions, soit sur les observations. Les deux approches devraient être envisagées pour mieux comprendre les différents aspects de la performance des prévisions.

La fiabilité se rapporte aux données quantitatives dans la perspective des prévisions. Autrement dit, si l'on a prévu un phénomène particulier, quelles ont été les observations correspondantes?

La discrimination se rapporte aux données quantitatives dans la perspective des observations. Autrement dit, si l'on a observé un phénomène particulier, quelles avaient été les prévisions correspondantes? Deux méthodes de mesure de la discrimination seront examinées dans les sections suivantes: (1) la caractéristique relative de fonctionnement (CRF), qui mesure la résolution des prévisions, et (2) le diagramme de discrimination.

Exemple

Fiabilité des prévisions vs discrimination des prévisions - illustration 1

Considérons vingt prévisions pour le débit d'une rivière. Il peut s'agir de vingt prévisions déterministes ou d'une prévision d'ensemble comprenant vingt membres. Pour simplifier, nous nous appuierons sur deux catégories pour les prévisions et les observations. La première catégorie regroupe les débits inférieurs à un plafond défini. Nous désignerons ces phénomènes par la lettre « B », inscrite en bleu. La deuxième catégorie regroupe les débits dont la valeur est égale ou supérieure à un seuil donné. Nous désignerons ces phénomènes par la lettre « H », inscrite en rouge.

Fiabilité des prévisions vs discrimination des prévisions - illustration 2

Dressons maintenant la liste des vingt observations correspondant à ces prévisions. Nous caractérisons donc le débit observé par les lettres B (comme « bas ») et H (comme « haut »). On peut comparer ces prévisions et ces observations de deux manières. La première est une vérification fondée sur les prévisions, et la seconde une vérification fondée sur les observations.

Fiabilité des prévisions vs discrimination des prévisions - illustration 3

Pour la vérification fondée sur les prévisions, nous répartissons les prévisions dans deux groupes. Le groupe 1 est constitué de toutes les prévisions « B » et de leurs observations correspondantes. Le groupe 2 est constitué de toutes les prévisions « H » et de leurs observations correspondantes. À partir de là, nous pouvons poser deux questions importantes.

Question 1: Considérant une prévision de B, qu’a montré l’observation correspondante? Ici, nous voyons que 8/10, soit 80 % des observations correspondent à une valeur de B. Nous pouvons en déduire que le système de prévision est fiable pour le débit B.

Question 2: Considérant une prévision de H, qu’a montré l’observation correspondante? Cette fois, seulement 4/10, soit 40 %, des observations correspondent aux prévisions ayant une valeur de valeur H. Nous pouvons en déduire que, pour la catégorie de débits H, le système de prévision n'est pas aussi fiable.

Fiabilité des prévisions vs discrimination des prévisions - illustration 4

Nous allons maintenant nous tourner vers la vérification fondée sur l'observation. Nous répartissons de nouveau les données en deux catégories, les débits B et les débits H, mais nous les définissons cette fois dans la perspective des observations. Le groupe 1 est donc constitué de toutes les observations de B et de leurs prévisions correspondantes. Le groupe 2 est constitué des observations de H et de leurs prévisions correspondantes. Maintenant, nous pouvons poser les deux questions suivantes.

Question 1: Considérant les observations du groupe de débits B, qu'avaient annoncé les prévisions correspondantes? Nous pouvons voir que 8/14, soit 57 %, des prévisions correspondent aux observations. Le système de prévision a donc permis de distinguer les conditions de faible débit dans un petit peu plus que la moitié des cas.

Question 2: Considérant les observations du groupe H, qu'avaient annoncé les prévisions correspondantes? Ici, 4/6, soit 67 %, des prévisions correspondent aux observations.

Fiabilité
Prévision:    Observations correspondantes correctes:
B 80 %
H 40 %
Discrimination
Observation:    Prévisions correspondantes correctes:
B 57 %
H 67 %

Que pouvons-nous en déduire? Dans ce cas, le système de prévision était fiable pour la catégorie de débits B. Autrement dit, pour une prévision de débit B, nous avions 80 % de chances que l'observation corresponde à B. Toutefois, la performance du système de prévision n'a pas été aussi bonne pour la discrimination des débits B. Pour une observation du débit B, il n'y avait que 57 % de chances que la prévision correspondante désigne B.

Pour les débits H, le système de prévision s'est révélé beaucoup moins fiable que pour les débits B. Seulement 40 % des prévisions de débit H correspondaient à des observations de H. Cependant, le système de prévision s'est révélé plutôt bon pour la discrimination des débits H. Lorsqu’un débit H est observé, il y a 2 chances sur 3 pour qu’il ait été prévu correctement.

Cet exemple, simple, ne prenait en compte que deux catégories. En réalité, on peut définir de nombreuses catégories dans le continuum entre le débit le plus faible possible et le débit le plus élevé possible. Dans ce cas, la vérification des prévisions conditionnelles se complique, mais le calcul de la fiabilité et de la discrimination des prévisions reste le même qu’avec un système simple à deux catégories.

Mesures de la fiabilité

  • La fiabilité est la correspondance entre la probabilité prévue et la fréquence des observations.
  • La fiabilité rend compte du biais conditionnel de chaque sous-catégorie de prévisions.

La fiabilité est la correspondance entre la probabilité prévue et la fréquence des observations. Lorsqu'une condition a été définie, c'est-à-dire que les données ont été réparties en sous-catégories, nous pouvons appliquer certaines des mesures de vérification que nous avons présentées pour caractériser la fiabilité des prévisions. Par exemple, la fiabilité rend compte du biais conditionnel pour chaque sous-catégorie prévue.

On utilise les diagrammes de fiabilité et d'attributs pour vérifier les prévisions probabilistes.

Diagramme de fiabilité

Diagramme de fiabilité (1)

Le diagramme de fiabilité représente la fréquence des observations en fonction des probabilités prévues. Il aide donc à déterminer dans quelle mesure les probabilités prévues correspondent à la fréquence d’observation d'un phénomène. Autrement dit, si un phénomène a été prévu 30 % du temps, on établit à quelle fréquence il a été réellement observé. Ou, dans une perspective probabiliste, lorsqu’il a été prévu qu'un phénomène avait 30 % de chances de se produire, on établit combien de fois il s'est réellement produit. Idéalement, si nous prenons toutes les prévisions ayant établi qu’un phénomène avait une probabilité de 30 % de se produire, alors ce phénomène devrait avoir été observé pour 30 % de ces prévisions.

Diagramme de fiabilité (2)

Les probabilités prévues, qui figurent sur l'axe X, sont réparties dans des intervalles. Pour cet exemple, nous utiliserons 11 intervalles pour représenter les probabilités (P): P=0,0, 0,0<P≤0,1, 0,1<P≤0,2, 0,2<P≤0,3, 0,3<P≤0,4, et ainsi de suite jusqu'à 0,9<P≤1,0.

Il est important de noter que les diagrammes de fiabilité dépendent de la définition d'un phénomène. En l'occurrence, le phénomène est « débit de pointe ≥200 unités de débit ». Par conséquent, les informations obtenues à l'aide d'un diagramme de fiabilité ne sont pertinentes que pour ce phénomène.

Diagramme de fiabilité (3)

Que pouvons-nous donc déduire de la présence d'un point sur le diagramme de fiabilité et de sa position par rapport à la diagonale? Ce point indique que, pour toutes les prévisions qui définissaient une probabilité de 0,5 à 0,6 pour un débit égal ou supérieur à 200 unités de débit, ce type de débit a été observé à une fréquence relative de 0,66, soit 66 % du temps.

  • Points sont sur la diagonale: prévisions fiables.
  • Points au-dessus de la diagonale: sous-estimation.
  • Points au-dessous de la diagonale: surestimation.

Les points qui se trouvent directement sur la diagonale correspondent à des prévisions parfaitement fiables. Dans ce cas, la probabilité prévue correspond exactement à la fréquence observée. Les points qui se trouvent au-dessus de la diagonale correspondent à une sous-estimation. Cela signifie que la fréquence d’observation du phénomène est supérieure à la probabilité prévue. Les points qui se trouvent au-dessus de la diagonale correspondent à une surestimation.

Précision

Fiabilité et précision

Histogramme sur la taille de l'échantillon et sur la précision

Un échantillon trop petit peut compromettre l'utilité du diagramme de fiabilité.

Voici un histogramme indiquant la fréquence des prévisions dans chaque intervalle de probabilité. L'histogramme donne alors une indication du nombre d'échantillons utilisés pour calculer la fiabilité. Il renseigne aussi sur la précision des prévisions.

Histogramme révélant une prévision précise

Prévisions précises:

  • Diffèrent de la référence climatologique ou de la moyenne
  • Ont tendance à définir des probabilités proches de 0,0 ou 1,0
  • Sont exactes si elles sont également fiables

Les prévisions sont précises si elles diffèrent souvent nettement des prévisions climatologiques ou des valeurs moyennes, et si elles ont tendance à établir des probabilités autour de 0 ou de 1. Les prévisions précises sont exactes si elles sont par ailleurs fiables, c'est-à-dire qu'elles correspondent aux observations.

Incidence de l'utilisation d'un petit échantillon sur le diagramme de fiabilité

Si l'échantillon est trop petit, la courbe peut suivre un tracé erratique autour de la diagonale sur le diagramme de fiabilité. L'utilisateur ne peut alors pas interpréter les résultats numériques en raison de l'incertitude due à l'échantillonnage.

Fiabilité et exactitude parfaites

La vérification d'une prévision parfaite sur un diagramme de fiabilité ferait apparaître un point en haut à droite, un point en bas à gauche, et l'histogramme indiquerait des probabilités de 0 ou de 1 pour tout l'échantillon. Cela indiquerait que les prévisions définissent toujours une probabilité de 0 ou de 100 %, et qu'elles correspondent toujours aux observations.

Diagramme d'attributs

Diagramme d'attributs (1)

Utilisons maintenant notre diagramme de fiabilité pour le phénomène « débit de pointe égal ou supérieur à 200 unités de débit » et ajoutons-y quelques caractéristiques.

Diagramme d'attributs (2)

Si nous ajoutons sur le graphique notre histogramme, de même que des informations supplémentaires permettant d'établir des comparaisons entre les points de la courbe et la climatologie, la résolution et la performance, nous obtenons un diagramme d'attributs. Mettons que la climatologie suggère une probabilité de 0,25 pour le phénomène. La ligne « seuil de résolution », qui est parallèle à l'axe des x, passe normalement par la valeur de la fréquence observée de l’échantillon qui correspond à la climatologie. Que pouvons-nous en déduire? Cela signifie que, si le système de prévision prévoit toujours les valeurs climatologiques, il ne peut pas distinguer entre la survenue et la non survenue du phénomène. Chaque fois que la courbe reliant les points du graphique devient horizontale, la valeur observée concernée s’applique à toutes les probabilités prévues correspondantes.

Diagramme d'attributs (3)

La ligne établissant la limite de l’efficacité se trouve par définition à mi-chemin entre la ligne « seuil de la résolution » et la diagonale.

Diagramme d'attributs (4)

La zone ombrée sur le diagramme d'attributs est celle où les prévisions sont efficaces.

Discrimination

Établissement d’un diagramme de discrimination à partir des données d'observation et de prévision

Dans le contexte de la prévision, la discrimination est la capacité, pour la prévision, d'établir une distinction entre des phénomènes, un résultat observé étant donné.

Pour cet exemple, nous définissons cinq catégories de débit : très faible, faible, moyen, élevé et très élevé. La discrimination entre les prévisions étant fondée sur les observations, répartissons les observations en trois sous-catégories. La première sous-catégorie est « débits faibles observés ». Elle comprend toutes les observations des catégories de débit « très faible » et « faible ». La deuxième est « débits moyens observés ». Elle correspond à la catégorie de débit « moyen ». La troisième est « débits élevés observés ». Elle comprend les catégories « débit élevé » et « débit très élevé ».

Pour cet exemple, nous supposerons des prévisions d'ensemble comprenant 10 membres. La colonne 2 indique ce que chacun des 10 membres de l’ensemble a prévu lorsque les observations correspondaient à la sous-catégorie « débits faibles observés ». La colonne 3 indique la prévision de chaque membre de l’ensemble pour les débits de la sous-catégorie « débits moyens observés ». Et la colonne 4 indique les prévisions des membres de l’ensemble pour les débits de la sous-catégorie « débits élevés observés ».

Le tableau inférieur présente la fréquence prévue de nos 5 catégories de débits pour chaque sous-catégorie observée. Ainsi, par exemple, dans la colonne 2 (« débits faibles observés »), quatre membres (sur dix) de l'ensemble étaient des prévisions de « très faible débit » et quatre autres de « faible débit ». Ainsi, la prévision probabiliste pour chacune des catégories de débit « très faible » et « faible » est de 0,40. La catégorie de débit moyen a une probabilité de 0,20, car elle n'a été prévue que par 2 membres de l'ensemble (sur 10). Et il n'y a pas eu de prévision pour les catégories de débit « élevé » et « très élevé » lorsque des débits faibles ont été observés.

Faisons maintenant de même pour la colonne 3 (« débits moyens observés ») et la colonne 4 (« débits élevés observés »).

Ces données peuvent maintenant être utilisées pour élaborer un diagramme de discrimination.

Diagramme de discrimination

Diagramme de discrimination pour les débits observés de type faible, moyen et élevé

Nous pouvons maintenant utiliser les données du tableau présentant les probabilités de débit prévues dans la perspective des sous-catégories de débits observés, puis élaborer un diagramme de discrimination.

Sur le diagramme de discrimination, l'axe des x indique les cinq catégories de débit (allant de « très faible » à « très élevé"). L'axe des y indique la fréquence relative de la prévision.

Considérons d'abord la ligne bleue tiretée, qui correspond aux données de la colonne 2. Elle montre que, lorsque des débits faibles ont été observés, la fréquence des catégories de prévision « très faible » ou « faible » était de 0,4 et la probabilité était de seulement 0,2 pour le débit moyen. La fréquence des prévisions pour les catégories de débit « élevé » et « très élevé » se ramène à 0,0. Souvenons-nous de la fonction de densité de probabilité (FDP) présentée à la section 2. La ligne bleue tiretée correspond à la FDP de la prévision lorsque des débits faibles ont été observés.

La ligne verte pointillée, qui correspond aux données de la colonne 3, est la FDP pour la prévision lorsque des débits moyens ont été observés. On y voit des probabilités un peu plus faibles pour les catégories de prévisions « très faibles » et « faibles » que pour les catégories « moyen » à « très élevé ».

La ligne rouge continue, qui correspond aux données de la colonne 4, est la FDP pour la prévision lorsque des débits élevés ont été observés.

Notez que la ligne verte pointillée est très similaire à la ligne rouge continue. Cela signifie que les probabilités prévues lorsque des débits moyens ont été observés étaient similaires aux probabilités prévues lorsque des débits élevés ont été observés. Autrement dit, le système de prévision n'est pas très bon pour distinguer les débits moyens des débits élevés. Le système de prévision présente une relativement bonne capacité de discrimination pour les débits faibles. C'est ce qui apparaît lorsque nous examinons la courbe bleue tiretée, car les probabilités prévues étaient plus élevées pour les catégories de débit plus faible (« très faible » et « faible ») et la FDP révèle qu'elle se détache quelque peu des deux autres courbes. Il en ressort que les prévisions n'étaient pas les mêmes lors de l’observation de débits faibles et lors de l’observation de débits moyens ou élevés.

Exemples de discrimination pour des prévisions de débit élevé

Idéalement, les trois sous-catégories ou les trois FDP se répartiraient distinctement. À gauche, on voit que chacune des FDP prévues pour chaque sous-catégorie de débit observé se démarque des deux autres. C'est la marque d'une bonne discrimination des prévisions. Autrement dit, les prévisions ont été uniques pour chacune des conditions observées. Dans ce cas idéal, les sous-catégories d'observation correspondent aux prévisions. Par exemple, la FDP, lorsque des débits élevés sont observés, passe à l'extrémité droite de l'axe x, qui correspond aux prévisions de débits élevés.

Par contre, dans le cas du système de prévision dont la discrimination est insatisfaisante, les courbes de FDP ne présentent que peu ou pas de différence entre leurs distributions et sont souvent centrées sur la probabilité climatologique.

Diagramme de discrimination pour les débits observés de type faible, moyen et élevé

Revenons à notre diagramme de discrimination et supposons qu'il représente des prévisions à quatre mois sur le pic de ruissellement à la fonte des neiges. Faisons maintenant apparaître un diagramme de discrimination (un peu plus bas) pour le même lieu et les mêmes variables, mais présentant des prévisions à un mois.

Question

Diagramme de discrimination pour les débits observés de type faible, moyen et élevé

Comment les prévisions à un mois se présenteront-elles comparées aux prévisions à quatre mois?

Choisissez toutes les bonnes réponses.

Les bonnes réponses sont a) et d).

Les prévisions à un mois présentent une meilleure discrimination, comme le montrent les FPD, bien distinctes, pour les sous-catégories de débit faible, moyen et élevé. Ces prévisions sont meilleures que les prévisions à quatre mois, qui présentent peu de discrimination entre les sous-catégories à débit moyen et élevé. Cela signifie que, compte tenu des observations, la prévision à un mois présentait une bonne discrimination pour toutes les sous-catégories.

Faites votre choix.

CRF

Caractéristique relative de fonctionnement

Caractéristique relative de fonctionnement (CRF)
  • Mesure la capacité à distinguer la survenue et la non-survenue d'un phénomène
    • Mesure la résolution des prévisions
  • Prend pour référence les observations
    • Si les débits de pointe observés sont ≥ 200 unités de débit
    • Alors comment les probabilités prévues ont-elles permis de déterminer si, oui ou non, le débit serait ≥ 200?

La caractéristique relative de fonctionnement (CRF) mesure la capacité d'un système de prévision à distinguer entre la survenue et la non-survenue d'un phénomène pour une condition donnée. En l'occurrence, nous utiliserons la condition « débit égal ou supérieur à 200 unités de débit ». La CRF mesure la résolution des prévisions, qui est liée à la discrimination entre les phénomènes.

La CRF prend pour référence les observations. Dans notre exemple, la CRF peut donc aider à répondre à la question suivante : « Si les observations ont montré que les débits de pointe ont atteint ou dépassé 200 unités de débit, dans quelle mesure les probabilités prévues correspondantes ont-elles indiqué si, oui ou non, le niveau de 200 unité serait atteint ou dépassé? »

Avant d'entrer dans les détails numériques, prenons un exemple illustrant comment les utilisateurs peuvent utiliser les informations de la CRF.

Photo d'un cours d'eau passant au-dessous d'un bâtiment scolaire

Considérons deux utilisateurs des prévisions de débit du cours d'eau. L'utilisateur 1 est responsable d'installations qui pourraient subir de gros dommages si le niveau critique de crue était atteint. Une probabilité de 0,20 que le niveau critique de crue soit atteint ou dépassé est suffisante pour justifier des préparatifs d'évacuation.

Photo d'une péniche sur un fleuve.

L'utilisateur 2 a une activité qui serait beaucoup moins en péril si la rivière atteignait le niveau critique de crue. Il ne prendrait aucune disposition à l’annonce d'une crue, à moins qu'il n'y ait une probabilité de 0,80 que la rivière atteigne ou dépasse le niveau critique de crue.

Ces utilisateurs auraient intérêt à savoir si le système de prévision est capable de distinguer entre des probabilités de 0,20 et de 0,80. La CRF peut les aider à mesurer la résolution de la prévision.

Interprétation de la caractéristique relative de fonctionnement (CRF)

Caractéristique relative de fonctionnement (CRF) exemple 1

Pour comprendre les questions relatives à la résolution des prévisions, examinons de plus près la signification des données dans le graphique de la CRF. La POFD figure sur l'axe des x et la POD sur l'axe des y. Un ensemble de valeurs limites pour la probabilité prévue, par ordre croissant en partant d’en haut à droite et en allant en bas à gauche, est utilisé pour prendre des décisions de type oui/non liées à la condition ≥ 200. Chaque point représente une limite de probabilité prévue.

Pour l'instant, ignorons les valeurs de la POD et de la POFD sur les axes x et y afin nous concentrer sur les probabilités « prévues » qui définissent les points.

Caractéristique relative de fonctionnement (CRF) exemple 2

Supposons que le point limite 1 (en haut à droite) représente une probabilité prévue de 0,20 pour un débit égal ou supérieur à 200 unités. Pour les autres probabilités limites, qui suivent par ordre croissant, supposons que les valeurs limites 2 à 4 représentent des probabilités prévues de 0,40, 0,60 et 0,80.

Considérons la limite 4, qui représente une probabilité prévue de 0,80. Cela signifie que la prévision est considérée comme une prévision « Oui » (c’est-à-dire que le phénomène « débit ≥ 200 unités de débit » se produira) - si la probabilité atteint ou dépasse 0,80.

Toute probabilité inférieure à 0,80 est considérée comme une prévision négative, ce qui signifie qu'on s'attend à la non-survenue du phénomène. Vous vous demandez peut-être si cela signifie qu'une probabilité de 0,75 pour le phénomène est considérée comme la prévision d’une non-survenue du phénomène. Oui, c'est bien ce que cela signifie pour le point limite 4.

Revenons maintenant aux valeurs sur les axes x et y. En utilisant le tableau de contingence à double entrée examiné à la section 5, nous pouvons calculer la POD et la POFD pour le point limite 4. La prévision « Oui » correspond à toute prévision dont la probabilité est égale ou supérieure à 0,80. La prévision « Non » correspond à toute prévision dont la probabilité est inférieure à 0,80.

Caractéristique relative de fonctionnement (CRF) exemple 3

Si l'on observe le graphique, le point limite 4 est associé à une POD de 0,20 et à une POFD de 0,10.

Comparons cela avec le point limite 1, qui est associé à une probabilité prévue de seulement 0,20. Dès lors, toute prévision établissant qu’il y a une probabilité de 0,20 ou plus que le débit atteigne 200 unités de débit est considérée comme une prévision « Oui ». Seules les probabilités prévues qui sont inférieures à 0,20 sont considérées comme des prévisions de non-survenue du phénomène. Nous devrions nous attendre à ce que la POD et la POFD soient beaucoup plus élevées que pour le point limite 4, car, dans ce cas, beaucoup plus de prévisions sont considérées comme établissant la survenue du phénomène. La POD pour le point limite 1 est de 0,95 et la POFD de 0,70.

Qu'en est-il des points situés aux extrémités? Lorsque la limite de la probabilité se ramène à 0,0, toute prévision est considérée comme une prévision « Oui », car toute prévision établissant une probabilité égale ou supérieure à 0,0 est considérée comme la prévision d'un phénomène. Lorsqu'un phénomène est toujours prévu, le tableau de contingence à double entrée indique que la POD et la POFD se portent toutes deux à 1. C'est le point dans le coin supérieur droit. Lorsque la probabilité limite s'approche de 1,0, alors toutes les prévisions sont inférieures à la limite et elles comptent toutes comme des prévisions « Non ». Dans ce cas, le tableau de contingence à double entrée indique que la POD = POFD = 0, et nous avons un point en bas à gauche.

Caractéristique relative de fonctionnement (CRF) exemple 4

L'aire sous la courbe de CRF, en bas à droite, peut être utilisée en tant qu'indice numérique. Plus l'aire est grande, meilleur est l'indice.

Exemples de CRF

Exemples d'interprétation de la CRF

Interprétation de la CRF (1)

Le coin supérieur gauche correspond à une POD parfaite de 1 et à une POFD parfaite de 0. L'indice de vérification parfait suivrait l'axe des y du coin inférieur gauche au coin supérieur gauche, puis passerait au coin supérieur droit. L'aire sous la courbe CRF est de 1,0 dans ce cas.

Interprétation de la CRF (2)

Nous avons une bonne discrimination pour les phénomènes positifs lorsque la courbe CRF est au-dessus de la diagonale. Il en ressort une capacité à distinguer entre la survenue d'un phénomène et son absence. Autrement dit, si un phénomène a été observé, la prévision a été efficace pour indiquer qu'un phénomène se produirait. L'aire au-dessous de la courbe CRF se situe entre 0,5 et 1,0.

Interprétation de la CRF (3)

Le système de prévision n’a pas de capacité de discrimination des phénomènes lorsque la courbe suit la diagonale. Ici, la POD est égale à la POFD. Cela indique que, si un phénomène a été observé, la prévision avait autant de probabilité d'indiquer sa survenue que son absence. Dans ce cas, l'aire sous la courbe CRF est de 0,5.

Interprétation de la CRF (4)

Lorsque la courbe CRF se trouve au-dessous de la diagonale, cela indique une capacité négative de discrimination des phénomènes. Cela suggère que, si un phénomène a été observé, la prévision établissait très probablement la non-survenue de celui-ci. Dans ce cas, l'aire sous la courbe CRF se situe entre 0,0 et 0,5.

Questions de révision

Exemple: Caractéristique relative de fonctionnement (CRF)

Voici une courbe CRF pour la survenue d’un débit élevé. Répondez aux questions suivantes en vous aidant du diagramme:

Question 1 sur 3

Pour les points limites de probabilité prévue 9 et 10, que nous révèle la courbe CRF?

Choisissez toutes les bonnes réponses.

Les bonnes réponses sont d) et e).

Faites votre choix.

Question 2 sur 3

Pour les points limites de probabilité prévue 7 et 8, que nous révèle la courbe CRF?

Choisissez toutes les bonnes réponses.

Les bonnes réponses sont c) et f).

Faites votre choix.

Question 3 sur 3

Pour les points limites de probabilité prévue 1 à 6, que nous révèle la courbe CRF?

Choisissez toutes les bonnes réponses.

Les bonnes réponses sont a) et b).

Faites votre choix.

Résumé

RPS à intervalles multiples

Les indices et diagrammes de vérification présentés dans ce module ne reflètent pas l'intégralité des mesures de vérification possibles. Nous avons présenté ceux qu’a recommandés l'équipe du NWS spécialisée dans les systèmes de vérification des prévisions (Service météorologique national des États-Unis). Ces mesures sont particulièrement utiles pour vérifier les prévisions hydrologiques. Cependant, elles trouvent un vaste champ d'application bien au-delà de l'hydrologie.

Photographie de l'échelle limnimétrique d'un pont

La vérification des prévisions hydrologiques vise avant tout à 1) évaluer la performance du système de prévision, 2) améliorer la performance du système de prévision, et 3) comparer les systèmes de prévision entre eux.

Utilisation de la vérification

Hydrogramme présentant le niveau prévu et le niveau observé du fleuve Housatonic (10 mars 2008)

Les prévisionnistes et les utilisateurs des prévisions peuvent procéder à des vérifications pour des raisons différentes.

Photo d'un couple pêchant dans une rivière

Par exemple, un utilisateur peut s'intéresser avant tout à la précision du système dont il dispose, sans se préoccuper de la manière dont celui-ci pourrait être amélioré ou comparé à un autre système de prévision situé ailleurs.

Photo de prévisionnistes

Un prévisionniste, de son côté, peut s'intéresser en premier lieu à l'amélioration des prévisions, ce qui peut exiger de mieux comprendre d'autres systèmes de prévision plus performants.

Photo d'une personne jouant sur un banc de sable au milieu d'une rivière.

Les besoins des utilisateurs sont très variés. Certains utilisateurs, très préoccupés par les crues (même si elles sont peu probables) sont parfois prêts à accepter de grandes incertitudes dans les prévisions.

Photographie d'une échelle limnimétrique

D'autres utilisateurs ne se sentent concernés que lorsqu'il y a une forte probabilité de crue.

Photo de péniches sur un fleuve.

D'autres utilisateurs encore ne se préoccupent pas tant des types de phénomènes, tels que les inondations, mais s'intéressent aux performances des instruments mesurant les variations normales du débit durant une saison.

Élaboration de mesures de vérification

Pour ces raisons, la vérification ne peut se résumer à un chiffre ou à un graphique récapitulatif. Une vérification utile repose en règle générale sur un ensemble de mesures adapté aux besoins spécifiques et aux données requises dans une situation donnée.

Tableau récapitulatif

Capture d'écran de la page web d'un tableau récapitulatif

Le tableau interactif (VerificationSummaryTablev2.0fr.pdf) résume les mesures décrites dans ce module. Pour les mesures associées à des indices numériques, le tableau indique la fourchette de valeurs ainsi que la valeur optimale pour des prévisions parfaites. Pour les mesures présentées sur des diagrammes, le tableau offre un simple rappel visuel de la forme que peut prendre une vérification idéale.

Vérification de la chronologie

Hydrogramme montrant un décalage temporel entre le phénomène observé et le phénomène prévu

Ce module s'est concentré sur l'ampleur des variables hydrologiques. Autrement dit, nous avons utilisé des exemples de débit et de niveau d'eau. Il est toutefois important de vérifier la chronologie des phénomènes hydrologiques. Par exemple, la prévision d'un débit de pointe peut être parfaite, mais le moment auquel ce phénomène est prévu peut être inexact.

Dans de nombreux cas, les mêmes indices peuvent s'appliquer à des paramètres temporels. La différence entre l'heure prévue du débit de pointe et l'heure de son observation peut être utilisée pour calculer les divers types d'erreur.

Autres ressources

Parmi les autres sources d'information en ligne utiles pour compléter les informations de ce module se trouvent les ressources suivantes:

Glossaire en anglais du National Weather Service Glossary of Verification Metrics:
https://www.nws.noaa.gov/ohd/rfcdev/docs/Glossary_Verification_Metrics.pdf

The National Precipitation Verification Unit help pages:
https://origin.wpc.ncep.noaa.gov/npvu_test/help/

Contributeurs

Commanditaires du Programme de coopération pour l'enseignement et la formation en météorologie opérationnelle (COMET)

Le programme COMET ® est parrainé par le Service météorologique national (NWS) de la NOAA, avec l'aide des contributeurs suivants:

  • Air Force Weather (AFW)
  • Bureau météorologique australien (BoM)
  • Organisation européenne pour l'exploitation de satellites météorologiques (EUMETSAT)
  • Service météorologique du Canada (SMC)
  • National Environmental Education Foundation (NEEF)
  • Système national de satellites sur orbite polaire pour l'étude de l'environnement (NPOESS)
  • Service national d'information, de données et de satellites pour l'étude de l'environnement de la NOAA (NESDIS)
  • Naval Meteorology and Oceanography Command (NMOC)

Contributeurs du projet

Conseiller scientifique principal

  • Matthew Kelsch - UCAR/COMET

Autres conseillers scientifiques
  • Julie DeMargne - UCAR/NWS
  • Kevin Werner - NWS
  • Holly Hartmann - Université de l'Arizona

Chef de projet (science)

  • Lon Goldstein - UCAR/COMET

Chef de projet (conception pédagogique)

  • Lon Goldstein - UCAR/COMET

Conception graphique et de l'interface

  • Steve Deyo - UCAR/COMET
  • Brannan McGill - UCAR/COMET

Création multimédia

  • Dan Riter — UCAR/COMET
  • Lon Goldstein — UCAR/COMET

Montage audio/Production

  • Seth Lamos — UCAR/COMET

Narration audio

  • Matthew Kelsch — UCAR/COMET

Équipe d'intégration 2020 COMET HTML

  • Tim Alberta — Chef de projet
  • Dolores Kiessling — Chef de projet
  • Steve Deyo - Art graphique
  • Gary Pacheco - Développeur Web principal
  • David Russi — Traductions
  • Gretchen Throop Williams — Développeur Web
  • Tyler Winstead — Développeur Web

Équipe de traduction française

  • Dr Bi Tozan Michel N'GUESSAN — Docteur-Ingénieur en Génie Civil et Environnement Enseignant-chercheur
  • Rokhaya Ba — OMM
  • Alexandre Alix — Partenariat Français pour l'Eau (PFE) / French Water Partnership (FWP)

Personnel de COMET, juin 2008

Directeur

  • Dr Timothy Spangler

Vice-directeur

  • Dr Joe Lamos

Directrice commercial/Directrice de l'administration

  • Elizabeth Lessard

Administration

  • Lorrie Alberta
  • Michelle Harrison
  • Hildy Kane

Graphisme/Production médias

  • Steve Deyo
  • Seth Lamos
  • Brannan McGill

Support matériel/logiciel et programmation

  • Tim Alberta — Chef de l'informatique
  • James Hamm
  • Lance Jones
  • Ken Kim
  • Mark Mulholland
  • Wade Pentz (étudiant)
  • Dan Riter
  • Carl Whitehurst
  • Malte Winkler

Conception pédagogique

  • Patrick Parrish (Directeur de production)
  • Alan Bol
  • Lon Goldstein
  • Bryan Guarente
  • Dr Vickie Johnson
  • Bruce Muller
  • Dwight Owens (Alphapure Design Studio)
  • Marianne Weingroff

Météorologues

  • Greg Byrd (responsable de l'ensemble du projet)
  • Wendy Schreiber-Abshire (responsable de l'ensemble du projet)
  • Dr William Bua
  • Patrick Dills
  • Dr Stephen Jascourt
  • Matthew Kelsch
  • Dolores Kiessling
  • Dr Arlene Laing
  • Dr Elizabeth Mulvihill Page
  • Amy Stevermer
  • Dr Doug Wesley

Rédactrice scientifique

  • Jennifer Frazer

Traduction en espagnol

  • David Russi

NOAA/National Weather Service - Forecast Decision Training Branch

  • Anthony Mostek (Chef du Service de la formation)
  • Dr Richard Koehler (Responsable de la formation en hydrologie)
  • Brian Motta (Formation IFPS)
  • Dr Robert Rozumalski (SOO /Coordonateur des ressources pour la science et la formation)
  • Ross Van Til (Météorologue)
  • Shannon White (Formation AWIPS)

Météorologues détachés au Service météorologique du Canada

  • Phil Chadwick

Retour au début