
La vérification des prévisions hydrologiques fournit des informations précieuses tant aux prévisionnistes qu'aux utilisateurs des prévisions.

Ces informations peuvent être utilisées par ces deux groupes aux fins de l'évaluation, de l'amélioration et de l'utilisation des produits de prévision.

La vérification des prévisions hydrologiques peut s'avérer utile dans divers contextes hydrologiques, notamment pour faire face à l’écoulement causé par la fonte des neiges, aux difficultés d'approvisionnement en eau et à tous les types d'écoulement des cours d'eau, y compris les crues et les débits d'étiage.
Thèmes liés à la vérification
Ce module présente et explique les mesures statistiques et les représentations graphiques liées à sept thèmes de la vérification hydrologique. Ces thèmes ont été définis par une équipe du Service météorologique national des États-Unis (NWS) qui est spécialisée dans les systèmes de vérification. Ils sont traités dans les sections 2 à 8 de ce module.
Cette section expose les raisons justifiant de vérifier les prévisions et introduit des concepts et des termes importants. Nous examinerons les questions suivantes:

On procède à l'évaluation des prévisions hydrologiques pour trois grandes raisons. 1) pour comprendre et quantifier l'exactitude et la performance des prévisions. 2) pour voir si les informations sont bien communiquées aux utilisateurs des prévisions. 3) pour évaluer l'utilité de la prévision dans le contexte d'un utilisateur particulier.
Ce module se concentre sur la première raison: la volonté de comprendre et quantifier l'exactitude et la performance des prévisions. C'est ce qu'on appelle la vérification des prévisions.

Trois grandes raisons peuvent expliquer la vérification des prévisions. 1) On peut vouloir surveiller la qualité des prévisions, c'est-à-dire mesurer la correspondance entre prévisions et observations. 2) On peut vouloir améliorer la qualité des prévisions en déterminant les forces et les faiblesses du système de prévision. 3) On peut vouloir comparer deux systèmes de prévision.

Une prévision sera considérée comme « bonne » ou non selon l'utilisateur et selon la situation. Un utilisateur de prévisions fluviales peut se demander : « Le niveau maximal correspondra-t-il exactement aux prévisions? »

Si la prévision est fausse, le niveau sera-t-il plus ou moins élevé?

Les prévisions indiquent-elles généralement précisément quand le niveau est maximal? Si ce n'est pas le cas, le pic observé intervient-il plus tôt ou plus tard?

Un prévisionniste, quant à lui, peut souhaiter obtenir des informations supplémentaires, et se demander: « Nos prévisions sont-elles bonnes même si l'exactitude n'est pas absolue? » Il peut se demander: « Nos prévisions sont-elles meilleures que telle prévision de référence, par exemple que la sortie du modèle non ajustée? » Dans cet exemple hypothétique, pour le premier pic, la différence entre l’observation et la prévision ajustée par des professionnels est plus petite que la différence entre l’observation et la sortie du modèle.
La prévision ajustée est donc plus efficace que celle du modèle. Pour le deuxième pic, la prévision ajustée par des professionnels est aussi temporellement plus proche de l’observation que la prévision du modèle. Encore une fois, la prévision ajustée s’avère plus efficace que la prévision du modèle.
Un prévisionniste peut améliorer ses prévisions grâce à la vérification, surtout s'il constate des erreurs persistantes.
Buts de la vérification:
Un prévisionniste peut donc vérifier les prévisions pour contrôler la qualité, réduire les erreurs de prévision et comparer des systèmes de prévision.

Les décideurs politiques aimeraient souvent que le résultat d’une vérification soit exprimée à l’aide d’un seul chiffre. (1) Si vous deviez décrire une maison à quelqu'un, pourriez-vous vous contenter de n'indiquer que le prix? Bien sûr que non.

Bien que le prix soit important, on souhaite également obtenir des informations sur l’année de construction, le nombre de pièces, la taille, l'état, l'emplacement...

et une photo !
De même, pour vérifier une prévision hydrologique, on ne peut pas se contenter de mesurer l'exactitude selon un seul critère, comme la racine de l'erreur quadratique moyenne. C'est un critère important, mais il faut aussi mesurer les biais, la distribution des données, le degré de confiance, la corrélation, la performance, la discrimination et la fiabilité.

Ce module devrait vous convaincre qu'une bonne vérification exige normalement d'examiner plusieurs chiffres et/ou figures, en fonction du type de prévision et des informations souhaitées.

Revenons à la question toute simple : « comment mesurer la qualité d'une prévision? » Supposons que, selon les prévisions actuelles, dans 24 heures, le niveau de la rivière va se mettre à monter, pour s’élever rapidement de 5 mètres en 6 heures, et culminer à 20,75 mètres, soit 0,25 mètre au-dessous du niveau critique de crue.

Imaginons maintenant que le niveau monte exactement au moment prévu, mais que le pic atteigne 21,25 mètres au lieu de 20,75 mètres. Le pic se trouve donc à 0,25 mètre au-dessus du niveau critique de crue au lieu de 0,25 mètre au-dessous. La prévision était-elle bonne? Bien entendu, tout dépend de la personne qui pose la question et du contexte. Un prévisionniste sachant que la mesure des niveaux élevés sur cette rivière s’accompagne d’une grosse marge d'incertitude considérerait probablement cette prévision comme bonne.
Un responsable de la gestion des crises, par contre, verrait surtout que le niveau critique de crue a été dépassé et que personne ne l’avait annoncé.

Compte tenu des graves conséquences que peut avoir l’absence de tout préparatif en cas d’inondation, cette même prévision pourra être considérée comme mauvaise.

Supposons maintenant que le responsable de la gestion des crises ait consulté les statistiques pour ce type de prévision et qu’il sache que les prévisions relatives à la montée des eaux s'écartent parfois de plus d'un demi-mètre de la valeur vraie. Sachant que les prévisions de crues subites s'accompagnent souvent d'une grande incertitude, le responsable compétent décidera peut-être de prendre des mesures d'urgence si l’on prévoit une élévation à moins de 0,25 mètre du niveau critique de crue.
Types de prévisions:
Nous prenons deux types de prévision en considération: les prévisions déterministes et les probabilistes. Les prévisions déterministes sont des prédictions à valeur unique qui ne s'accompagnent d'aucune information sur l'incertitude. Les prévisions probabilistes prennent la forme de valeurs multiples ou de probabilités décrivant la fourchette des résultats possibles.
Le choix du type de vérification dépend de la nature de la prévision. Nous vous proposons ici un exemple simple pour faire ressortir les différences, mais nous vous encourageons à consulter les documents disponibles en ligne sur les prévisions probabilistes.
Ressources supplémentaires:
Voir le module sur les Prévisions d'ensemble de l'écoulement fluvial pour plus d'informations à ce sujet.

Pour donner un exemple de prévision déterministe dans le domaine des crues, on pourrait annoncer: « la rivière atteindra 23 mètres à son niveau maximal ». Une seule valeur est indiquée (23 mètres) et deux résultats sont possibles : 1) le niveau atteindra 23 mètres ou 2) il n'atteindra pas 23 mètres.
Dans le cas d’une prévision déterministe, on pourra annoncer le dépassement d’une limite importante, comme le niveau critique de crue, sans donner aucune précision sur l'incertitude. Dans ce cas, on semble prévoir une inondation avec certitude, car le niveau prévu (23 mètres) est supérieur au niveau critique de crue (22 mètres).

Les prévisions, qu'elles soient déterministes ou probabilistes, peuvent être exprimées sous forme catégorique. Autrement dit, nous pouvons répartir la gamme des valeurs possibles en catégories distinctes.
Dans notre exemple, nous avons quatre catégories: aucune crue, crue mineure, crue modérée et crue majeure. Si nous prévoyons un niveau de 23 mètres, notre prévision déterministe, si elle est catégorique, annoncera une crue mineure, car 23 mètres se situe dans cette catégorie.

Les prévisions probabilistes sont associées à une probabilité. Dans cet exemple, il s'agit de la probabilité que le niveau d'eau ait certaines valeurs. Si nous reprenons les catégories que nous venons de définir, nous pouvons exprimer une prévision probabiliste ainsi: il y a 40 % de chances que le niveau se trouve dans la catégorie des crues mineures. Cela signifie qu'il y a 60 % de chances que le niveau observé se trouve en dehors de la catégorie des crues mineures, soit au-dessus, soit au-dessous.
La prévision probabiliste d'une crue mineure donne une mesure de l'incertitude. La prévision déterministe impliquait une crue mineure sans incertitude.

Introduisons maintenant le concept de probabilités cumulatives, que nous utiliserons à la section suivante. En l'occurrence, la probabilité que le niveau dépasse 26 mètres et de 10 %. Il y a 30 % de chances que le niveau dépasse 24 mètres, ce qui correspond à la somme des probabilités dans les deux catégories de niveau les plus élevées. De même, la probabilité que la rivière dépasse le niveau critique de crue, situé à 22 mètres, est de 70 %, car c'est la somme des probabilités des trois catégories les plus élevées. Enfin, il y a 100 % de chances que le niveau atteigne ou dépasse le niveau actuel, de 18,5 mètres.
Une prévision probabiliste n'a pas besoin d'être associée à des catégories. Les probabilités peuvent être associées à des valeurs de niveau particulières.

On utilise des mesures de vérification de types très divers. Nous les avons classées en fonction des attributs de prévision nécessaires pour l'utilisateur.
Une équipe de spécialistes du Service météorologique national des États-Unis (NWS) a dressé une liste de sept thèmes fondamentaux pour la vérification hydrologique. Ces thèmes, tout comme les mesures de vérification qui s'y associent, figurent dans ce tableau. Ce sont: les caractéristiques de distribution, le degré de confiance, la corrélation, les prévisions catégoriques, l’exactitude, l’efficacité et la performance conditionnelle.
Chacune des sections 2.0 à 8.0 de ce module détaille un de ces sept thèmes.
Ressources supplémentaires:
National Precipitation Verification Unit (NPVU) Help Guide to Understanding Verification Graphics.
Cette section traite des caractéristiques de distribution des prévisions et des observations. C'est l'un des sept facteurs à prendre en compte lorsqu’on entreprend de vérifier des prévisions hydrologiques.
Les caractéristiques de distribution nous renseignent sur les valeurs observées ou prévues, la fourchette de valeurs, les extrêmes et certaines valeurs caractéristiques. En examinant les caractéristiques de distribution, nous pouvons découvrir la dispersion des valeurs dans une plage de valeurs envisageables.
Mesures des caractéristiques de distribution
| Déterministes | Probabilistes |
|---|---|
| Moyenne | |
| Variance | |
| Écart type | |
| Fonction de densité de probabilité (FDP) et fonction de répartition cumulative (FRC) | Fonction de densité de probabilité (FDP) et fonction de répartition cumulative (FRC) |
| Écart Interquartile (EI) | Écart Interquartile (EI) |
| Histogramme de rang |
On choisit parfois des mesures différentes selon qu’on veut vérifier des prévisions déterministes ou probabilistes. Pour la vérification des prévisions probabilistes, en particulier, la fonction de densité de probabilité, la fonction de répartition cumulative, l'intervalle interquartile et l’histogramme de rang sont particulièrement pertinents.

Si l’on vérifie des prévisions déterministes, on utilise couramment la moyenne, la variance et l’écart type pour évaluer la dispersion et de la distribution des valeurs. La moyenne est la somme des valeurs divisée par le nombre de valeurs. La moyenne est utilisée pour calculer la variance et la Racine d'Erreur Quadratique de la Moyenne (REQM), autrement appelée : racine carrée de la variance.

La variance est une mesure de la dispersion des valeurs autour de la moyenne. Elle correspond à la moyenne des carrés des écarts à la moyenne des diverses valeurs. On l'appelle aussi l'écart à la moyenne. Si toutes les valeurs sont très proches de la moyenne, la variance est faible.
L’écart type est la racine carrée de la variance. On l'utilise souvent pour déterminer dans quelle mesure une valeur particulière est caractéristique. Dans le cas d'une distribution normale, environ 67 % des valeurs devraient se situer à moins d'un écart type de la moyenne, et environ 95 % devraient se situer à moins de deux écarts types de la moyenne. Ainsi, toute valeur se situant à au moins 2 écarts types de la moyenne n’est pas caractéristique, car on l'observe tout au plus 5 % du temps.
Comme on peut s’y attendre, les variables hydrologiques ne présentent généralement pas une distribution normale. La moyenne et la variance peuvent néanmoins fournir une bonne synthèse des données.
1. Par rapport à une rivière dont le débit est très constant, une rivière dont le débit fluctue fortement d'une année à l'autre aura une variance _____ même si le débit moyen _____. Choisissez la bonne réponse
La bonne réponse est a)
La fonction de densité de probabilité (FDP) et la fonction de répartition cumulative (FRC) permettent de visualiser les fonctions de probabilité de certaines variables continues. Dans le contexte des prévisions, elles présentent la distribution des valeurs prévues.
Nous présenterons tout d’abord la FDP et la FRC en considérant des distributions normales. Nous aborderons ensuite les distributions asymétriques, qui sont fréquentes pour les variables hydrologiques.

Sur les deux graphiques, l'axe des x est gradué dans l'unité des données concernées, en l'occurrence une unité de débit telle que les mètres cubes par seconde ou les litres par seconde. L'axe des y indique la probabilité, qui va de 0 (probabilité nulle) à 1,0 (probabilité de 100 %).

Commençons par le cas simple d'une prévision déterministe qui indique un débit de 600 unités de débit. Sur le graphique FDP se trouve un point avec une probabilité de 1,0 à la valeur de 600 unités. La courbe prend la forme d’une seule ligne verticale. Sur le graphique FRC se trouve une ligne avec une probabilité de 0,0 pour toutes les valeurs de débit inférieures à 600 unités, puis la probabilité cumulative devient 1,0 pour les valeurs de 600 unités ou plus.
Graphiques de FDP et de FRC:
Mais les graphiques de FDP et de FRC sont généralement utilisés pour plus d'une valeur prévue. C'est pourquoi ces courbes révèlent une dispersion des valeurs au fur et à mesure que la probabilité change. On peut créer ces graphiques à partir de prévisions probabilistes ou de plusieurs prévisions déterministes de valeur unique. Lorsqu'on dispose de plusieurs prévisions, les graphiques de FDP et de FRC présentent leur distribution.
Nous verrons plus tard comment utiliser une FRC pour plusieurs prévisions ou pour des prévisions probabilistes et établir une comparaison avec une observation de valeur unique. Cela nous fournira la base d'un indicateur appelé l'indice de probabilité ordonné.

La FDP fait ressortir les valeurs les plus fréquentes. Ici, ces valeurs sont proches de 600 unités.

La FDP montre également comment les valeurs se répartissent autour de la moyenne. Un pic net et très marqué indique un faible écart type ou des prévisions d'un degré de confiance élevé.

Un pic large et peu marqué indique un écart type plus important, ou une plus grande incertitude autour du débit.

Si le pic se situe ailleurs sur l'axe des x, la valeur moyenne est différente.

Ici, comme les distributions sont normales, la médiane et la moyenne ont la même valeur.

L'aire au-dessous de la courbe de FDP est égale à 1,0. C'est une caractéristique importante, car tout du spectre des données est circonscrit par la courbe.

Le graphique de FRC correspondant présente la probabilité cumulative pour un niveau de débit donné.

Par exemple, la courbe reflétant une forte variance indique une probabilité de 90 % que l’écoulement soit de 900 unités de débit ou moins. On peut aussi en déduire qu'un dépassement n’est pas probable. Autrement dit, la probabilité de ne pas dépasser 900 unités de débit s'élève à 90 %.

La pente positive la plus forte correspond à la valeur la plus fréquente, qui se situe autour de 600 unités pour ces courbes.

La médiane correspond à la valeur de probabilité cumulative de 0,5 sur la courbe de FRC, car, par définition, la médiane est le point de partage entre la moitié inférieure et la moitié supérieure des valeurs.

Les courbes de FRC des ensembles de données à faible variance couvrent une plus petite plage de valeurs sur l'axe des x et ont une pente plus marquée.

Les variances plus fortes sont reflétées par des courbes de pente moins forte et couvrent une plus grande plage de valeurs sur l'axe des x.
Bien sûr, les courbes de FDP et de FRC correspondant à des valeurs du monde réel ne sont pas aussi simples. Les variables hydrologiques comme l'écoulement fluvial ne se caractérisent pas par des distributions normales. Un courbe de FDP représentant des données réelles a souvent une plus forte dispersion à l'extrémité supérieure.
Notez que, parfois, l'axe des y de la FDP indique la fréquence. La fréquence se calcule en multipliant la probabilité par la taille de l'échantillon.

Quand la distribution est asymétrique, les valeurs médiane et moyenne ne sont pas égales. La médiane est le point de partage entre la moitié inférieure des valeurs de débit et la moitié supérieure. Les valeurs relatives au débit de cette rivière étant réparties de manière asymétrique dans la zone des valeurs les plus élevées, la médiane, qui correspond à 350 unités de débit, est décalée du côté des valeurs inférieures de la plage de valeurs, qui va d'environ 50 à 1050 unités de débit. Lorsque la distribution est asymétrique, le débit moyen (qui est en l'occurrence d'environ 440 unités de débit) est correspond pas à la médiane. Ici, la moyenne est plus grande que la médiane, ce qui est fréquent dans les ensembles de données sur le débit des rivières. De même que pour la médiane, le débit moyen et plus éloigné les débits élevés que des débits les plus faibles.

La dispersion asymétrique des valeurs de débit ayant moins d'incidence sur la médiane, celle-ci est souvent considérée comme plus représentative de l'ensemble des données que la valeur moyenne.

La courbe de la FRC correspondant à cette FDP marque une asymétrie dans la zone des débits plus élevés. La pente de la courbe est plus forte dans la partie gauche du graphique où se situe la fréquence la plus élevée des valeurs de débit. Sur le côté droit, la courbe s'aplatit parce que les valeurs de débit élevé sont moins fréquentes. Notez aussi les valeurs de la moyenne et de la médiane.

Si nous regardons d’un même coup d’œil la FDP et la FRC, nous pouvons voir une relation. Une fréquence élevée sur la courbe de la FDP correspond à une pente marquée de la courbe de la FRC. Le plateau observable du côté droit de la courbe de la FDP correspond à l'atténuation de la pente de la courbe de la FRC.
Référez-vous au graphique de la FPD ci-dessus pour répondre à cette question.
Parmi les valeurs de débit suivantes, laquelle a la plus grande probabilité?
Choisissez la bonne réponse.
La bonne réponse est b)
Référez-vous au graphique de la FPD ci-dessus pour répondre à cette question.
Le débit dont la probabilité est la plus élevée sur le graphique de la FPD correspond toujours à _____ sur le graphique de la FRC. Choisissez la bonne réponse.
La bonne réponse est d) : la pente la plus forte.
Les pics sur les courbes de FDP correspondent à des augmentations rapides de la probabilité (pentes fortes) sur les courbes de FRC. Bien qu'on puisse être tenté de penser que la réponse correcte est « b » sur ce graphique, ce n'est pas le cas pour tous les ensembles de données. Dans les ensembles de données très asymétriques, la médiane peut être très décalée par rapport à la probabilité maximale. La réponse « d » est la correcte pour tous les ensembles de données.
Référez-vous au graphique de la FPD ci-dessus pour répondre à cette question.
Sur la courbe de la FRC, quel pourcentage de valeurs de débit se situent au-dessous de la médiane?
Choisissez la bonne réponse.
La bonne réponse est c) 50 %.
Par définition, la médiane est le point de partage entre la moitié supérieure des valeurs de l’ensemble de données et la moitié inférieure. Elle est considérée comme plus représentative de l'ensemble des données que la valeur moyenne.
Comme les variables hydrologiques présentent rarement des distributions normales, l'utilisation de la variance et de l’écart type peut prêter à confusion. L’Écart Interquartile (ou EI) peut être utilisé pour rendre compte des données dont la distribution est asymétrique.

On voit ici la valeur des 250 unités de débit correspond au premier quartile (Q1) ou au 25e percentile. À gauche, se trouvent les valeurs qui appartiennent aux 25 % les plus basse Autrement dit, s'il y avait 100 valeurs, il s'agirait des 25 points de mesure ayant les valeurs les plus faibles. La valeur de 600 unités de débit correspond au troisième quartile (Q3) ou au 75e percentile. À droite se trouvent les valeurs qui appartiennent aux 25 % les plus hautes dans la distribution.
L'EI correspond à la moitié (50 %) centrale des valeurs de l’ensemble. Il est situé entre Q1 et Q3, c'est-à-dire, en l'occurrence, entre 250 et 600 unités de débit. L'EI s'exprime comme la différence entre le premier et le troisième quartile : EI = Q3 - Q1. Dans cet exemple, l'EI correspond à 600 moins 250, ce qui donne 350.

Les distributions associées à l'EI sont en général présentées sous la forme d'une boîte à moustaches. L'axe des y indique la valeur des données et l'axe des x indique en général le moment de la prévision. Le rectangle correspond à l'Écart Interquartile. La ligne horizontale y représente la médiane. Les deux moustaches, de part et d'autre de l’EI, correspondent, respectivement, aux 25 % de valeurs les plus hautes et aux 25 % les plus basses. Les extrémités des moustaches correspondent aux valeurs maximale et minimale. Dans notre exemple de rivière, les valeurs supérieures tendent à être asymétriques. La moustache du haut de l'échelle est donc plus longue.
Cette boîte à moustaches représente le volume d'eau issue de la fonte des neiges (en millions de m3) dans la rivière Yuba, près de Smartville (Californie).
Quelles sont les tendances générales de la distribution des données?
Choisissez les meilleures réponses.
Les bonnes réponses sont c) et d)
Que pouvons-nous dire des données représentant le volume d'eau de fonte des neiges prévu (en millions de m3) en juin 2008?
Choisissez la bonne réponse.
Les bonnes réponses sont a) et c)
On utilise souvent des prévisions d'ensemble pour les prévisions probabilistes. Par exemple, on peut s’appuyer sur les prévisions produites par l’ESP (Ensemble Streamflow Prediction), un système de prévision d'ensemble pour les écoulements fluviaux.
La gamme des valeurs prévues dans une prévision d'ensemble est appelée dispersion d'ensemble.
Qu'est-ce qu'une dispersion d'ensemble appropriée? Pour répondre à cette question, nous utilisons un histogramme de rang, qu’on appelle parfois un diagramme de Talagrand.

Dans le cas le plus simple, nous avons un membre de l’ensemble, associé à deux intervalles de prévision, l'un contenant des valeurs supérieures et l'autre des valeurs inférieures à la valeur prévue. Il s'agit d'une prévision déterministe.

Supposons maintenant que nous ayons deux couples prévision-observation. Dans un système d'ensemble parfaitement ajusté, une observation tomberait dans l’intervalle supérieur et une autre dans l’intervalle inférieur.

Si nous avions deux membres de l’ensemble, nous aurions trois intervalles de prévision. Deux des trois intervalles de prévision se situeront en dehors de la dispersion de l'ensemble. L’intervalle du milieu correspond à la gamme de valeurs située entre les deux membres de l’ensemble.

Supposons maintenant que nous ayons trois observations. Dans un système d'ensemble parfaitement ajusté, une observation tomberait dans l’intervalle supérieur, une dans l’intervalle du milieu, et une dans l’intervalle inférieur. Celui qui se trouve dans l’intervalle du milieu se trouve à l’intérieur de la dispersion de l'ensemble.

S'il y a cinq membres dans l’ensemble, et donc six intervalles de prévision, deux de ceux-ci se situeront en dehors de la dispersion d'ensemble. Supposons maintenant que nous ayons six observations. Nous voudrions qu'une observation trouve sa place dans l’intervalle supérieur, une dans chacun des intervalles intermédiaires, et une dans l’intervalle inférieur. Les quatre observations des intervalles intermédiaires se situent à l’intérieur de la dispersion de l'ensemble.
Pour toute prévision d'ensemble bien ajustée, le pourcentage d'observations qui tombent en dehors de la dispersion d'ensemble devrait être égal à deux divisé par le nombre d’intervalles.
Dans un système bien ajusté, s'il y a 39 membres de l’ensemble, associés à 40 intervalles de prévision, quel pourcentage d'observations devrait tomber en dehors de la dispersion de l'ensemble?
Choisissez la bonne réponse.
La bonne réponse est a) 5 %.
Dans un système bien ajusté, chaque intervalle aura le même nombre d'observations. Ainsi, le pourcentage d’observations tombant en dehors de la dispersion de l'ensemble sera de 2 divisé par le nombre d’intervalles, à savoir 40, ce qui donne 0,05, ou 5 %.

En réalité, il y a en général plus d'une observation dans chaque intervalle de prévision. Considérons une prévision d'ensemble de 5 membres pour le débit. Pour cet exemple, nous utiliserons des prévisions d'unités de débit exprimées en nombres entiers. Les membres de l’ensemble sont : 210, 200, 330, 150 et 260 unités.

Pour créer un histogramme de rang, nous classons d'abord les membres de l’ensemble, en l'occurrence, du plus faible au plus élevé, ce qui nous donne 6 intervalles, qui définissent les gammes de valeurs suivantes : inférieures à 150, 150 à 199, 200 à 209, 210 à 259, 260 à 329, et égales ou supérieures à 330.
Notez que les intervalles ont des gammes de valeurs inégales. Par exemple, l'intervalle 3 ne s'étend que de 200 à 209, alors que l’intervalle 5 s'étend sur une plage beaucoup plus grande, de 260 à 329.

Pourtant, dans un système de prévision bien ajusté, chaque intervalle a des chances égales de recevoir le même nombre d'observations. Il y a donc autant de chances qu'une valeur de débit se situe dans l'intervalle entre 200 et 209 que dans l'intervalle entre 260 et 329.

Chacune des observations est placée dans l’intervalle approprié.

Ici, nous avons un nombre variable d'observations dans les divers intervalles.

Nous avons donc maintenant un diagramme à barres, qui montre la fréquence des observations par intervalle de prévision. Par exemple, le diagramme à barres indique que trois observations sont tombées dans l’intervalle 1 (correspondant aux débits inférieurs à 150).

Ensuite, nous dessinons l’axe des y pour représenter la fréquence des observations. Nous avons maintenant un histogramme de rang, que certains appellent aussi diagramme de Talagrand.
L'axe des y est souvent défini comme la fréquence divisée par la fréquence attendue.

Comment doit-on interpréter un histogramme de rang? L'histogramme de rang fournit des informations sur la distribution des observations, associées aux prévisions d'ensemble. Examinons quelques histogrammes de rang idéaux.

Si les observations présentent une distribution parfaite dans les prévisions d'ensemble, nous trouverons la même fréquence dans chaque intervalle. Et, si l'axe des y est défini comme la fréquence divisée par la fréquence escomptée, chacune des barres du diagramme a une valeur de 1,0.

Si l'histogramme de rang prend la forme d'un U, cela signifie que trop d'observations se situent aux valeurs extrêmes. La dispersion de l’ensemble est trop petite et doit être augmentée.

À l'inverse, que doit-on conclure si l'histogramme de rang prend la forme d'un dôme? Cela indique que trop peu d'observations se situent aux valeurs extrêmes. La dispersion de l’ensemble est trop grande et doit être diminuée.

Si la hauteur des barres (et donc la fréquence) augmente à mesure qu’on se déplace à droite de l'histogramme de rang (et que celui-ci prend la forme d’une pente ascendante), cela indique que les observations se situent trop souvent parmi les valeurs élevées de la dispersion de l'ensemble : il y a eu sous-estimation.
Inversement, si la hauteur des barres (et donc la fréquence) diminue à mesure qu’on se déplace à droite de l'histogramme, (pour ressembler à une pente descendante ou à un L), cela indique que les observations se situent trop souvent parmi les petites valeurs de l'ensemble : il y a eu surestimation.
Il est important de se rappeler que les histogrammes de rang exigent un nombre important de couples prévision-observation. Tout histogramme de rang qui comprendrait moins de couples que de membres de l'ensemble serait par définition inutile.
Examinez cet histogramme de rang. Dans quelle mesure la dispersion de l'ensemble est-elle appropriée ? Que révèle-t-elle sur les prévisions?
Choisissez toutes les bonnes réponses.
Les bonnes réponses sont a) et c).
La forme en U indique que la dispersion de l'ensemble est trop faible car les observations sont plus fréquentes aux valeurs extrêmes. Cette surreprésentation se manifeste surtout aux valeurs les plus élevées, ce qui indique que les observations de débits élevés tendent à être plus nombreuses que ne le suggèrent les prévisions d'ensemble. On peut donc conclure à une sous-estimation.
Cette section porte sur la mesure du degré de confiance des prévisions. Le degré de confiance est l'un des sept facteurs à prendre en compte lorsqu’on vérifie des prévisions hydrologiques.
La caractérisation du degré de confiance permet d'évaluer dans quelle mesure on peut être certain que la valeur prévue se situera dans la gamme des valeurs escomptée. Le degré de confiance est tributaire du nombre d'échantillons appartenant à l'ensemble de données.
Mesure du degré de confiance des prévisions :
| Déterministes | Probabilistes |
|---|---|
| Taille de l'échantillon | Taille de l'échantillon |
| Intervalle de confiance | Intervalle de confiance |
Les mesures présentées dans cette section s'appliquent à la vérification des prévisions déterministes ou probabilistes.
La taille de l'échantillon correspond au nombre de couples observation-prévision utilisés dans le cadre d'une méthode de vérification particulière. Le concept d’échantillon est important. Un échantillon est un sous-ensemble représentatif d'un ensemble de données plus grand qu'on utilise à des fins statistiques. Il faut un nombre minimum d'échantillons dans un ensemble de données pour garantir un certain degré de confiance dans les prévisions. Plus l'échantillon est grand, plus il est probable que les données rendront compte de tout l'éventail des possibilités.

Par exemple, si l'on prévoit une crue majeure, le degré d'incertitude est en général plus élevé car les grandes crues figurent plus rarement dans les échantillons. L'utilisation d'un petit échantillon entraîne souvent une plus grande incertitude dans les indicateurs utilisés pour la vérification et, par conséquent, un degré de confiance moins élevé dans la prévision.

Si, durant 100 ans, les relevés indiquent que le débit d'une rivière est stable, il y a de bonnes chances pour que le comportement de cette rivière soit compris. L'incertitude diminue, tandis que le degré de confiance des prévisions augmente. À l'inverse, si l'on ne dispose que de 20 ans de relevés, il y a moins de chances que l’échantillon englobe tout l'éventail des débits qu’avec cent ans d'observation. L’utilisation d’un échantillon qui ne reflète pas bien l'éventail des possibilités accroît le degré d'incertitude des prévisions.

Sélectionnons parmi ces relevés une période de 20 ans. Pourquoi pourrait-on avoir de la peine à comprendre le comportement de la rivière sur la base de ce sous-ensemble de données?
Choisissez toutes les bonnes réponses.
Les bonnes réponses sont c) et d).
La rivière n'a pas connu d'écoulement de crue. Elle n'a pas non plus connu de débit d’étiage (extrêmement faible). Par conséquent, cette période de 20 ans n'est pas représentative du comportement de la rivière tel qu'il apparaît sur toute la période enregistrée.
L'intervalle de confiance permet d'exprimer une prévision sous la forme d'une plage de valeurs incluant l'observation (c’est-à-dire la valeur vraie), avec une probabilité annoncée. La probabilité annoncée est connue sous le terme de degré de confiance. Nous disposons ainsi d'une expression de l'incertitude.

Ainsi, une prévision peut indiquer : « II y a 95 % de chances que le débit de pointe lié à la fonte des neiges soit de 800 à 1000 mètres cubes par seconde (m3/s) ».
L'intervalle de confiance est la plage de valeurs, 800-1000, et le degré de confiance est de 95 %.
Selon les prévisions du niveau de la rivière, il y a 95 % de chances que le niveau maximal se situe entre 16 et 20 mètres.
L'intervalle de confiance est _____, et le degré de confiance est _____.
Choisissez la bonne réponse.
La bonne réponse est a) « 16-20 m | 95 % »

Il faut trouver un compromis entre le degré de confiance et l'intervalle de confiance. La prévision idéale aurait un degré de confiance de 100 % et un intervalle de confiance de ±0. Cela impliquerait d'être absolument certain que la valeur prédite est exacte.
Nous ne souhaiterions pas une prévision ayant un faible degré de confiance et un intervalle de confiance étendu. Non seulement nous pourrions difficilement nous fier à cette prévision, mais celle-ci serait de plus très imprécise, puisqu’un vaste éventail de valeurs seraient susceptibles d’être correctes. Par exemple, personne ne souhaiterait une prévision annonçant un degré de confiance de 10 % que le débit de pointe dû à la fonte des neiges sera compris entre 100 et 1000 m3/s.
L'idéal est que les prévisions aient un degré de confiance élevé et un petit intervalle de confiance. À cet effet, le mieux est de disposer de nombreuses données, fondées sur un grand échantillon d’observations.
Revenons à notre prévision assortie d'une probabilité de 95 %, que le niveau maximal se situe entre 16 et 20 mètres. Mettons que nous voulons un degré de confiance de 99 %. Qu'adviendrait-il de notre intervalle de confiance de 16-20 mètres?
Choisissez la bonne réponse.
La bonne réponse est b) L'intervalle augmenterait.
En plus de l'intervalle de confiance des prévisions, il faut estimer l’intervalle de confiance des indicateurs numériques. L'intervalle de confiance exprime ici la probabilité que l’estimation d’un indicateur s’inscrive dans les limites spécifiées. En voici un exemple: « Il y a 95 % de chances que l'erreur moyenne pour les prévisions de débit soit comprise entre 15 et 18 m3/s ».
Un petit échantillon de couples prévision-observation peut ne pas être représentatif de toute la gamme des conditions possibles, simplement pour des raisons aléatoire. Plus l’échantillon est petit, plus il faut prévoir d’incertitude pour les indicateurs utilisés pour la vérification. Plus il y a d’incertitude dans la vérification, moins les prévisions sont fiables.
Cette section porte sur les mesures de corrélation dans le contexte de la vérification des prévisions hydrologiques. La corrélation compte aussi parmi les sept facteurs à prendre en compte pour la vérification de prévisions hydrologiques.
La corrélation fournit une mesure du degré de dépendance entre deux variables, en l’occurrence entre les prévisions et les observations.
Mesures de la corrélation:
| Déterministes | Probabilistes |
|---|---|
| Diagrammes de dispersion | |
| Coefficient de corrélation |
Cette section ne porte que sur la vérification des prévisions déterministes.

Sur la base d’une analyse de la tendance et de la configuration des prévisions, la corrélation permet de déterminer dans quelle mesure celles-ci correspondent aux observations. Une bonne corrélation des prévisions peut être le signe de leur exactitude. Toutefois, une prévision peut présenter une bonne corrélation avec les observations sans être exacte. Par exemple, dans cette série chronologique d'hydrogrammes, les pics et les creux marquent des tendances similaires dans les prévisions et les observations, mais l'ampleur des débits observés diffère de celle des prévisions. Les prévisions sont systématiquement trop basses. Dans ce cas, les prévisions et les observations sont bien corrélées, mais les prévisions présentent des erreurs systématiques.

Les diagrammes de dispersion permettent de visualiser en peu de temps la relation entre deux variables. En matière de prévision, les deux variables sont en règle générale la valeur prévue et la valeur observée. Il existe plusieurs types de diagrammes de dispersion. Le plus courant présente les valeurs prévues sur l'axe des y et les valeurs observées sur l'axe des x. Plus les points s’alignent le long de la diagonale ascendante, plus les valeurs observées et les valeurs prévues sont corrélées positivement.

Le coefficient de corrélation de Pearson mesure le degré de dépendance linéaire entre les prévisions et les observations. Autrement dit, on aimerait savoir si, lorsque les valeurs prévues augmentent, les observations augmentent-elles aussi. Et si, lorsque les valeurs prévues présentent un pic, les observations en présentent un elles aussi.
Les valeurs vont de -1 à +1. Une valeur de 1,0 indique une corrélation parfaite. Une valeur de 0,0 indique l'absence de toute corrélation; autrement dit, il n'y a pas de relation statistique entre les prévisions et les observations. Une valeur de -1,0 indique une corrélation négative parfaite. Autrement dit, chaque fois qu'on prévoit un débit élevé, on observe un débit faible.

Le coefficient de corrélation donne une mesure numérique de la corrélation. Les diagrammes de dispersion offrent une représentation graphique de la corrélation. Voyons comment se présentent divers diagrammes de dispersion exposant le débit observé par rapport au débit prévu pour différents coefficients de corrélation.

Ce diagramme de dispersion ne révèle aucune relation entre les valeurs prévues et les valeurs observées. Le coefficient de corrélation est de 0,0.

Ce diagramme de dispersion indique une faible corrélation positive. Autrement dit, parmi les points, une tendance se dessine autour de la diagonale à pente positive qui traverse le diagramme, mais de nombreux points restent dispersés autour de celle-ci. Le coefficient de corrélation est un petit nombre positif.

Le diagramme de dispersion suivant présente des points alignés près de la diagonale à pente positive. On a donc une bonne corrélation entre les prévisions et les observations. De ce fait, le coefficient de corrélation est un nombre positif proche de 1,0.

Le diagramme de dispersion suivant présente des points alignés le long d'une droite à pente négative. On a donc une corrélation négative entre les prévisions et les observations. Elle correspondrait à un coefficient de corrélation proche de -1,0.
Prenons ce diagramme de dispersion, qui présente le niveau observé par rapport au niveau prévu.
Qu’en déduisez-vous au sujet de la corrélation?
Choisissez la meilleure réponse.
La bonne réponse est b).
Qu’en déduisez-vous au sujet de la corrélation? Choisissez la bonne réponse.
La bonne réponse est d).
Cette section porte sur la vérification des prévisions catégoriques. Les indicateurs utilisés pour la vérification des prévisions catégoriques comptent parmi les sept facteurs à prendre en compte lorsqu’on vérifie des prévisions hydrologiques.
La corrélation donne une indication sur le degré de dépendance entre deux variables, en l’occurrence entre les prévisions et les observations.
Mesures des prévisions catégoriques:
| Déterministes | Probabilistes |
|---|---|
| Probabilité de détection (POD) | |
| Rapport de fausses alarmes (FAR) | |
| Probabilité de fausse détection (POFD) | |
| Biais | |
| Indice de réussite critique (CSI) | |
| Indice de Brier (BS) | |
| Indice de probabilité ordonné (RPS) |
Les méthodes de vérification des prévisions catégoriques s'appliquent aux prévisions déterministes comme aux prévisions probabilistes. Certains indices sont utilisés uniquement pour la vérification des prévisions déterministes, et d'autres ne sont utilisés que pour les prévisions probabilistes.
Nous examinerons des exemples tant déterministes que probabilistes pour une rivière où le niveau critique de crue est de 22 mètres.

Imaginons que la prévision déterministe du niveau maximal était de 22,1 mètres, c’est-à-dire 0,1 mètre au-dessus du niveau critique de crue.
Si le niveau maximal observé n'est que de 21,9 mètres, alors aucune crue n'a été observée car le niveau se situe à 0,1 mètre au-dessous du niveau critique de crue. Dans ce cas, la prévision serait classée dans la catégorie « crue » et l'observation dans la catégorie « pas de crue ».
Bien que la prévision déterministe soit très proche de la valeur du niveau observé, si l'on prend pour base la limite de la catégorie « égal ou supérieur au niveau critique de crue », la prévision serait considérée comme une fausse alarme.

Considérons maintenant une prévision probabiliste pour la même situation. Selon nos prévisions probabilistes, il y avait une probabilité de 40 % de ne pas atteindre le niveau critique de crue (22 mètres) et une probabilité de 60 % s’atteindre celui-ci, avec un niveau égal ou supérieur à 22 mètres.
Tout comme pour la vérification de la prévision déterministe, nous aimerions comparer ces prévisions probabilistes avec les observations. Cependant, une observation unique ne peut pas se classer dans une gamme de probabilités. Soit le phénomène a eu lieu, soit il n'a pas eu lieu. Par conséquent, nous établissons une probabilité de 100 % pour l’observation de la survenue du phénomène et une probabilité de 0 % pour l’observation de sa non-survenue. Ainsi, dans notre cas, si le niveau critique de crue de 22 mètres avait été atteint ou dépassé, il y aurait eu une probabilité de 100 % qu'on observe une crue. Cependant, le niveau maximal observé, de 21,9 mètres, se situe juste au-dessous du niveau critique de crue, de sorte que, selon l'observation, il faut retenir une probabilité de crue de 0 %. Au lieu de devoir conclure sans nuance à une fausse alarme, comme il a fallu le faire dans l’exemple de la prévision déterministe, nous retenons que la prévision probabiliste avait établi une probabilité de 40 que le niveau critique de crue ne soit pas atteint (comme cela a été le cas).

Les tableaux de contingence décrivent la distribution des prévisions et des observations du point de vue de leur fréquence dans les différentes catégories. Pour une vérification fondée sur deux catégories, on s'appuie couramment sur un tableau de contingence à double entrée. Ce tableaux s'articule autour de rubriques « Oui » et « Non », signifiant par exemple « crue » et « pas de crue ».
Dans ce simple tableau « Oui » et « Non », les lignes correspondent aux catégories de prévision et les colonnes aux catégories d'observation. Lorsque les catégories sont « crue » et « pas de crue », le « Oui » indique une crue, qu’elle soit observée ou prévue. Le « Non » indique « pas de crue » qu’elle soit observée ou prévue. La case a indique le nombre de crues observées qui ont été correctement prévues (c’est-à-dire les occurrences prévues qui ont été confirmées). La case b indique le nombre de cas où aucune crue n'a été observée, alors qu'une crue avait été prévue à tort (c’est-à-dire les fausses alarmes). La case c indique le nombre de crues observées qui n'avaient pas été prévues (c’est-à-dire les occurrences non signalées). La case d indique le nombre de cas où une crue n'a été ni observée ni prévue (c’est-à-dire les prévisions négatives confirmées). Les totaux « a+c » et « b+d » correspondent, respectivement, au nombre total de crues et au nombre total de situations sans crue qui ont été observées. Les totaux « a+b » et « c+d » correspondent, respectivement, au nombre total de crues et au nombre total de situations sans crue qui ont été prévues.

Deux indices courants sont la probabilité de détection (POD) et le rapport de fausses alarmes (FAR).
Dans notre exemple, la POD (ou le taux de réussites) indique la proportion de cas de crues observées qui avaient été prévues. À partir du tableau de contingence à double entrée, la POD se calcule comme suit: a/(a+c). La POD peut aller de 0 (pire cas) à 1 (perfection), qui correspond à 100 %.
Dans notre exemple, le FAR indique la proportion de cas de crues prévues qui n'ont pas été observées. Il se calcule comme suit: b/(a+b). La valeur parfaite est 0 et la pire valeur possible est 1.
D'autres indices couramment calculés sont l'indice de réussite critique (CSI), la probabilité de fausse détection (POFD) et le biais.
Le CSI est parfois appelé « indice de menace ». Lorsque deux catégories sont définies, à savoir « crue » ou « pas de crue », le CSI (ou l'indice de menace) est le taux de prévisions de crues confirmées par rapport à tous les cas de crues (observées ou prévues). Cet indice permet de faire ressortir la capacité de prévoir des phénomènes rares, en évitant que l'indice ne soit biaisé par le nombre de cas où un phénomène qui n'avait pas été prévu n'est pas intervenu. Par exemple, le CSI peut être utile lors de la vérification de crues majeures.
Sur le tableau de contingence, le CSI se calcule comme suit: a/(a+b+c). La valeur peut aller de 0 (pire cas) à 1 (perfection).
La POFD rend compte de la proportion de cas où une crue avait été prévue, mais n'a pas été observée. Elle se calcule comme suit: b/(b+d). La valeur peut aller de 0 (perfection) à 1 (pire cas). Ce taux est parfois appelé taux de fausses alarmes et ne doit pas être confondu avec le rapport de fausses alarmes.
En l'occurrence, le biais correspond au nombre total de crues prévues divisé par le total des crues observées, ou (a+b)/(a+c). La valeur peut aller de zéro à l'infini. 1 est la valeur parfaite. Le 1 indique l'absence de tout biais. Autrement dit, le nombre de crues observées est le même que le nombre de crues prévues. Les valeurs inférieures à 1 indiquent un faible biais: le nombre de crues observées est supérieur au nombre de crues prévues. Les valeurs supérieures à 1 indiquent un biais élevé: le nombre de crues qui ont été prévues est supérieur au nombre de crues observées.
| Indice | Tableau | Formule | Critères | Description |
|---|---|---|---|---|
| Probabilité de détection (taux de réussites) | POD | POD = a/(a+c) | de 0 (pire cas) à 1 (perfection) | Proportion de crues observées qui avaient été prévues |
| Rapport de fausses alarmes (FAR) | FAR | FAR = b/(a+b) | de 0 (perfection) à 1 (pire cas) | Proportion de crues prévues qui n'ont pas été observées |
| Indice de réussite critique | CSI | CSI = a/(a+b+c) | de 0 (pire cas) à 1 (perfection) | Proportion de crues correctement prévues par rapport à toutes les crues, prévues ou observées. |
| Probabilité de fausse détection (taux de fausses alarmes) | POFD | POFD = b/(b+d) | de 0 (perfection) à 1 (pire cas) | Proportion de crues qui avaient été prévues mais qui n'ont pas été observées |
| Biais | Biais = (a+b)/(a+c) | de 0 (faible biais) à l'infini (biais élevé) en passant par 1 (perfection) | Ratio de toutes les crues prévues sur toutes les crues observées |
Prenons notre tableau de contingence pour les catégories « crue » (« Oui ») et « pas de crue » (« Non »)
Quelle est la valeur des indices suivants?
Choisissez la bonne réponse pour chacun.

En hydrologie, il est souvent nécessaire de définir plus de deux catégories. Par exemple, on peut souhaiter définir trois catégories d'écoulement. Il pourrait s'agir (1) des écoulements inférieurs à 20 unités de débit, (2) des écoulements compris dans l'intervalle entre 20 et 25 unités de débit, et (3) des écoulements supérieurs à 25 unités de débit. Pour trois catégories, il nous faut un tableau de contingence à triple entrée. Dans ce cas, on n’inscrit plus dans les cases « Oui » ou « Non », mais des valeurs numériques pour les différentes catégories. Dans ce tableau, les lignes correspondent toujours aux catégories de prévisions et les colonnes aux catégories d'observations.

Les trois catégories du tableau peuvent être exprimées de différentes manières. Par exemple, nous pourrions nous référer à des limites qualitatives et définir les catégories par rapport à ces limites (inférieur à, entre telle et telle valeur, et supérieur à).
Si les prévisions sont parfaites, les observations correspondent exactement aux prévisions, et tous les couples prévision-observation se situent sur la diagonale définie par les lettres a, e et i.
Qu'en est-il des indices traditionnels tels que la POD et le FAR? Nous devons tout d'abord choisir la catégorie que nous vérifions. Supposons que nous vérifions un débit de la catégorie « entre telle et telle valeur ». Alors, la POD « intermédiaire » = e/(b+e+h). Le FAR « intermédiaire » = (d+f)/(d+e+f).

Référez-vous au tableau ci-dessus pour répondre à cette question.
Quel serait la POD pour un débit dépassant le seuil des forts débits (POD « supérieure »)?
Choisissez la bonne réponse.
La bonne réponse est d) i/(c+f+i).
Nous pouvons également calculer les taux de surestimation et de sous-estimation. Une fois encore, prenons la catégorie « intermédiaire » pour cet exemple. Nous voulons donc connaître la proportion d'observations de la catégorie « intermédiaire » qui avaient été attribuées, dans les prévisions, à la catégorie « supérieur à » (surestimation) et à la catégorie « inférieur à » (sous-estimation).
Référez-vous au tableau ci-dessus pour répondre à cette question.
Quel serait le taux de sous-estimation pour les débits observés dans la catégorie « intermédiaire »?
Choisissez la bonne réponse.
La bonne réponse est b) b/(b+e+h).

Passons maintenant à la vérification des prévisions catégoriques probabilistes. Les deux sections suivantes porteront sur deux indices: l'indice de Brier (BS) et l'indice de probabilité ordonné (RPS).
On utilise l'indice de Brier lorsque les prévisions probabilistes sont réparties dans deux catégories. On utilise le RPS pour vérifier les prévisions lorsqu'il y a plus de 2 catégories. Ces deux indices se fondent sur la même formulation mathématique pour comparer la probabilité observée et la probabilité prévue. Cependant, avant d'entrer dans les détails, expliquons pourquoi un prévisionniste choisirait l'une ou l'autre.
L'indice de Brier est très utile lorsque les conséquences sont asymétriques. Ainsi, par exemple, lorsque les deux catégories sont la présence de crue et l'absence de crue, la différence entre les catégories a une grande portée et l'indice de Brier offre une mesure de vérification utile.
L'indice RPS est utile lorsque les conséquences sont symétriques. Autrement dit, la valeur d'une catégorie particulière n'est pas aussi importante que la mesure de synthèse de toutes les catégories. Le RPS est donc un outil utile pour vérifier une prévision s’appuyant sur de nombreuses catégories de débit lorsque vous ne vous intéressez pas particulièrement à une catégorie donnée.

L'indice de Brier peut être utilisé pour déterminer l'ampleur des erreurs de prévision probabiliste. Comme indiqué précédemment, il est particulièrement utile lorsque la différence entre les deux catégories a une grande portée. Il a pour base la moyenne des carrés des différences entre les probabilités prévues (f) et les probabilités observées (o), pour tous les couples prévision-observation.
Vous vous rappelez certainement que la probabilité observée est de 0,0 si le phénomène ne s'est pas produit, et de 1,0 s'il s'est produit. Comme c’est le cas pour d’autres indices caractérisant l'erreur, la meilleure valeur pour l'indice BS est 0,0, car elle indique l'absence de différence entre la probabilité observée et la probabilité prévue. La pire valeur possible pour l'indice BS est 1,0. L'indice de Brier pour les prévisions probabilistes est l'équivalent de l'erreur quadratique moyenne pour les prévisions déterministes.

Pour simplifier, nous utiliserons un exemple de prévision unique. Le N de l'équation est donc égal à un. Cela permet de simplifier l'équation aux fins de la démonstration.

Disons que, selon les prévisions, il y a 80 % de chances (c'est-à-dire une probabilité de 0,80) que le débit atteigne ou dépasse le niveau critique de crue. Le niveau critique de crue est atteint, ce qui signifie que la « probabilité » observée est de 1,0. La BS est la probabilité prévue moins la probabilité observée au carré, c'est-à-dire (0,80-1,0) au carré, soit -0,20 au carré, ou 0,04. Cette valeur est très proche de 0,0, ce qui est bien.

Quel serait l’indice si le niveau critique de crue n'était pas observé, alors que nous avions prédit que le débit avait une probabilité de 80 % de l'atteindre ou de le dépasser? La probabilité observée est de 0,0. Nous avons (0,80-0,00) au carré, soit 0,64. L’indice est beaucoup plus proche de 1,0, ce qui révèle beaucoup moins d’exactitude.

Pour comprendre l'indice de probabilité ordonné (RPS), il faut se rappeler la fonction de répartition cumulative (FRC) décrite à la section 2. L'indice RPS mesure la différence entre les prévisions probabilistes et les observations correspondantes sur la base de la différence entre les FRC des prévisions et des observations. Nous le montrerons bientôt lorsque nous présenterons la représentation graphique du RPS. Commençons toutefois par décrire la formulation du RPS.

Le RPS a une formulation très proche de celle de l'indice de Brier, mais il peut être utilisé pour vérifier plusieurs catégories, représentées ici par des segments. Ici, chaque segment correspond à une catégorie de niveaux. Une probabilité prévue est associée à chacun des segments. Le RSP permet donc de déterminer si les prévisions probabilistes ont bien anticipé la fréquence à laquelle les observations tomberaient dans certains segments.
Si les segments recouvrent toute la gamme des prévisions, le RPS est analogue à un indicateur de l’erreur d'une prévision déterministe. Ainsi, si les catégories de débit No 1 à No 16 correspondent à toutes les probabilités qu'il est possible de prévoir, alors le RPS établit dans quelle mesure notre prévision probabiliste s'est éloignée de la valeur observée.

Commençons par un exemple simple à 3 catégories, ou 3 intervalles. Imaginons que nous avons défini trois intervalles de débits sur la base des limites entre les débits faible, moyen et élevé. En l'occurrence, le débit moyen est le plus probable. Ainsi, nos trois intervalles correspondent, respectivement, au débit faible (inférieur à 200 unités de débit), au débit moyen (égal ou supérieur à 200 unités, mais inférieur ou égal à 300) et au débit élevé (supérieur à 300 unités de débit).

Rappelez-vous que l'indice de Brier est la moyenne des différences de probabilité au carré pour tous les couples prévision-observation dans un système à deux intervalles. Cette équation simplifiée suppose une seule série de prévisions.

Le RPS correspond également à la somme des carrés des différences entre les probabilités prévues (f) et les probabilités observées (o), mais pour de nombreuses catégories. Toujours pour simplifier, nous supposons qu'une seule série de prévisions est effectuée pour un système à trois intervalles, représentés par les chiffres 1, 2 et 3.
Pour plus de détails sur la formulation du RPS dans le cas de prévisions multiples et de nombreux intervalles, voir les ressources supplémentaires.

Nous allons maintenant prendre un exemple numérique de RPS pour notre vérification fondée sur 3 intervalles. Supposons que, selon une prévision probabiliste, la probabilité associée à ces divers intervalles, exprimée de 0,0 à 1,0, est de 0,20 pour un débit faible, de 0,60 pour un débit moyen et de 0,20 pour un débit élevé.

Supposons maintenant que le débit observé s’inscrive dans la catégorie des débits moyens. D'un point de vue probabiliste, cela signifie que la « probabilité » que l’observation tombe dans l’intervalle du débit moyen est de 1,0 et que la « probabilité » que l’observation tombe dans les deux autres intervalles est de 0,0.

Pour calculer le RPS de la prévision, nous utiliserons les probabilités cumulatives, parfois appelées probabilités de non-dépassement. Les probabilités cumulatives ont déjà été définies à la section 2 de ce module.
Valeurs de la probabilité cumulative pour le calcul du RPS.
| Probabilité cumulative prévue | Probabilité cumulative observée | |
|---|---|---|
| Intervalle 1 : faible débit | ||
| Intervalle 2 : débit moyen | ||
| Intervalle 3 : débit élevé |
Tout d'abord, la probabilité prévue pour l’intervalle « faible débit » est de 0,20. Comme il s'agit du premier intervalle, la probabilité qui s'y associe est égale à la probabilité cumulée.
Ensuite, la probabilité prévue pour l’intervalle « débit moyen » est de 0,60. La probabilité cumulée correspond à la somme des intervalles « faible débit » et « débit moyen », soit 0,20 plus 0,60. La valeur de cette probabilité cumulée est de 0,80.
Vient ensuite la probabilité cumulée de l’intervalle « débit élevé ». Cette valeur est de 1,0, car elle est égale à la somme de toutes les probabilités prévues pour les différents intervalles. Comme vous pouvez le voir, pour le dernier intervalle, la probabilité cumulée est toujours égale à 1.
Maintenant que nous connaissons les probabilités cumulatives prévues pour chaque intervalle, regardons les probabilités cumulatives observées. La probabilité observée de l’intervalle « faible débit » est de 0,0, car un débit moyen a été observé.
La probabilité observée pour le « débit moyen » est de 1,0, car c'est celui qui a été observé, sans qu'il soit dépassé. La probabilité cumulée est donc de 1,0.
La probabilité observée du débit élevé est de 0,0, car seul un débit moyen a été observé. La probabilité cumulée du débit élevé est toutefois de 1,0 car, dès lors que la probabilité cumulée a atteint 1,0 (ce qui est le cas pour l’intervalle « débit moyen »), elle ne change plus de valeur.
Valeurs de probabilité cumulative pour le calcul du RPS.
| Probabilité cumulative prévue | Probabilité cumulative des observations | |
|---|---|---|
| Intervalle 1 : faible débit | 0,20 | 0,00 |
| Intervalle 2 : débit moyen | 0,80 | 1,00 |
| Intervalle 3 : débit élevé | 1,00 | 1,00 |
Maintenant que le tableau est rempli, nous pouvons calculer la valeur du RPS à l'aide de l'équation.

Σ[(0,20-0,00)2 + (0,80-1,00)2 + (1,00-1,00)2] = Σ [0,04 + 0,04 +0,00] = 0,08
L'équation du RPS pour notre exemple à 3 intervalles donne (0,20 moins 0,00) au carré, plus (0,80 moins 1,00) au carré, plus (1,00 moins 1,00) au carré. Cela donne 0,04 plus 0,04 plus 0,00, soit un RPS d'une valeur de 0,08. Cette valeur est proche de la valeur parfaite du RPS (0,0), ce qui signifie que les probabilités prévues présentaient une faible erreur.
Valeurs de la probabilité cumulative pour le calcul du RPS.
| Calcul du RPS pour les probabilités climatologique vs observée pour le non-dépassement | ||
|---|---|---|
| Probabilité cumulative prévue | Probabilité cumulative observée | |
| Intervalle 1 : faible débit | 0,20 | 0,00 |
| Intervalle 2 : débit moyen | 0,80 | 1,00 |
| Intervalle 3: débit élevé | 1,00 | 1,00 |
En appliquant la même méthode et en vous appuyant sur les données indiquées pour les probabilités de débit climatologiques, sachant que le débit moyen a été observé, quelle serait la valeur du RPS pour la référence climatologique?
Choisissez la meilleure réponse.
La bonne réponse est c) Σ [(0,60-0,00)2+(0,90-1,00)2+(1,00-1,00)2] = 0,37
Pour les références climatologiques, les probabilités cumulatives des intervalles de débit faible, moyen et élevé sont, respectivement, de 0,60, 0,90 et 1,00. Les probabilités cumulatives observées pour les intervalles à faible débit, à débit moyen et à débit élevé sont, respectivement, de 0,00, 1,00 et 1,00. L'équation est donc (0,60 moins 0,00) au carré, plus (0,90 moins 1,00) au carré, plus (1,00 moins 1,00) au carré, soit 0,36 plus 0,01 plus 0,00, ce qui donne un RPS de 0,37. Comme ce résultat est plus éloigné de la valeur parfaite (0,00) que le RPS que nous avons calculé pour la prévision, la prévision climatologique de référence est moins exacte que la prévision.

La meilleure valeur pour le RPS est de 0,00, mais la pire valeur dépend du nombre d’intervalles utilisés. Souvent, on normalise l'indice RPS en le divisant par le nombre d’intervalles moins 1. Cette formulation est parfois appelée « RPS normalisé ».
Le RPS continu (qui sera vu à la section 6) est une formulation qui permet à l'indice d'être indépendant du nombre d’intervalles de prévision utilisés.

Calcul du RPS pour la prévision vs l'observation
| Probabilité prévue | Probabilité observée | |
|---|---|---|
| Intervalle 1: faible débit | 0,20 | 0,00 |
| Intervalle 2: débit moyen | 0,80 | 1,00 |
| Intervalle 3: débit élevé | 1,00 | 1,00 |
Pour obtenir une représentation graphique du RPS, nous plaçons la probabilité cumulative sur l'axe des y et les catégories définies par les valeurs limites sur l'axe des x. Revenons à notre exemple de prévision. Nous avons défini trois intervalles correspondant aux catégories de débit « faible », « moyen » et « élevé ». Nous pouvons inscrire la probabilité cumulative de la catégorie 1, qui est de 0,20; celle de la catégorie 2, qui est de 0,80; et celle de la catégorie 3, qui est de 1,00. Nous obtenons alors ce graphique pour la prévision. Une valeur de débit moyen ayant été observée, la probabilité cumulée observée correspond à 1,00 dans la catégorie du débit « moyen » et se maintient à cette valeur.

Ainsi, le graphique RPS montre simplement la différence entre la FRC prévue et la FRC observée. Le RPS est défini comme l'aire entre les deux courbes. Pour cette prévision, l'aire est plutôt petite, ce qui reflète la valeur satisfaisante du RPS (0,08).
Imaginons qu’une valeur de débit élevée a été observée pour la même prévision. À quoi ressemblerait le graphique du RPS?
Choisissez la bonne réponse.
La bonne réponse est a) Graphique a).
La courbe de la prévision est le même, mais la courbe de l'observation passe de 0,0 à 1,0 pour la catégorie 3, celle du débit élevé.
En reprenant le graphique RPS, mais dans l'hypothèse qu'un débit élevé a été observé, notez la zone ombrée qui représente la différence entre les probabilités prévue et observée. La valeur numérique du RPS est de 0,68. Comparez ce graphique avec le graphique précédent, qui présente la situation où le débit moyen a été observé, pour une même prévision et où le RPS est de 0,08. Qu'indiquent les zones ombrées?
Choisissez la meilleure réponse.
La bonne réponse est a) La prévision présente une erreur plus importante dans le scénario du débit élevé.
Cette section porte sur la vérification del'exactitude des prévisions. L'exactitude est l'un des sept facteurs à prendre en compte pour la vérification de prévisions hydrologiques.
L'exactitude est définie comme le degré de correspondance entre la valeur observée et la valeur prévue. La quantification de l'exactitude est en fait directement liée à la mesure de l’erreur de prévision et nous pourrions donc l’appeler la définition de l’erreur. À l’exception de la mesure du biais, les valeurs proches de 0,0 sont préférables dans ce contexte, car elles indiquent que l'erreur de prévision est très faible. Dans le cas du biais, qui exprime une proportion, une valeur proche de 1,0 indique un écart minimal entre les prévisions et les observations.
Mesures de l'exactitude (mesure de l’erreur):
| Déterministes | Probabilistes |
|---|---|
| Erreur moyenne absolue (EMA) | |
| Racine de l'erreur quadratique moyenne (REQM) | |
| Erreur moyenne (ME) | |
| Biais volumétrique | |
| RPS continu (CRPS) |
L'indice de probabilité ordonné continu est un indicateur d'erreur utilisé pour la vérification des prévisions probabilistes. Une valeur de 0,0 indique une corrélation parfaite - sans erreur. Tous les autres indices de cette section sont adaptés à la vérification des prévisions déterministes.

L’indice de probabilité ordonnée (RPS) a été décrit à la section sur la vérification des prévisions catégoriques. Souvent, le graphique RPS présente beaucoup plus d’intervalles que l'exemple à 3 intervalles que nous avons vu. Voici un graphique RPS présentant de nombreux intervalles correspondant tous à un débit de pointe.

Lorsque nous avons un très grand nombre d’intervalles de prévision, chacun correspond à une très petite gamme de valeurs de débit. De ce fait, les erreurs de probabilité entre les prévisions et les observations peuvent être présentées sous forme d'intégrale. On obtient alors un RPS continu de ce type.
Comme dans le cas de nombreuses autres mesures de l’erreur, une différence de zéro entre les probabilités observées et prévues est ici idéale, car elle correspond à une erreur nulle.
Lors de la vérification de prévisions déterministes, deux mesures de l’erreur couramment utilisées pour définir l’exactitude quantitative sont l'erreur moyenne absolue (EMA) et la racine de l'erreur quadratique moyenne (REQM).

Ces deux types d'erreurs se fondent sur l’ampleur de la différence entre les prévisions et les observations. Ils n'indiquent pas si la différence est positive (la prévision est plus grande que l'observation) ou négative (la prévision est plus petite que l’observation).

L'EMA est la moyenne des différences absolues entre les observations et les prévisions. La REQM est la racine carrée de la moyenne des carrés des différences entre les observations et les prévisions. Dans les deux cas, une valeur de 0,00 indique une correspondance parfaite entre les observations et les prévisions. À partir de zéro, la valeur augmente à mesure que grossit l'erreur. Théoriquement, elle peut aller jusqu'à l'infini.

La REQM est plus sensible aux grandes différences entre les observations et les prévisions que l'EMA. Par conséquent, l'EMA se prête mieux à la vérification des valeurs relatives aux faibles débits, car l'ampleur des erreurs de prévision est alors généralement beaucoup plus faible. Les erreurs importantes, plus courantes pour les prévisions de débit élevé, dominent les mesures d'erreur exprimées par la REQM.

Un autre indicateur d'erreur est l'erreur moyenne (ME). L'erreur moyenne est la moyenne des différences arithmétiques entre les observations et les prévisions.

Contrairement à l'EMA et à la REQM, la ME indique si les prévisions tendent à être plus élevées ou plus faibles que les observations. Sa valeur peut donc être négative. Les valeurs positives indiquent une tendance à la surestimation (les prévisions tendent à être plus élevées que les observations) et les valeurs négatives indiquent une tendance à la sous-estimation.
Comme dans le cas d’autres mesures de l'erreur, une valeur de 0,00 est idéale, mais une valeur très basse peut prêter à confusion. Si un ensemble de prévisions comporte des erreurs importantes qui se répartissent de manière équilibrée autour de la moyenne, l'erreur moyenne prend la valeur de zéro, car les erreurs s'annulent. Par conséquent, une ME nulle n'indique pas nécessairement une prévision parfaite. Dans le même cas de figure, les valeurs de la REQM et de l'EMA seraient positives, indiquant une prévision imparfaite. Il est donc important de combiner la ME avec d'autres mesures lorsque l’on vérifie des prévisions.
Le terme « biais » peut désigner plusieurs indicateurs. Parce que l'erreur moyenne indique dans quelle direction les prévisions se trouvent par rapport aux observations, on la considère parfois comme un « biais additif ». Le biais catégoriel décrit à la section 5 est un biais de fréquence car il est calculé sur la base d'intervalles correspondant à des catégories de prévisions.

Une autre statistique liée au biais couramment utilisée en hydrologie est le biais volumétrique, qui correspond au rapport entre la somme des valeurs prévues et la somme des valeurs observées, comme l'exprime la formule suivante:

Ce rapport peut aller de 0 à l'infini. La valeur 1,0 indique l'absence de biais. Une valeur supérieure à 1,0 indique une surestimation (les prévisions étaient supérieures aux observations), et une valeur inférieure à 1,0 indique une sous-estimation.
Voici un tableau présentant 5 prévisions concernant le débit d'une rivière et les débits observés correspondants. Le tableau indique également la différence (la prévision moins l'observation), la différence absolue et le carré de la différence. La dernière ligne indique le total de chaque colonne.
Vous trouvez au-dessous l'expression mathématique de chacune des quatre mesures de l’erreur: Erreur moyenne absolue, erreur quadratique moyenne, erreur moyenne et biais. Comme il y a cinq valeurs prévues, N est égal à 5.
Utilisez ces informations et une calculatrice pour répondre aux questions suivantes.
Cette section porte sur les mesures de la performance de prévision et sur leur utilisation dans le cadre de la vérification des prévisions hydrologiques. La performance est l'un des sept facteurs à prendre en compte pour la vérification de prévisions hydrologiques.
Contrairement aux indices d’erreur, les indices d’efficacité permettent d’évaluer la performance de prévisions par rapport à une prévision de référence. Parmi les prévisions de référence couramment utilisées figurent les prévisions qui se fondent sur les données climatologiques, sur la persistance ou sur les sorties de modèles. Par exemple, nous pourrions constater que notre REQM et notre biais ne sont pas très bons, et vouloir déterminer dans quelle mesure nos prévisions sont meilleures que les références climatologiques.
Les indices d’efficacité sont particulièrement utiles, parce qu'ils tiennent compte du degré de difficulté de la prévision. Si la performance est meilleure parce que le phénomène était plus facile à prévoir, tant la prévision que la référence sont efficaces, et l'indice de comparaison n'est pas plus élevé. Les indices d’efficacité permettent de déterminer si la bonne performance est due au fait que le système de prévision est « plus ingénieux » que les prévisions de référence.
Mesures de la performance de prévision:
| Déterministes | Probabilistes |
|---|---|
| Indice de comparaison fondé sur la racine de l'erreur quadratique moyenne (IC-REQM) | |
| Indice d'efficacité de Brier (BSS) | |
| Indice de probabilité ordonné (RPSS) |
Les indices de comparaison peuvent être utilisés pour des prévisions déterministes ou probabilistes.

Les indices de comparaison prennent la forme suivante: indice de la prévision moins indice de la référence, divisé par la valeur d’indice parfaite moins l’indice de la référence.
Nous allons examiner l’indice de comparaison fondé sur la racine de l'erreur quadratique moyenne, l'indice d'efficacité de Brier et l'indice de probabilité ordonné. Il s'agit de l'indice de comparaison fondé sur la racine de l'erreur quadratique moyenne (IC-REQM), de l’indice d'efficacité de Brier (BSS) et de l'indice de probabilité ordonné (RPSS).

La REQM, le BS et le RPSS ont tous une valeur numérique de zéro dans le cas de prévision parfaite. L'équation est donc la suivante: Notez bien que, pour d'autres indices de mesure de l'exactitude, une valeur nulle ne signifie pas nécessairement une prévision parfaite et que l'équation ne se résout alors pas ainsi.

Si la prévision considérée ne présente aucune erreur (c'est-à-dire qu'elle est parfaite), l'équation de l'indice de comparaison prend cette forme: le numérateur est identique au dénominateur. Ainsi, un indice de comparaison parfait a une valeur de 1.

Si la prévision et la référence sont identiques, le numérateur devient nul et l'indice de comparaison est nul. Dans ce cas, il n'y a pas d’efficacité, parce que la performance de la prévision est identique à la performance de la référence.
Une performance positive est indiquée par des indices de comparaison situés entre 0 et 1. Cela signifie que la prévision est plus efficace que la référence. Une performance négative est signalée par un indice de comparaison inférieur à zéro. Cela se produit dans les situations où la prévision s'est avérée moins bonne que la référence.

Dans les situations où la prévision de référence est presque parfaite, des indices de comparaison très négatifs peuvent apparaître même si la prévision n'était pas beaucoup moins bonne que la prévision de référence. D'un point de vue mathématique, cela tient au fait que le dénominateur est un nombre très petit.
Considérons une situation où nous voulons utiliser la racine de l'erreur quadratique moyenne pour connaître la performance d'une prévision officielle du débit d'une rivière. La prévision de référence est la climatologie des débits. Autrement dit, nous chercherons à déterminer si la prévision officielle donne de meilleures orientations que la climatologie et, si c'est le cas, nous quantifierons dans quelle mesure elle est meilleure.

Rappelons que la racine de l'erreur quadratique moyenne (REQM) mesure l'erreur sur la base de la différence entre les hydrogrammes observé et prévu. Ce graphique simple de REQM montre que l'erreur peut varier de zéro à une valeur relativement grande en fonction du temps.

Nous pouvons ajouter la courbe de la REQM pour la climatologie sur le graphique. Lorsque la REQM de la prévision a une valeur inférieure à celle de la climatologie, la prévision est plus efficace que la climatologie car elle comporte moins d'erreurs que cette dernière.

La prévision présente donc une performance positive par rapport à la climatologie. Lorsque la REQM de la prévision a une valeur supérieure à celle de la climatologie, la prévision est moins efficace. Voyons maintenant à quoi ressemble le graphique de l'indice de comparaison fondé sur la REQM correspondant (IC-REQM).

Rappelons que lorsque la prévision est parfaite (ou que la REQM de la prévision est égale à zéro), l'indice de comparaison fondé sur la REQM est égal à 1, sa valeur optimale.

Lorsque les REQM de la prévision et de la référence climatologique sont égales, il n'y a aucun gain d’efficacité, et l'indice de comparaison fondé sur la REQM est nul. C'est toujours le cas, quelle que soit la valeur de la REQM, car l'indice de comparaison ne mesure que la valeur ajoutée des prévisions par rapport à la référence (en l'occurrence la climatologie).

Lorsque la REQM de la prévision climatologique est inférieure à celle de la prévision, et donc que cette dernière est moins efficace, la performance est négative. Dans les cas où la référence, en l'occurrence la climatologie, a une excellente REQM, proche de zéro, l'indice de comparaison fondé sur la REQM peut devenir très négatif même si la valeur de la REQM de la prévision est relativement faible.
Enfin, notez que l’indice de comparaison fondé sur la REQM peut être positif, même si la valeur de la REQM pour la prévision est relativement élevée. L'objectif principal de l'indice de comparaison est de mesurer la performance de la prévision par rapport à la référence climatologique.
Examinons maintenant les calculs liées à l'indice de Brier et à l'indice de probabilité ordonné. Dans ces exemples, nous prendrons la climatologie comme référence. Il faut donc déterminer si les prévisions donnent de meilleures orientations que la référence climatologique.

Reprenons l'exemple de l'indice de Brier de la section 5. Dans cet exemple, nous avions une probabilité de 0,80 que le niveau critique de crue soit dépassé et le dépassement avait été observé. L'indice de Brier est de 0,04.

Si la référence climatologique suggère que la probabilité du dépassement est de 0,30, alors l'indice de Brier est de 0,49.

L'indice d'efficacité de Brier (BSS) est l’indice de Brier de la prévision moins l’indice de Brier de la référence divisé par 0 moins l’indice de Brier de la référence. Ce donne 0,04 - 0,49 divisé par -0,49, Soit +0,92. Un indice d'efficacité de Brier de +0,92 signifie que la prévision offre une amélioration de 92 % par rapport à l'orientation climatologique.
L'indice de probabilité ordonné (RPSS) se calcule de la même manière que l’indice BSS. En utilisant la prévision climatologique comme référence, reportez-vous à cette équation pour répondre aux questions.
Si le RPSS est inférieur à 0, que peut-on dire de la performance de la prévision?
Choisissez toutes les bonnes réponses.
Les bonnes réponses sont a) et d).
Si le RPSS est inférieur à 1, mais supérieur à 0, que peut-on dire de la performance de la prévision?
Choisissez toutes les bonnes réponses.
Les bonnes réponses sont b) et c).
À la section consacrée aux prévisions catégoriques, nous avons établi que le RPS d’une prévision dans le cas de l’observation d’un léger dépassement du niveau critique de crue était de 0,08. Le RPS de la prévision climatologique dans le cas de l’observation de ce léger dépassement est de 0,37. Quel est le RPSS pour la référence climatologique?
Choisissez la meilleure réponse.
La bonne réponse est d) 0,78.
Le RPSS est (0,08 moins 0,37) divisé par (0 moins 0,37), soit -0,29/-0,37, ce qui donne 0,78. La prévision offrirait donc une amélioration de 78 % par rapport à la référence climatologique.
Cette section porte sur les mesures conditionnelles de vérification des prévisions. La vérification conditionnelle des prévisions est l'un des sept facteurs à prendre en compte pour la vérification des prévisions hydrologiques.
Les mesures de vérification conditionnelles fournissent des informations sur l'efficacité des prévisions (ou des probabilités prévues) à l’égard d’un certain phénomène ou de conditions définies.
Mesures de vérification conditionnelle:
| Déterministes | Probabilistes |
|---|---|
| Mesures de la fiabilité | Diagramme de fiabilité, Diagramme d'attributs, Diagramme de discrimination |
| Caractéristique relative de fonctionnement (CRF) | Caractéristique relative de fonctionnement (CRF) |
On peut procéder à des mesures de discrimination ou de fiabilité pour vérifier des prévisions, qu’elles soient déterministes ou probabilistes.
La vérification conditionnelle des prévisions peut porter soit sur les prévisions, soit sur les observations. Les deux approches devraient être envisagées pour mieux comprendre les différents aspects de la performance des prévisions.
La fiabilité se rapporte aux données quantitatives dans la perspective des prévisions. Autrement dit, si l'on a prévu un phénomène particulier, quelles ont été les observations correspondantes?
La discrimination se rapporte aux données quantitatives dans la perspective des observations. Autrement dit, si l'on a observé un phénomène particulier, quelles avaient été les prévisions correspondantes? Deux méthodes de mesure de la discrimination seront examinées dans les sections suivantes: (1) la caractéristique relative de fonctionnement (CRF), qui mesure la résolution des prévisions, et (2) le diagramme de discrimination.

Considérons vingt prévisions pour le débit d'une rivière. Il peut s'agir de vingt prévisions déterministes ou d'une prévision d'ensemble comprenant vingt membres. Pour simplifier, nous nous appuierons sur deux catégories pour les prévisions et les observations. La première catégorie regroupe les débits inférieurs à un plafond défini. Nous désignerons ces phénomènes par la lettre « B », inscrite en bleu. La deuxième catégorie regroupe les débits dont la valeur est égale ou supérieure à un seuil donné. Nous désignerons ces phénomènes par la lettre « H », inscrite en rouge.

Dressons maintenant la liste des vingt observations correspondant à ces prévisions. Nous caractérisons donc le débit observé par les lettres B (comme « bas ») et H (comme « haut »). On peut comparer ces prévisions et ces observations de deux manières. La première est une vérification fondée sur les prévisions, et la seconde une vérification fondée sur les observations.

Pour la vérification fondée sur les prévisions, nous répartissons les prévisions dans deux groupes. Le groupe 1 est constitué de toutes les prévisions « B » et de leurs observations correspondantes. Le groupe 2 est constitué de toutes les prévisions « H » et de leurs observations correspondantes. À partir de là, nous pouvons poser deux questions importantes.
Question 1: Considérant une prévision de B, qu’a montré l’observation correspondante? Ici, nous voyons que 8/10, soit 80 % des observations correspondent à une valeur de B. Nous pouvons en déduire que le système de prévision est fiable pour le débit B.
Question 2: Considérant une prévision de H, qu’a montré l’observation correspondante? Cette fois, seulement 4/10, soit 40 %, des observations correspondent aux prévisions ayant une valeur de valeur H. Nous pouvons en déduire que, pour la catégorie de débits H, le système de prévision n'est pas aussi fiable.

Nous allons maintenant nous tourner vers la vérification fondée sur l'observation. Nous répartissons de nouveau les données en deux catégories, les débits B et les débits H, mais nous les définissons cette fois dans la perspective des observations. Le groupe 1 est donc constitué de toutes les observations de B et de leurs prévisions correspondantes. Le groupe 2 est constitué des observations de H et de leurs prévisions correspondantes. Maintenant, nous pouvons poser les deux questions suivantes.
Question 1: Considérant les observations du groupe de débits B, qu'avaient annoncé les prévisions correspondantes? Nous pouvons voir que 8/14, soit 57 %, des prévisions correspondent aux observations. Le système de prévision a donc permis de distinguer les conditions de faible débit dans un petit peu plus que la moitié des cas.
Question 2: Considérant les observations du groupe H, qu'avaient annoncé les prévisions correspondantes? Ici, 4/6, soit 67 %, des prévisions correspondent aux observations.
| Fiabilité | |
|---|---|
| Prévision: | Observations correspondantes correctes: |
| B | 80 % |
| H | 40 % |
| Discrimination | |
|---|---|
| Observation: | Prévisions correspondantes correctes: |
| B | 57 % |
| H | 67 % |
Que pouvons-nous en déduire? Dans ce cas, le système de prévision était fiable pour la catégorie de débits B. Autrement dit, pour une prévision de débit B, nous avions 80 % de chances que l'observation corresponde à B. Toutefois, la performance du système de prévision n'a pas été aussi bonne pour la discrimination des débits B. Pour une observation du débit B, il n'y avait que 57 % de chances que la prévision correspondante désigne B.
Pour les débits H, le système de prévision s'est révélé beaucoup moins fiable que pour les débits B. Seulement 40 % des prévisions de débit H correspondaient à des observations de H. Cependant, le système de prévision s'est révélé plutôt bon pour la discrimination des débits H. Lorsqu’un débit H est observé, il y a 2 chances sur 3 pour qu’il ait été prévu correctement.
Cet exemple, simple, ne prenait en compte que deux catégories. En réalité, on peut définir de nombreuses catégories dans le continuum entre le débit le plus faible possible et le débit le plus élevé possible. Dans ce cas, la vérification des prévisions conditionnelles se complique, mais le calcul de la fiabilité et de la discrimination des prévisions reste le même qu’avec un système simple à deux catégories.
La fiabilité est la correspondance entre la probabilité prévue et la fréquence des observations. Lorsqu'une condition a été définie, c'est-à-dire que les données ont été réparties en sous-catégories, nous pouvons appliquer certaines des mesures de vérification que nous avons présentées pour caractériser la fiabilité des prévisions. Par exemple, la fiabilité rend compte du biais conditionnel pour chaque sous-catégorie prévue.
On utilise les diagrammes de fiabilité et d'attributs pour vérifier les prévisions probabilistes.

Le diagramme de fiabilité représente la fréquence des observations en fonction des probabilités prévues. Il aide donc à déterminer dans quelle mesure les probabilités prévues correspondent à la fréquence d’observation d'un phénomène. Autrement dit, si un phénomène a été prévu 30 % du temps, on établit à quelle fréquence il a été réellement observé. Ou, dans une perspective probabiliste, lorsqu’il a été prévu qu'un phénomène avait 30 % de chances de se produire, on établit combien de fois il s'est réellement produit. Idéalement, si nous prenons toutes les prévisions ayant établi qu’un phénomène avait une probabilité de 30 % de se produire, alors ce phénomène devrait avoir été observé pour 30 % de ces prévisions.

Les probabilités prévues, qui figurent sur l'axe X, sont réparties dans des intervalles. Pour cet exemple, nous utiliserons 11 intervalles pour représenter les probabilités (P): P=0,0, 0,0<P≤0,1, 0,1<P≤0,2, 0,2<P≤0,3, 0,3<P≤0,4, et ainsi de suite jusqu'à 0,9<P≤1,0.
Il est important de noter que les diagrammes de fiabilité dépendent de la définition d'un phénomène. En l'occurrence, le phénomène est « débit de pointe ≥200 unités de débit ». Par conséquent, les informations obtenues à l'aide d'un diagramme de fiabilité ne sont pertinentes que pour ce phénomène.

Que pouvons-nous donc déduire de la présence d'un point sur le diagramme de fiabilité et de sa position par rapport à la diagonale? Ce point indique que, pour toutes les prévisions qui définissaient une probabilité de 0,5 à 0,6 pour un débit égal ou supérieur à 200 unités de débit, ce type de débit a été observé à une fréquence relative de 0,66, soit 66 % du temps.
Les points qui se trouvent directement sur la diagonale correspondent à des prévisions parfaitement fiables. Dans ce cas, la probabilité prévue correspond exactement à la fréquence observée. Les points qui se trouvent au-dessus de la diagonale correspondent à une sous-estimation. Cela signifie que la fréquence d’observation du phénomène est supérieure à la probabilité prévue. Les points qui se trouvent au-dessus de la diagonale correspondent à une surestimation.

Un échantillon trop petit peut compromettre l'utilité du diagramme de fiabilité.
Voici un histogramme indiquant la fréquence des prévisions dans chaque intervalle de probabilité. L'histogramme donne alors une indication du nombre d'échantillons utilisés pour calculer la fiabilité. Il renseigne aussi sur la précision des prévisions.

Prévisions précises:
Les prévisions sont précises si elles diffèrent souvent nettement des prévisions climatologiques ou des valeurs moyennes, et si elles ont tendance à établir des probabilités autour de 0 ou de 1. Les prévisions précises sont exactes si elles sont par ailleurs fiables, c'est-à-dire qu'elles correspondent aux observations.

Si l'échantillon est trop petit, la courbe peut suivre un tracé erratique autour de la diagonale sur le diagramme de fiabilité. L'utilisateur ne peut alors pas interpréter les résultats numériques en raison de l'incertitude due à l'échantillonnage.

La vérification d'une prévision parfaite sur un diagramme de fiabilité ferait apparaître un point en haut à droite, un point en bas à gauche, et l'histogramme indiquerait des probabilités de 0 ou de 1 pour tout l'échantillon. Cela indiquerait que les prévisions définissent toujours une probabilité de 0 ou de 100 %, et qu'elles correspondent toujours aux observations.

Utilisons maintenant notre diagramme de fiabilité pour le phénomène « débit de pointe égal ou supérieur à 200 unités de débit » et ajoutons-y quelques caractéristiques.

Si nous ajoutons sur le graphique notre histogramme, de même que des informations supplémentaires permettant d'établir des comparaisons entre les points de la courbe et la climatologie, la résolution et la performance, nous obtenons un diagramme d'attributs. Mettons que la climatologie suggère une probabilité de 0,25 pour le phénomène. La ligne « seuil de résolution », qui est parallèle à l'axe des x, passe normalement par la valeur de la fréquence observée de l’échantillon qui correspond à la climatologie. Que pouvons-nous en déduire? Cela signifie que, si le système de prévision prévoit toujours les valeurs climatologiques, il ne peut pas distinguer entre la survenue et la non survenue du phénomène. Chaque fois que la courbe reliant les points du graphique devient horizontale, la valeur observée concernée s’applique à toutes les probabilités prévues correspondantes.

La ligne établissant la limite de l’efficacité se trouve par définition à mi-chemin entre la ligne « seuil de la résolution » et la diagonale.

La zone ombrée sur le diagramme d'attributs est celle où les prévisions sont efficaces.

Dans le contexte de la prévision, la discrimination est la capacité, pour la prévision, d'établir une distinction entre des phénomènes, un résultat observé étant donné.
Pour cet exemple, nous définissons cinq catégories de débit : très faible, faible, moyen, élevé et très élevé. La discrimination entre les prévisions étant fondée sur les observations, répartissons les observations en trois sous-catégories. La première sous-catégorie est « débits faibles observés ». Elle comprend toutes les observations des catégories de débit « très faible » et « faible ». La deuxième est « débits moyens observés ». Elle correspond à la catégorie de débit « moyen ». La troisième est « débits élevés observés ». Elle comprend les catégories « débit élevé » et « débit très élevé ».
Pour cet exemple, nous supposerons des prévisions d'ensemble comprenant 10 membres. La colonne 2 indique ce que chacun des 10 membres de l’ensemble a prévu lorsque les observations correspondaient à la sous-catégorie « débits faibles observés ». La colonne 3 indique la prévision de chaque membre de l’ensemble pour les débits de la sous-catégorie « débits moyens observés ». Et la colonne 4 indique les prévisions des membres de l’ensemble pour les débits de la sous-catégorie « débits élevés observés ».
Le tableau inférieur présente la fréquence prévue de nos 5 catégories de débits pour chaque sous-catégorie observée. Ainsi, par exemple, dans la colonne 2 (« débits faibles observés »), quatre membres (sur dix) de l'ensemble étaient des prévisions de « très faible débit » et quatre autres de « faible débit ». Ainsi, la prévision probabiliste pour chacune des catégories de débit « très faible » et « faible » est de 0,40. La catégorie de débit moyen a une probabilité de 0,20, car elle n'a été prévue que par 2 membres de l'ensemble (sur 10). Et il n'y a pas eu de prévision pour les catégories de débit « élevé » et « très élevé » lorsque des débits faibles ont été observés.
Faisons maintenant de même pour la colonne 3 (« débits moyens observés ») et la colonne 4 (« débits élevés observés »).
Ces données peuvent maintenant être utilisées pour élaborer un diagramme de discrimination.

Nous pouvons maintenant utiliser les données du tableau présentant les probabilités de débit prévues dans la perspective des sous-catégories de débits observés, puis élaborer un diagramme de discrimination.
Sur le diagramme de discrimination, l'axe des x indique les cinq catégories de débit (allant de « très faible » à « très élevé"). L'axe des y indique la fréquence relative de la prévision.
Considérons d'abord la ligne bleue tiretée, qui correspond aux données de la colonne 2. Elle montre que, lorsque des débits faibles ont été observés, la fréquence des catégories de prévision « très faible » ou « faible » était de 0,4 et la probabilité était de seulement 0,2 pour le débit moyen. La fréquence des prévisions pour les catégories de débit « élevé » et « très élevé » se ramène à 0,0. Souvenons-nous de la fonction de densité de probabilité (FDP) présentée à la section 2. La ligne bleue tiretée correspond à la FDP de la prévision lorsque des débits faibles ont été observés.
La ligne verte pointillée, qui correspond aux données de la colonne 3, est la FDP pour la prévision lorsque des débits moyens ont été observés. On y voit des probabilités un peu plus faibles pour les catégories de prévisions « très faibles » et « faibles » que pour les catégories « moyen » à « très élevé ».
La ligne rouge continue, qui correspond aux données de la colonne 4, est la FDP pour la prévision lorsque des débits élevés ont été observés.
Notez que la ligne verte pointillée est très similaire à la ligne rouge continue. Cela signifie que les probabilités prévues lorsque des débits moyens ont été observés étaient similaires aux probabilités prévues lorsque des débits élevés ont été observés. Autrement dit, le système de prévision n'est pas très bon pour distinguer les débits moyens des débits élevés. Le système de prévision présente une relativement bonne capacité de discrimination pour les débits faibles. C'est ce qui apparaît lorsque nous examinons la courbe bleue tiretée, car les probabilités prévues étaient plus élevées pour les catégories de débit plus faible (« très faible » et « faible ») et la FDP révèle qu'elle se détache quelque peu des deux autres courbes. Il en ressort que les prévisions n'étaient pas les mêmes lors de l’observation de débits faibles et lors de l’observation de débits moyens ou élevés.

Idéalement, les trois sous-catégories ou les trois FDP se répartiraient distinctement. À gauche, on voit que chacune des FDP prévues pour chaque sous-catégorie de débit observé se démarque des deux autres. C'est la marque d'une bonne discrimination des prévisions. Autrement dit, les prévisions ont été uniques pour chacune des conditions observées. Dans ce cas idéal, les sous-catégories d'observation correspondent aux prévisions. Par exemple, la FDP, lorsque des débits élevés sont observés, passe à l'extrémité droite de l'axe x, qui correspond aux prévisions de débits élevés.
Par contre, dans le cas du système de prévision dont la discrimination est insatisfaisante, les courbes de FDP ne présentent que peu ou pas de différence entre leurs distributions et sont souvent centrées sur la probabilité climatologique.

Revenons à notre diagramme de discrimination et supposons qu'il représente des prévisions à quatre mois sur le pic de ruissellement à la fonte des neiges. Faisons maintenant apparaître un diagramme de discrimination (un peu plus bas) pour le même lieu et les mêmes variables, mais présentant des prévisions à un mois.
Comment les prévisions à un mois se présenteront-elles comparées aux prévisions à quatre mois?
Choisissez toutes les bonnes réponses.
Les bonnes réponses sont a) et d).
Les prévisions à un mois présentent une meilleure discrimination, comme le montrent les FPD, bien distinctes, pour les sous-catégories de débit faible, moyen et élevé. Ces prévisions sont meilleures que les prévisions à quatre mois, qui présentent peu de discrimination entre les sous-catégories à débit moyen et élevé. Cela signifie que, compte tenu des observations, la prévision à un mois présentait une bonne discrimination pour toutes les sous-catégories.

La caractéristique relative de fonctionnement (CRF) mesure la capacité d'un système de prévision à distinguer entre la survenue et la non-survenue d'un phénomène pour une condition donnée. En l'occurrence, nous utiliserons la condition « débit égal ou supérieur à 200 unités de débit ». La CRF mesure la résolution des prévisions, qui est liée à la discrimination entre les phénomènes.
La CRF prend pour référence les observations. Dans notre exemple, la CRF peut donc aider à répondre à la question suivante : « Si les observations ont montré que les débits de pointe ont atteint ou dépassé 200 unités de débit, dans quelle mesure les probabilités prévues correspondantes ont-elles indiqué si, oui ou non, le niveau de 200 unité serait atteint ou dépassé? »
Avant d'entrer dans les détails numériques, prenons un exemple illustrant comment les utilisateurs peuvent utiliser les informations de la CRF.

Considérons deux utilisateurs des prévisions de débit du cours d'eau. L'utilisateur 1 est responsable d'installations qui pourraient subir de gros dommages si le niveau critique de crue était atteint. Une probabilité de 0,20 que le niveau critique de crue soit atteint ou dépassé est suffisante pour justifier des préparatifs d'évacuation.

L'utilisateur 2 a une activité qui serait beaucoup moins en péril si la rivière atteignait le niveau critique de crue. Il ne prendrait aucune disposition à l’annonce d'une crue, à moins qu'il n'y ait une probabilité de 0,80 que la rivière atteigne ou dépasse le niveau critique de crue.
Ces utilisateurs auraient intérêt à savoir si le système de prévision est capable de distinguer entre des probabilités de 0,20 et de 0,80. La CRF peut les aider à mesurer la résolution de la prévision.

Pour comprendre les questions relatives à la résolution des prévisions, examinons de plus près la signification des données dans le graphique de la CRF. La POFD figure sur l'axe des x et la POD sur l'axe des y. Un ensemble de valeurs limites pour la probabilité prévue, par ordre croissant en partant d’en haut à droite et en allant en bas à gauche, est utilisé pour prendre des décisions de type oui/non liées à la condition ≥ 200. Chaque point représente une limite de probabilité prévue.
Pour l'instant, ignorons les valeurs de la POD et de la POFD sur les axes x et y afin nous concentrer sur les probabilités « prévues » qui définissent les points.

Supposons que le point limite 1 (en haut à droite) représente une probabilité prévue de 0,20 pour un débit égal ou supérieur à 200 unités. Pour les autres probabilités limites, qui suivent par ordre croissant, supposons que les valeurs limites 2 à 4 représentent des probabilités prévues de 0,40, 0,60 et 0,80.
Considérons la limite 4, qui représente une probabilité prévue de 0,80. Cela signifie que la prévision est considérée comme une prévision « Oui » (c’est-à-dire que le phénomène « débit ≥ 200 unités de débit » se produira) - si la probabilité atteint ou dépasse 0,80.
Toute probabilité inférieure à 0,80 est considérée comme une prévision négative, ce qui signifie qu'on s'attend à la non-survenue du phénomène. Vous vous demandez peut-être si cela signifie qu'une probabilité de 0,75 pour le phénomène est considérée comme la prévision d’une non-survenue du phénomène. Oui, c'est bien ce que cela signifie pour le point limite 4.
Revenons maintenant aux valeurs sur les axes x et y. En utilisant le tableau de contingence à double entrée examiné à la section 5, nous pouvons calculer la POD et la POFD pour le point limite 4. La prévision « Oui » correspond à toute prévision dont la probabilité est égale ou supérieure à 0,80. La prévision « Non » correspond à toute prévision dont la probabilité est inférieure à 0,80.

Si l'on observe le graphique, le point limite 4 est associé à une POD de 0,20 et à une POFD de 0,10.
Comparons cela avec le point limite 1, qui est associé à une probabilité prévue de seulement 0,20. Dès lors, toute prévision établissant qu’il y a une probabilité de 0,20 ou plus que le débit atteigne 200 unités de débit est considérée comme une prévision « Oui ». Seules les probabilités prévues qui sont inférieures à 0,20 sont considérées comme des prévisions de non-survenue du phénomène. Nous devrions nous attendre à ce que la POD et la POFD soient beaucoup plus élevées que pour le point limite 4, car, dans ce cas, beaucoup plus de prévisions sont considérées comme établissant la survenue du phénomène. La POD pour le point limite 1 est de 0,95 et la POFD de 0,70.
Qu'en est-il des points situés aux extrémités? Lorsque la limite de la probabilité se ramène à 0,0, toute prévision est considérée comme une prévision « Oui », car toute prévision établissant une probabilité égale ou supérieure à 0,0 est considérée comme la prévision d'un phénomène. Lorsqu'un phénomène est toujours prévu, le tableau de contingence à double entrée indique que la POD et la POFD se portent toutes deux à 1. C'est le point dans le coin supérieur droit. Lorsque la probabilité limite s'approche de 1,0, alors toutes les prévisions sont inférieures à la limite et elles comptent toutes comme des prévisions « Non ». Dans ce cas, le tableau de contingence à double entrée indique que la POD = POFD = 0, et nous avons un point en bas à gauche.

L'aire sous la courbe de CRF, en bas à droite, peut être utilisée en tant qu'indice numérique. Plus l'aire est grande, meilleur est l'indice.

Le coin supérieur gauche correspond à une POD parfaite de 1 et à une POFD parfaite de 0. L'indice de vérification parfait suivrait l'axe des y du coin inférieur gauche au coin supérieur gauche, puis passerait au coin supérieur droit. L'aire sous la courbe CRF est de 1,0 dans ce cas.

Nous avons une bonne discrimination pour les phénomènes positifs lorsque la courbe CRF est au-dessus de la diagonale. Il en ressort une capacité à distinguer entre la survenue d'un phénomène et son absence. Autrement dit, si un phénomène a été observé, la prévision a été efficace pour indiquer qu'un phénomène se produirait. L'aire au-dessous de la courbe CRF se situe entre 0,5 et 1,0.

Le système de prévision n’a pas de capacité de discrimination des phénomènes lorsque la courbe suit la diagonale. Ici, la POD est égale à la POFD. Cela indique que, si un phénomène a été observé, la prévision avait autant de probabilité d'indiquer sa survenue que son absence. Dans ce cas, l'aire sous la courbe CRF est de 0,5.

Lorsque la courbe CRF se trouve au-dessous de la diagonale, cela indique une capacité négative de discrimination des phénomènes. Cela suggère que, si un phénomène a été observé, la prévision établissait très probablement la non-survenue de celui-ci. Dans ce cas, l'aire sous la courbe CRF se situe entre 0,0 et 0,5.
Voici une courbe CRF pour la survenue d’un débit élevé. Répondez aux questions suivantes en vous aidant du diagramme:
Pour les points limites de probabilité prévue 9 et 10, que nous révèle la courbe CRF?
Choisissez toutes les bonnes réponses.
Les bonnes réponses sont d) et e).
Pour les points limites de probabilité prévue 7 et 8, que nous révèle la courbe CRF?
Choisissez toutes les bonnes réponses.
Les bonnes réponses sont c) et f).
Pour les points limites de probabilité prévue 1 à 6, que nous révèle la courbe CRF?
Choisissez toutes les bonnes réponses.
Les bonnes réponses sont a) et b).

Les indices et diagrammes de vérification présentés dans ce module ne reflètent pas l'intégralité des mesures de vérification possibles. Nous avons présenté ceux qu’a recommandés l'équipe du NWS spécialisée dans les systèmes de vérification des prévisions (Service météorologique national des États-Unis). Ces mesures sont particulièrement utiles pour vérifier les prévisions hydrologiques. Cependant, elles trouvent un vaste champ d'application bien au-delà de l'hydrologie.

La vérification des prévisions hydrologiques vise avant tout à 1) évaluer la performance du système de prévision, 2) améliorer la performance du système de prévision, et 3) comparer les systèmes de prévision entre eux.

Les prévisionnistes et les utilisateurs des prévisions peuvent procéder à des vérifications pour des raisons différentes.

Par exemple, un utilisateur peut s'intéresser avant tout à la précision du système dont il dispose, sans se préoccuper de la manière dont celui-ci pourrait être amélioré ou comparé à un autre système de prévision situé ailleurs.

Un prévisionniste, de son côté, peut s'intéresser en premier lieu à l'amélioration des prévisions, ce qui peut exiger de mieux comprendre d'autres systèmes de prévision plus performants.

Les besoins des utilisateurs sont très variés. Certains utilisateurs, très préoccupés par les crues (même si elles sont peu probables) sont parfois prêts à accepter de grandes incertitudes dans les prévisions.

D'autres utilisateurs ne se sentent concernés que lorsqu'il y a une forte probabilité de crue.

D'autres utilisateurs encore ne se préoccupent pas tant des types de phénomènes, tels que les inondations, mais s'intéressent aux performances des instruments mesurant les variations normales du débit durant une saison.

Pour ces raisons, la vérification ne peut se résumer à un chiffre ou à un graphique récapitulatif. Une vérification utile repose en règle générale sur un ensemble de mesures adapté aux besoins spécifiques et aux données requises dans une situation donnée.

Le tableau interactif (VerificationSummaryTablev2.0fr.pdf) résume les mesures décrites dans ce module. Pour les mesures associées à des indices numériques, le tableau indique la fourchette de valeurs ainsi que la valeur optimale pour des prévisions parfaites. Pour les mesures présentées sur des diagrammes, le tableau offre un simple rappel visuel de la forme que peut prendre une vérification idéale.

Ce module s'est concentré sur l'ampleur des variables hydrologiques. Autrement dit, nous avons utilisé des exemples de débit et de niveau d'eau. Il est toutefois important de vérifier la chronologie des phénomènes hydrologiques. Par exemple, la prévision d'un débit de pointe peut être parfaite, mais le moment auquel ce phénomène est prévu peut être inexact.
Dans de nombreux cas, les mêmes indices peuvent s'appliquer à des paramètres temporels. La différence entre l'heure prévue du débit de pointe et l'heure de son observation peut être utilisée pour calculer les divers types d'erreur.
Parmi les autres sources d'information en ligne utiles pour compléter les informations de ce module se trouvent les ressources suivantes:
Glossaire en anglais du National Weather Service Glossary of Verification Metrics:
https://www.nws.noaa.gov/ohd/rfcdev/docs/Glossary_Verification_Metrics.pdf
The National Precipitation Verification Unit help pages:
https://origin.wpc.ncep.noaa.gov/npvu_test/help/
Le programme COMET ® est parrainé par le Service météorologique national (NWS) de la NOAA, avec l'aide des contributeurs suivants: