Верификация гидрологических прогнозов: введение

Продолжение Показатели таблицы сопряженности

Таблица сопряженности 2x2
  • Вероятность обнаружения события (ВОС/POD)
    • Доля попаданий или успешно спрогнозированных событий
    • Доля наблюденных паводков, которые были правильно спрогнозированы
    • ВОС = a/(a+c)
    • от 0 (наихудшее значение) до 1 (наилучшее значение)
  • Частота ложной тревоги (ЧЛТ/FAR)
    • Доля спрогнозированных паводков, прогнозы которых, по результатам наблюдений, не оправдались
    • ЧЛТ = b/(a+b)
    • от 0 (наилучшее значение) до 1 (наихудшее значение)

Два общих оценочных показателя – это вероятность обнаружения события, ВОС, и частота ложной тревоги (ЧЛТ/FAR).

ВОС или доля попаданий или успешно спрогнозированных событий, в случае паводка/отсутствия паводка – это доля наблюденных паводков, которые ожидались по прогнозам. Из таблицы сопряженности 2x2 ВОС рассчитывается по следующей формуле: a/(a+c). ВОС может варьироваться от 0 в наихудшем случае до 1 или 100% в наилучшем случае.

Частота ложной тревоги (ЧЛТ/FAR) в нашем случае – это доля спрогнозированных паводков, прогнозы которых, по результатам наблюдений, не оправдались. ЧЛТ рассчитывается по следующей формуле: b/(a+b). Наилучшее значение 0, а наихудшее равно 1.

  • Критический индекс оправдываемости (КИО/CSI)
    • Доля правильно спрогнозированных паводков от общего числа спрогнозированных или наблюденных паводков.
    • КИО=a/(a+b+c)
    • от 0 (наихудшее значение) до 1 (наилучшее значение)
  • Вероятность ложного обнаружения события (ВЛОС/POFD)
    • Вероятность прогнозирования паводка, который по результатам наблюдения не имел места
    • ВЛОС = b/(b+d)
    • от 0 (наилучшее значение) до 1 (наихудшее значение)
    • ВЛОС иногда называют долей ложных срабатываний, что НЕ то же самое, что частота ложной тревоги (ЧЛТ/FAR)
  • Систематическая ошибка прогноза
    • Отношение всех прогнозируемых паводков ко всем наблюденным паводкам
    • Систематическая ошибка прогноза = (a+b)/(a+c)
    • от 0 (небольшая ошибка) до 1 (наилучшее значение) до бесконечности (большая ошибка)

Часто вычисляют критический индекс оправдываемости, КИО/CSI, вероятность ложного обнаружения события, ВЛОС/POFD, и систематическую ошибку прогноза.

КИО иногда называют оценкой угрозы. В случае двух категорий, а именно наличия и отсутствия паводков, это доля правильно спрогнозированных паводков от общего числа всех наблюденных или спрогнозированных паводков. Это способ сосредоточиться на оправдываемости прогнозов редких событий, без преобладания в статистической оценке правильно спрогнозированных негативных событий. Например, это может быть полезно при верификации прогнозов сильных паводков.

На основе таблицы сопряженности КИО/CSI рассчитывается по следующей формуле: a/(a+b+c). Это значение может варьироваться от 0 в наихудшем случае до 1 в наилучшем случае.

ВЛОС/POFD – это доля наблюденных случаев отсутствия паводка, который, по прогнозам, должен был наступить. Она рассчитывается по формуле: b/(b+d). Это значение может варьироваться от 0 в наилучшем случае до 1 в наихудшем. Иногда ВЛОС называют долей ложных срабатываний, но ее не следует путать с частотой ложной тревоги (ЧЛТ/FAR).

Систематическая ошибка прогноза в нашем случае равняется отношению общего количества прогнозируемых паводков к общему количеству наблюденных паводков, или (a+b)/(a+c). Значение может варьироваться от нуля до бесконечности. Идеальным считается значение, равное 1. Оно свидетельствует об отсутствии систематической ошибки прогноза. Другими словами, количество наблюденных паводков совпадает с количеством прогнозируемых паводков. Значения <1 указывают на то, что паводки наблюдались чаще, чем прогнозировались. Значения> 1 указывают на то, что паводки прогнозировались чаще, чем наблюдались.

Пример таблицы сопряженности 2x2
Значение Таблица Формула Критерии Описание
Вероятность обнаружения события (доля попаданий или успешно спрогнозированных событий) ВОС ВОС = a/(a+c) от 0 (наихудшее значение) до 1 (наилучшее значение) Доля наблюденных паводков, которые были правильно спрогнозированы
Частота ложной тревоги (ЧЛТ/FAR) ЧЛТ ЧЛТ = b/(a+b) от 0 (наилучшее значение) до 1 (наихудшее значение) Доля спрогнозированных паводков, прогнозы которых, по результатам наблюдений, не оправдались
Критический индекс оправдываемости (КИО) КБР КИО= a/(a+c) от 0 (наихудшее значение) до 1 (наилучшее значение) Доля правильно спрогнозированных паводков от общего числа спрогнозированных или наблюденных паводков.
Вероятность ложного обнаружения события (доля ложных срабатываний) ВЛОС ВЛОС = b/(b+d) от 0 (наилучшее значение) до 1 (наихудшее значение) Доля ненаступивших паводков, которые по прогнозам должны были наступить
Систематическая ошибка прогноза Систематическая ошибка прогноза = (a+b)/(a+c) от 0 (небольшая ошибка) до 1 (наилучшее значение) до бесконечности (большая ошибка) Отношение всех прогнозируемых паводков ко всем наблюденным паводкам

Итак, рассмотрим нашу таблицу сопряженности, где «да» указывает на наступление паводка, а «нет» – на отсутствие паводка.

Какими будут следующие значения?

Выберите наиболее правильный ответ для каждого вопроса.