
В гидрологии часто возникает необходимость определить более двух категорий. Например, возможно, нам понадобится три категории стока. Это могут быть такие категории: первая – сток объемом меньше 20 единиц, вторая – сток объемом от 20 до 25 единиц, а третья – сток объемом выше 25 единиц. С этими тремя категориями мы построим таблицу сопряженности 3x3. Вместо обозначения столбцов и строк словами «Да/Нет», для разных категорий используются числовые значения. Строки по-прежнему обозначают категории прогнозов, а столбцы – категории наблюдений.

Три указанных в таблице категории можно выразить по-разному. Например, для отображения числовых пороговых значений можно использовать качественные пороговые значения, такие как «ниже», «в пределах» и «выше» определенного уровня.
В случае точных прогнозов данные наблюдений соответствуют результатам прогнозов, все пары прогноз–наблюдение будут располагаться по диагонали, обозначенной буквами a, e и i.
А как насчет традиционных оценочных показателей, таких как ВОС и ЧЛТ? Во-первых, нам необходимо выбрать, верификацию какой категории мы проводим. Предположим, мы проводим верификацию стока для категории «в пределах». Тогда ВОС для категории «в пределах» = e/(b+e+h). ЧЛТ для категории «в пределах» = (d+f)/(d+e+f).

Чтобы ответить на этот вопрос, обратитесь к рисунку выше.
Какова будет вероятность обнаружения события (ВОС) для стока, превышающего пороговое значение максимального стока (ВОС для категории «выше»)?
Выберите наиболее правильный ответ для каждого вопроса.
Правильный ответ - г, i/(c+f+i)
Также мы можем рассчитать долю превышения прогнозируемыми значениями наблюденных значений и долю превышения наблюденными значениями прогнозируемых значений. Для этого примера используем категорию «в пределах». Итак, мы хотим знать, какая доля наблюдений в нашей категории «в пределах» прогнозировалась как относящаяся к категории «выше» (превышение прогнозируемыми значениями наблюденных значений), а какая доля наблюдений прогнозировалась как относящаяся к категории «ниже» (превышение наблюденными значениями прогнозируемых значений)?
Чтобы ответить на этот вопрос, обратитесь к рисунку выше.
Какова будет доля превышение наблюденными значениями прогнозируемых значений в категории «в пределах»?
Выберите наиболее правильный ответ для каждого вопроса.
Правильный ответ – б, b/(b+e+h)

Теперь перейдем к верификации вероятностных категориальных прогнозов. В следующих двух разделах будут рассмотрены два показателя: показатель Брайера (ПБ) и показатель ранжированной вероятности (ПРВ).
Показатель Брайера используется в тех случаях, когда вероятностные прогнозы разделены на две категории. ПРВ используется для верификации прогнозов, которые разделены более чем на две категории. Эти два показателя основаны на одной и той же математической формуле сравнения вероятностей наблюденных и прогнозируемых значений. Но прежде чем перейти к более подробному рассмотрению, давайте сначала проанализируем, почему прогнозист выбирает тот или иной показатель.
Показатель Брайера полезно использовать в тех случаях, когда последствия являются асимметричными. Так, например, когда двумя категориями являются наступление паводка и ненаступление паводка, разница между этими категориями очень важна, и показатель Брайера является подходящим критерием верификации.
ПРВ полезно использовать в тех случаях, когда последствия являются симметричными. Другими словами, значение конкретной категории не настолько важно, как суммарное значение всех категорий. Таким образом, ПРВ – это полезный инструмент верификации прогнозов с несколькими категориями стока, когда вас не особо интересует какая-то конкретная категория стока.

Показатель Брайера можно использовать для получения ответа на вопрос: «Какова величина ошибок вероятностных прогнозов?» Как отмечалось выше, его особенно полезно использовать в тех случаях, когда важна разница между двумя указанными категориями. В основу этого показателя положено среднее значение квадратов разностей вероятностей прогнозируемых значений, f, и наблюденных значений, о, для всех пар прогноз–наблюдение.
Помните, что наблюдаемая вероятность равна 0.0, если событие не произошло, и 1.0, если оно произошло. Подобно другим статистическим данным об ошибках, идеальным вариантом является ПБ, равный 0.0, поскольку он указывает на отсутствие разницы между наблюдаемой и прогнозируемой вероятностью. Наихудшее значение ПБ равно 1.0. Показатель Брайера для вероятностных прогнозов аналогичен средней квадратической ошибке для детерминистских прогнозов.

Для упрощения мы будем использовать пример с одним прогнозом, это означает, что N в уравнении равно единице. Это упрощает уравнение для демонстрационных целей.

Допустим, вероятность достижения или превышения паводочного уровня в прогнозе составляет 80% или вероятность равна 0.80. Достигнут паводочный уровень, это означает, что наблюдаемая «вероятность» равна 1.0. ПБ – это возведенная в квадрат разница вероятностей прогноза и наблюдения, или (0.80–1.0) в квадрате, что равно -0.20 в квадрате или 0.04. Это число очень близко к 0.0, и это хорошо.

С другой стороны, что, если паводочный уровень не наблюдался, а по нашим прогнозам вероятность достижения или превышения паводочного уровня составляла 80%? Наблюдаемая вероятность равна 0.0. Теперь мы имеем 0.80–0.00 в квадрате, или 0.64. Это значение намного ближе к 1.0, что говорит о том, что прогноз недостаточно точный.

Чтобы понять, что собой представляет показатель ранжированной вероятности (ПРВ), следует вспомнить, что такое интегральная функция распределения (ИФР), описанная в разделе 2. ПРВ оценивает разницу между значениями вероятностных прогнозов и значениями соответствующих наблюдений на основе сравнения ИФР прогнозируемых и наблюденных значений. Далее это будет наглядно показано, когда мы будем описывать диаграмму ПРВ. Но сначала давайте рассмотрим то, как определяется ПРВ.

Определение ПРВ очень похоже на определение показателя Брайера, но при этом ПРВ может использоваться для верификации прогнозов стока с несколькими категориями, представленными сегментами. Здесь каждый сегмент представляет категорию уровня воды. Прогнозируемая вероятность связана с каждым сегментом. Таким образом, ПРВ отвечает на вопрос: «Насколько хорошо вероятностные прогнозы предсказывали повторяемость попадания результатов наблюдений в определенные сегменты?»
Если сегменты охватывают весь диапазон прогнозов, ПРВ аналогичен статистике ошибок детерминистского прогноза. Таким образом, если категории уровня воды от первой до 16-ой представляют все возможные вероятности прогноза, то ПРВ отвечает на вопрос: «Насколько далеко от наблюдаемого значения был мой вероятностный прогноз?»

Итак, начнем с простого примера с 3 категориями или 3 сегментами. Допустим, у нас есть три сегмента пороговых значений стока, отвечающих за минимальный, средний и максимальный сток. В этом случае большей является вероятность среднего по величине стока. Итак, наши три сегмента: минимальный сток – меньше 200 единиц стока, средний сток – от 200 единиц и выше, но не более 300 единиц, и максимальный сток – выше 300 единиц.

Напомним, что показатель Брайера – это среднее значение квадратов разностей вероятностей по всем парам прогноз–наблюдение для системы с двумя сегментами. Это упрощенное уравнение предполагает один прогон прогноза.

ПРВ также можно рассчитать как сумму квадратов разностей вероятностей прогнозируемого значения f и наблюдаемого значения o, но для нескольких категорий. Для простоты возьмем один прогон прогноза для системы с 3 сегментами, обозначенными индексами 1, 2 и 3.
Для получения более подробной информации о формуле ПРВ для нескольких прогнозов и многочисленных сегментов см. дополнительные ресурсы.

Теперь рассмотрим пример расчета ПРВ при верификации прогноза с тремя сегментами. Допустим, что вероятностный прогноз говорит о том, что вероятность для каждого из этих сегментов, выраженная по шкале от 0.0 до 1.0, составляет 0.20 для минимального стока, 0.60 для среднего стока и 0.20 для максимального стока.

Теперь предположим, что фактически имелся сток из категории «среднего стока». C точки зрения вероятностного прогноза это означает, что вероятность наблюдения сегмента среднего стока равна 1.0, а двух других сегментов – 0.0.

Для расчета ПРВ прогнозируемых значений, мы будем использовать интегральные вероятности, иногда называемые вероятностями непревышения. Вероятности непревышения определены ранее в разделе 2 этого модуля.
Значения интегральных вероятностей для расчета ПРВ
| Интегральная вероятность прогнозируемых значений | Интегральная вероятность наблюденных значений | |
|---|---|---|
| Сегмент 1: минимальный сток | ||
| Сегмент 2: средний сток | ||
| Сегмент 3: максимальный сток |
Для начала мы имеем вероятность прогнозируемого значения в сегменте «минимальный сток», равную 0.20. Поскольку это первый сегмент, вероятность сегмента равна интегральной вероятности.
Далее у нас есть вероятность прогнозируемого значения 0.60 для сегмента «среднего стока». Интегральная вероятность равняется сумме вероятностей сегментов «минимального стока» и «среднего потока», или 0.20 плюс 0.60. Интегральная вероятность равняется 0.80.
Далее мы имеем интегральную вероятность для «максимального стока». Она равна 1.0, поскольку это сумма всех вероятностей сегментов прогнозируемых значений. Как видите, интегральная вероятность последнего сегмента всегда равна 1.
Теперь, когда у нас есть интегральные вероятности прогнозируемых значений для каждого сегмента, определим интегральные вероятности наблюденных значений. Вероятность наблюдаемого значения «минимального стока» составляет 0.0, поскольку наблюдался средний сток.
Вероятность наблюдаемого значения «среднего стока» составляет 1.0, поскольку наблюдался средний сток, и не был превышен. Интегральная вероятность также равна 1.0.
Вероятность наблюдаемого значения максимального стока составляет 0.0, поскольку наблюдался только средний сток, но интегральная вероятность максимального стока составляет 1.0, поскольку, как только интегральная вероятность достигает 1.0, как это было в сегменте «среднего стока», она остается неизменной.
Значения интегральных вероятностей для расчета ПРВ
| Интегральная вероятность прогнозируемых значений | Интегральная вероятность наблюденных значений | |
|---|---|---|
| Сегмент 1: минимальный сток | 0.20 | 0.00 |
| Сегмент 2: средний сток | 0.80 | 1.00 |
| Сегмент 3: максимальный сток | 1.00 | 1.00 |
Итак, теперь, когда у нас есть заполненная таблица, мы можем рассчитать значение ПРВ, используя уравнение.

Σ[(0.20-0.00)2 + (0.80-1.00)2 +(1.00-1.00)2] = Σ [0.04 + 0.04 +0.00] = 0.08
Уравнение расчета ПРВ для нашего примера с 3 сегментами будет выглядеть так: (0.20 минус 0.00) в квадрате, плюс (0.80 минус 1.00) в квадрате, плюс (1.00 минус 1.00) в квадрате. В итоге 0.04 плюс 0.04 плюс 0.00 дает значение ПРВ, равное 0.08. Это значение близко к идеальному значению ПРВ, равному 0.0, что означает, что в вероятностных прогнозах было мало ошибок.

Значения интегральных вероятностей для расчета ПРВ
| Расчет ПРВ по среднемноголетней и наблюденной вероятностям непревышения | ||
|---|---|---|
| Интегральная вероятность прогнозируемых значений | Интегральная вероятность наблюденных значений | |
| Сегмент 1: минимальный сток | 0.20 | 0.00 |
| Сегмент 2: средний сток | 0.80 | 1.00 |
| Сегмент 3: максимальный сток | 1.00 | 1.00 |
Используя тот же подход и информацию о вероятностях среднемноголетних значений стока при наблюденных средних значениях стока, определите, каким будет значение ПРВ для среднемноголетних параметров.
Выберите наиболее правильный ответ.
Правильный ответ в) Σ [(0.60-0.00)2+(0.90-1.00)2+(1.00-1.00)2] = 0.37

Интегральные вероятности среднемноголетних значений сегментов минимального, среднего и максимального стока составляют 0.60, 0.90 и 1.00 соответственно. Интегральные вероятности наблюденных значений для сегментов минимального, среднего и максимального стока составляют 0.00, 1.00 и 1.00 соответственно. Таким образом, уравнение будет выглядеть так: (0.60 минус 0.00) в квадрате, плюс (0.90 минус 1.00) в квадрате, плюс (1.00 минус 1.00) в квадрате, что равно 0.36 плюс 0.01 плюс 0.00, что дает значение ПРВ, равное 0.37. Поскольку это значение отличается значительнее от идеального значения 0.00, чем значение ПРВ, которое мы рассчитали для прогнозируемых значений, то среднемноголетние параметры менее точны, чем прогнозные.

Идеальное значение ПРВ составляет 0.00, худшее значение зависит от количества используемых сегментов. Часто значение ПРВ нормируется путем деления на количество сегментов минус 1. Эту формулировку иногда называют «нормированным ПРВ».
Непрерывный ПРВ, представленный в разделе 6, – это еще один вид ПРВ, который не зависит от количества используемых сегментов прогнозируемых значений.

Расчет ПРВ прогнозируемых значений в сравнении с наблюденными
| Вероятность прогнозируемых значений | Вероятность наблюденных значений | |
|---|---|---|
| Сегмент 1: минимальный сток | 0.20 | 0.00 |
| Сегмент 2: средний сток | 0.80 | 1.00 |
| Сегмент 3: максимальный сток | 1.00 | 1.00 |
Для построения графика ПРВ следует отложить интегральную вероятность по оси Y и пороговые значения сегмента по оси X. Мы определили 3 сегмента для минимального, среднего и максимального стока. Если мы построим график интегральной вероятности, где сегмент 1 будет равен 0.20; сегмент 2 будет равен 0.80; сегмент 3 будет равен 1.00, мы получим приведенный на рисунке график прогнозируемых значений. Поскольку наблюдалось среднее значение стока, интегральная вероятность наблюдаемого значения достигает 1.00 в сегменте среднего стока и не выходит за его пределы.

Таким образом, график ПРВ просто показывает разницу между ИФР прогнозируемых значений и ИФР наблюденных значений. ПРВ определяется как область между этими двумя кривыми. Для этого прогноза такая область довольно мала, что указывает на хорошее значение ПРВ, равное 0.08.

Как выглядел бы график ПРВ, если бы для этого же прогноза наблюдалось высокое значение стока?
Выберите наиболее правильный ответ.
Правильный ответ – а) График а)
График прогнозируемых значений не имеет изменений, а на графике наблюденных значений 0.0 меняется на 1.0 в сегменте 3, представляющем «максимальный сток».

На графике ПРВ для наблюденного высокого стока обратите внимание на залитую область, которая показывает разность вероятностей прогнозируемого и наблюденного значений. Значение ПРВ равно 0.68. Сравните его с графиком, который показывает случай, когда при таком же прогнозе наблюдался средний сток, а ПРВ составлял 0.08. Что обозначают области с заливкой?
Выберите наиболее правильный ответ.
Правильный ответ – а) При сценарии с высоким стоком количество ошибок прогнозирования возрастет.
В этом разделе рассматривается верификация точности прогнозов. Точность является одной из семи важных тем, которые следует учитывать при верификации гидрологических прогнозов.
Точность определяется как степень совпадения наблюденных и прогнозируемых значений. Статистические данные о точности на самом деле являются оценкой ошибок прогнозирования, и поэтому мы можем назвать их статистикой ошибок. Исключая систематические ошибки прогнозирования, мы предпочитаем для этой статистики ошибок значения, близкие к 0.0, что свидетельствует о том, что погрешность прогнозирования является минимальной. Систематическая ошибка прогнозирования выражается соотношением, и значение, близкое к 1.0, указывает на минимальную погрешность между прогнозируемыми и наблюденными значениями.
Оценочные критерии точности (статистика ошибок):
| Детерминистский прогноз | Вероятностный прогноз |
|---|---|
| Средняя абсолютная ошибка (САО) | |
| Средняя квадратическая ошибка (СКО) | |
| Средняя ошибка (СО) | |
| Интегральная систематическая погрешность | |
| Непрерывный ПРВ (НПРВ) |
Непрерывный показатель ранжированной вероятности отражает статистику ошибок, используемую при верификации вероятностных прогнозов. Значение 0.0 указывает на идеальный прогноз – отсутствие ошибок. Все остальные показатели, представленные в этом разделе, подходят для верификации детерминистских прогнозов.

Показатель ранжированной вероятности (ПРВ) был описан в разделе, посвященном верификации категориальных прогнозов. Часто диаграмма ПРВ будет включать намного больше сегментов, чем в нашем примере с тремя сегментами из упомянутого раздела выше. Здесь изображена диаграмма ПРВ с многочисленными сегментами, каждый из которых представляет интервал максимального стока.

Когда имеется очень большое количество сегментов прогноза, каждый сегмент представляет собой очень узкий интервал значений стока. В этой ситуации суммарное значение ошибок вероятностей между прогнозируемыми и наблюденными значениями можно определить с помощью интеграла. В результате мы получим непрерывный ПРВ.
Это похоже на многие другие статистические данные об ошибках, где идеальной является разность вероятностей наблюденных и прогнозируемых значений равная нулю, поскольку это означает нулевую ошибку.
При верификации детерминистских прогнозов для измерения количественной точности обычно используются два статических показателя ошибок: Средняя абсолютная ошибка (САО) и средняя квадратическая ошибка (СКО).

Оба вида ошибок учитывают разность между прогнозируемыми и наблюденными значениями. В них не учитывается, является ли эта разность положительной – прогнозируемое значение больше наблюдаемого, или отрицательной – прогнозируемое значение меньше наблюдаемого.

САО – это среднее значение абсолютных величин разностей между прогнозируемыми и наблюденными значениями. СКО – это квадратный корень из среднего значения квадрата разностей между прогнозируемыми и наблюденными значениями. В обоих случаях значение 0.00 указывает на полное совпадение наблюденных и прогнозируемых значений. Значения возрастают от нуля до больших ошибок и теоретически могут доходить до бесконечности.

СКО более чувствительна к большим разностям между прогнозируемыми и наблюденными значениями, чем САО. Поэтому САО целесообразнее использовать при верификации значений минимального стока, поскольку величина ошибки прогноза обычно намного меньше для прогнозов минимального стока. Большие ошибки, более характерные для прогнозов максимального стока, будут доминировать в статистике СКО.

Другим видом ошибок является средняя ошибка (СО). СО – это средняя арифметическая разность между прогнозируемыми и наблюденными значениями.

В отличие от САО и СКО, СО указывает на то, будут ли прогнозируемые значения, как правило, выше или ниже наблюденных значений, поэтому вы можете получить отрицательные числа. Положительные значения указывают на тенденцию завышения прогнозных значений (прогнозные значения имеют тенденцию превышать наблюденные значения), а отрицательные значения обозначают тенденцию занижения прогнозных значений по сравнению с наблюденными значениями.
Несмотря на то, что, как и в случае с другими статистическими данными об ошибках, наилучшим считается значение 0.00, это может ввести в заблуждение. Если в наборе прогнозов есть большие ошибки, которые равномерно распределены выше и ниже среднего значения, то средняя ошибка равна нулю, потому что ошибки компенсируют друг друга. Поэтому значение СО, равное нулю, не обязательно означает идеальный прогноз. В этом случае значения СКО и САО будут иметь ненулевые значения, указывающие на несовершенный прогноз. При верификации прогнозов важно использовать статистику СО вместе с другими оценочными критериями.
Есть несколько статистических параметров, которые называются «систематической ошибкой». Поскольку СО показывает направление различий между прогнозируемыми и наблюденными значениями, то в некоторых источниках она называется систематической аддитивной погрешностью. Показатель систематической ошибки категориального прогноза, описанный в разделе 5, представляет собой систематическую погрешность повторяемости, поскольку он выводится из сегментов на основе категорий прогнозов.

Другим часто используемым видом систематической ошибки в гидрологии является интегральная систематическая погрешность, которая представляет собой отношение суммы прогнозных значений к сумме наблюденных значений, выраженное по следующей формуле:

Это отношение может находиться в диапазоне от 0 до бесконечности, при этом значение 1.0 указывает на отсутствие систематической ошибки (погрешности). Значение больше 1.0 означает превышение прогнозными значениями наблюденных значений, а значение меньше 1.0 указывает на превышение наблюденными значениями прогнозных значений.
Здесь представлена таблица с пятью прогнозными значениями речного стока и соответствующими наблюденными значениями стока. В таблице также показана разность прогнозных и наблюденных значений, абсолютная разность и квадрат разности. В последней строке указана сумма значений в каждом столбце.
Ниже приведены формулы для каждого из четырех видов систематических ошибок (погрешностей): Средняя абсолютная ошибка, средняя квадратическая ошибка, средняя ошибка и интегральная систематическая ошибка. Поскольку имеется пять прогнозных значений, N равно 5.
Используйте эту информацию и калькулятор, чтобы ответить на следующие вопросы.
В этом разделе рассматриваются оценочные критерии успешности прогноза, а также то, какое отношение они имеют к верификации гидрологических прогнозов. Успешность является одной из семи важных тем, которые следует учитывать при верификации гидрологических прогнозов.
В отличие от статистических показателей ошибок прогноза, статистический показатель его успешности помогает оценить оправдываемость прогноза относительно некоторого эталонного прогноза. К общим используемым эталонным прогнозам относятся, в частности, прогнозы среднемноголетних значений, персистентность и модельный ориентир. Таким образом, мы можем ответить на такой вопрос: «Несмотря на то, что нами получены не вполне удовлетворительные значения СКО и систематической ошибки, насколько мы смогли улучшить прогнозы по сравнению с прогнозами среднемноголетних значений?»
Статистические данные об успешности прогноза особенно полезно использовать потому, что они учитывают, повысилась ли оправдываемость прогноза благодаря тому, что события было легче предсказать; а в этом случае и прогноз, и эталонный прогноз имеют лучшую оправдываемость, при том что успешности прогноза остается неизменной. Статистический показатель успешности прогноза позволяет обнаружить повышение оправдываемости прогнозов по сравнению с эталонными прогнозами, достигаемое за счет «интеллектуальной» составляющей прогностической системы.
Критерии оценки успешности прогноза:
| Детерминистский прогноз | Вероятностный прогноз |
|---|---|
| Успешность прогноза c учетом средней квадратической ошибки (УП-СКО) | |
| Успешность прогноза с учетом показателя Брайера (УП-ПБ) | |
| Успешность прогноза с учетом показателя ранжированной вероятности (УП-ПРВ) |
Показатели успешности прогноза могут применяться как к детерминистским, так и к вероятностным прогнозам.

Показатель успешности прогноза рассчитывается по формуле: успешность прогноза минус успешность эталонного прогноза разделить на успешность идеального прогноза минус успешность эталонного прогноза.
Далее мы рассмотрим показатели успешности прогноза с привязкой к средней квадратической ошибке, показателю Брайера и показателю ранжированной вероятности. Это показатель успешности прогноза с учетом средней квадратической ошибки, УП-СКО, показатель успешности прогноза с учетом показателя Брайера, УП-ПБ, и показатель успешности прогноза с учетом показателя ранжированной вероятности (УП-ПРВ).

При идеальном прогнозе СКО, ПБ и ПРВ, каждый в отдельности, равны 0. Поэтому уравнение будет выглядеть таким образом. Следует учитывать, что другие оценочные критерии точности не обязательно имеют идеальное значение, равное нулю, поэтому уравнение необязательно будет упрощаться таким образом.

Если прогноз не показывает ошибок, это означает, что он идеален, тогда уравнение расчета показателя УП будет выглядеть таким образом; при этом числитель будет равен знаменателю. Итак, идеальный показатель УП имеет значение 1.

Если прогнозное значение совпадает с эталонным, тогда числитель становится равным нулю, а, значит, показатель УП равен нулю. В этом случае показатель УП отсутствует, поскольку уровень оправдываемости прогноза не отличается от уровня оправдываемости эталонного прогноза.
Лучшей успешности прогноза соответствуют показатели успешности прогноза от 0 до 1. Это означает, что прогноз имел бóльшую оправдываемость по сравнению с эталонным прогнозом. Худшей успешности прогноза соответствуют показатели успешности прогноза ниже нуля. Это происходит в ситуациях, когда прогноз имел меньшую оправдываемость по сравнению с эталонным прогнозом.

В ситуациях, когда эталонный прогноз почти равен идеальному прогнозу, возможны большие отрицательные значения показатели успешности прогноза, даже если прогноз был не намного хуже эталонного. Математически это объясняется очень маленьким числом в знаменателе.
Рассмотрим ситуацию, когда мы хотим использовать среднюю квадратическую ошибку, чтобы узнать показатель успешности прогноза речного стока. Эталонным прогнозом является прогноз среднемноголетних значений или климатологический прогноз. Другими словами, мы ответим на вопрос: «Свидетельствует ли независимый прогноз об улучшении прогнозирования по сравнению с прогнозом среднемноголетних значений, и насколько улучшилось прогнозирование?»

Напомним, что СКО предоставляет информацию об ошибке на основе различий между гидрографами прогнозируемых и наблюденных значений. Этот простой график СКО показывает, что со временем ошибка может варьировать от нуля до относительно большого значения.

Мы также можем использовать СКО для прогнозов среднемноголетних значений. Когда СКО прогноза ниже СКО прогноза среднемноголетних значений, это означает, что прогноз имел большую оправдываемость, чем прогноз среднемноголетних значений, потому что в нем было меньше ошибок.

Таким образом, показатель УП имеет положительное значение по сравнению с климатологическим. Когда СКО прогноза больше СКО климатологического прогноза, то показатель УП имеет отрицательное значение. Итак, теперь посмотрим, как будет выглядеть соответствующий график показателя успешности прогноза с учетом СКО, или УП-СКО.

Напомним, что при идеальном прогнозе или когда СКО прогноза равно нулю, тогда показатель УП-СКО равен 1, что является идеальным значением успешности прогноза.

Когда СКО прогноза и СКО климатологического прогноза равны, то успешность прогноза отсутствует, т.е. показатель УП-СКО равен 0. Это верно и независимо от значения СКО, поскольку показатель УП оценивает только то, насколько прогнозы улучшились по сравнению с нашим эталонным прогнозом, т.е. прогнозом среднемноголетних значений.

Если СКО климатологического прогноза меньше СКО прогноза, а значит оправдываемость прогноза ниже оправдываемости климатологического прогноза, то значение УП отрицательное. В случаях, когда эталонный прогноз, в нашем случае климатологический, имеет значение СКО, близкое к нулю, то показатель УП-СКО может принять большое отрицательное значение, даже если значение СКО прогноза является относительно небольшим.
Наконец, отметим, что показатель УП-СКО может быть положительным даже при относительно высоких значениях СКО прогноза. Суть показателя успешности прогноза заключается в том, чтобы оценить, насколько оправдываемым является прогноз по сравнению с эталонным прогнозом, а именно с прогнозом среднемноголетних значений.
Теперь давайте рассмотрим оценки успешности прогноза, связанные с показателем Брайера и показателем ранжированной вероятности. В этих примерах в качестве эталонного прогноза мы будем использовать климатологический прогноз. Итак, теперь вопрос стоит так: «Является ли прогноз более надежным, чем климатологический?»

Вернемся к примеру расчета показателя Брайера из раздела 5. В том примере вероятность паводка составляла 0.80, и паводок произошел. Показатель Брайера равен 0.04.

Если, согласно климатологическому прогнозу, вероятность паводка составляет 0.30, тогда показатель Брайера будет равен 0.49.

Показатель успешности прогноза с учетом показателя Брайера (УП-ПБ) рассчитывается по формуле: ПБпрогн минус ПБэтал разделить на (0 минус ПБэтал). Получим: (0.04 – 0.49) разделить на -0.49. Что равно +0.92. Показатель успешности прогноза с учетом показателя Брайера, равный +0.92, означает, что показатель улучшился на 92% по сравнению с климатологическим прогнозом.
Показатель успешности прогноза с учетом показателя ранжированной вероятности (УП-ПРВ) рассчитывается так же, как и успешность прогноза с учетом показателя Брайера (УП-ПБ). Используя климатологический прогноз в качестве эталонного прогноза, вернитесь к уравнению, чтобы ответить на следующие вопросы.
Если УП-ПРВ меньше 0, то что можно сказать об успешности прогноза?
Выберите все подходящие варианты.
Правильные ответы – а) и г).
Если УП-ПРВ меньше 1, но больше 0, то что можно сказать об успешности прогноза?
Выберите все подходящие варианты.
Правильные ответы – б) и в).
В разделе, посвященном категориальным прогнозам, мы рассчитывали ПРВ прогноза для произошедшего небольшого паводка и получили число 0.08. ПРВ климатологического прогноза для наблюденного небольшого паводка равна 0.37. Каким будет значение УП-ПРВ, если климатологический прогноз является эталонным?
Выберите наиболее правильный ответ.
Правильный ответ – г) 0.78
УП-ПРВ равен (0.08 минус 0.37) разделить на (0 минус 0.37), что равно -0.29/-0.37, и в итоге получим 0.78. Это указывает на улучшение прогноза на 78% по сравнению с климатологическим, с прогнозом среднемноголетних значений.
В этом разделе будут рассмотрены оценочные критерии, используемые в процессе верификации условных прогнозов. Верификация условных прогнозов является одной из семи важных тем, которые следует рассматривать при верификации гидрологических прогнозов.
Оценочные критерии, используемые в процессе верификации условных прогнозов, предоставляют информацию об оправдываемости прогнозов или о вероятности осуществления прогнозов при условии наступления определенного события или при определенном условии.
Оценочные критерии, используемые в процессе верификации условных прогнозов:
| Детерминистский прогноз | Вероятностный прогноз |
|---|---|
| Оценочные критерии достоверности | Диаграмма достоверности Диаграмма атрибутов Диаграмма дискриминантной способности |
| Сравнительная оперативная характеристика (СОХ) | Сравнительная оперативная характеристика (СОХ) |
Существуют оценочные критерии дискриминантной способности и достоверности, которые применяются при верификации как детерминистских, так и вероятностных прогнозов.
Верификация условного прогноза может проводиться относительно или прогнозируемых значений, или наблюденных значений. Следует рассмотреть оба подхода, чтобы лучше понять различные аспекты оправдываемости прогноза.
Достоверность характеризует статистические данные, обусловленные определенным прогнозом. Другими словами, какими были соответствующие наблюденные значения при определенных прогнозах конкретного события?
Распознавательная способность прогноза характеризует статистические данные, обусловленные определенными наблюдениями. Другими словами, с учетом определенных наблюденных значений определенного события, что предсказывали соответствующие прогнозы? Есть два оценочных критерия распознавательной способности, которые мы рассмотрим в следующих разделах: (1) Сравнительная оперативная характеристика (СОХ), которая определяет разрешающую способность прогноза, и (2) диаграмма распознавательной способности.

Рассмотрим двадцать прогнозов речного стока. Это могут быть двадцать детерминистских прогнозов или ансамблевый прогноз с двадцатью элементами ансамбля. Для простоты мы будем использовать две классификации для прогнозных и наблюденных значений. Первая классификация предназначена для значений стока ниже установленного порогового значения, и мы будем обозначать эти события буквой «L» синего цвета. Вторая классификация предназначена для значений стока, равных или превышающих установленное пороговое значение, и мы будем обозначать эти события буквой «H» красного цвета.

Теперь перечислим двадцать соответствующих наблюденных значений для этих прогнозных значений. Мы снова используем L и H для обозначения наблюденного стока. Есть два способа сравнения этих прогнозных и наблюденных значений. Один из них – это верификация на основе прогнозных значений, а второй – верификация на основе наблюденных значений.

Для верификации на основе прогнозных значений разделим прогнозы на две группы. В первой группе будут все прогнозы «L» с соответствующими наблюденными значениями. Во второй группе будут все прогнозы «Н» с соответствующими наблюденными значениями. Теперь мы можем ответить на два важных вопроса.
Вопрос 1: Если прогнозируемый сток вошел в группу «L», каким был соответствующий наблюденный сток? Здесь мы видим, что 8 из 10, или 80% наблюденных значений совпали со значением L. Это свидетельствует о достоверной системе прогнозирования низкого стока L.
Вопрос 2: Если прогнозируемый сток вошел в группу «H», каким был соответствующий наблюденный сток? В этот раз мы видим, что только 4 из 10, или 40% наблюденных значений совпали с прогнозируемыми значениями стока H. Это указывает на то, прогностическая система является не совсем достоверной для прогнозирования высокого стока H.

Далее мы рассмотрим верификацию на основе наблюденных значений. Снова разделим данные на две группы, сток категорий L и H, но на этот раз на основе данных наблюдений. Итак, в первую группу попадут все наблюденные значения стока L и соответствующие им прогнозные значения. Во вторую группу попадут все наблюденные значения стока H и соответствующие им прогнозные значения. Теперь мы можем задать следующие два вопроса.
Вопрос 1: Если наблюденный сток вошел в группу «L», каким был соответствующий прогнозный сток? Мы видим, что только 8 из 14, или 57% прогнозных значений совпали с наблюденными. Таким образом, прогностическая система сработала немного лучше, чем 50-50, при различении условий низкого стока.
Вопрос 2: Если наблюденный стока вошел в группу «H», каким был соответствующий прогнозный сток? В этом случае 4 из 6, или 67% прогнозных значений совпали с наблюденными.
| Достоверность | |
|---|---|
| При прогнозируемом стоке, равном | Процент соответствующих наблюденных значений, совпавших с прогнозными значениями |
| L | 80% |
| H | 40% |
| Распознавательная способность | |
|---|---|
| При наблюденном стоке, равном | Процент соответствующих прогнозов, правильно предсказавших результат |
| L | 57% |
| H | 67% |
Так что это значит? В этом случае прогностическая система показала достоверный результат, спрогнозировав сток L. Другими словами, если прогнозировался сток L, вероятность того, что наблюденное значение стока будет соответствовать L, составляла 80%. Однако прогностическая система также не распознала сток L. Если наблюденное значение стока относилось к L, вероятность того, что соответствующий прогноз предсказал сток L, составляла всего 57%.
Для стока H прогностическая система была менее достоверной, чем для прогнозов стока L. Только 40% прогнозных значений стока H совпали с наблюденными значениями стока H. Однако прогностическая система довольно хорошо справлялась с распознаванием стока H. Если наблюдалось значение стока H, тогда соответствующий прогноз предсказывал сток H в 2 из 3 случаев.
Это был простой пример всего с двумя категориями. В действительности, ряд наблюдений может содержать много категорий, включающих значения стока от минимально до максимально возможных. Верификация условного прогноза усложняется, но смысл достоверности прогноза и распознавательной способности прогноза остается таким же, как и для простой системы с двумя категориями.
Достоверность – это согласованность между вероятностью прогноза и повторяемостью наблюдений. После выполнения условия – разделение данных на подгруппы – для описания достоверности могут применяться некоторые оценочные критерии, рассмотренные нами ранее. Например, достоверность определяет условную систематическую ошибку для каждой подгруппы прогнозов.
При верификации вероятностных прогнозов используются диаграммы достоверности и атрибутов.

Диаграмма достоверности отображает повторяемость наблюденных событий как функцию от вероятностей прогнозируемых событий. Таким образом, она помогает увидеть, насколько хорошо вероятности прогнозируемых событий предсказали наблюдаемую повторяемость события. Другими словами, если наступление события прогнозировалось в 30% случаев, в каком проценте случаев оно фактически наблюдалось? Или, в вероятностных терминах, для всех прогнозов с вероятностью наступления события, равной 30%, сколько раз событие фактически происходило? В идеале, если мы возьмем все прогнозы с вероятностью наступления события, равной 30%, это событие должно было наблюдаться для 30% этих прогнозов.

Вероятности прогнозируемых значений, заданных на оси X, разделены на интервалы. В этом примере мы будем использовать 11 интервалов, представляющих вероятности P: P =0.0, 0.0<P≤0.1, 0.1<P≤0.2, 0.2<P≤0.3, 0.3<P≤0.4, 0.9<P≤1.0.
Важно отметить, что диаграммы достоверности зависят от вида события; в нашем случае этим событием является максимальный сток ≥200 единиц стока. Поэтому информация, полученная с помощью диаграммы достоверности, актуальна только для этого события.

Итак, что означает точка на диаграмме достоверности и ее положение относительно диагонали? Эта точка указывает на то, что прогнозируемый с вероятностью 0.5-0.6 сток равный или превышающий 200 единиц фактически наблюдался в 66% случаев или с вероятностью 0.66.
Точки, лежащие прямо на диагонали, обозначают абсолютно достоверные прогнозы. В этих случаях вероятности прогнозируемых значений в точности равны повторяемости наблюденных значений. Точки, лежащие выше диагонали, обозначают превышение наблюденными значениями прогнозируемых значений. Это означает, что повторяемость наблюденных значений события больше вероятности прогнозируемых значений. Точки ниже диагонали обозначают превышение вероятности прогнозируемого значения над повторяемостью наблюденных значений.

Размер выборки иногда влияет на применимость диаграммы достоверности.
Иногда составляется гистограмма, показывающая повторяемость прогнозов в каждом интервале вероятности. Это дает представление о количестве выборок, используемых для расчета статистического показателя достоверности, а также характеризует точность прогнозов.

Точные прогнозы:
Прогнозы являются точными, если они часто значительно отличаются от климатологических или средних значений и имеют тенденцию предсказывать вероятности, близкие к 0 и 1. Точные прогнозы являются правильными, если они также являются достоверными, т.е. они хорошо соответствуют наблюденным значениям.

Если размер выборки слишком мал, то диаграмма достоверности может отображать беспорядочное расположение точек на графике по диагонали. Пользователь не может интерпретировать статистические результаты из-за такой неопределенности выборки.

Верификация идеального прогноза с использованием критерия достоверности покажет одну точку в правом верхнем углу, одну точку в нижнем левом углу, а на гистограмме все выборки будут с вероятностями 0 и 1. Это будет означать, что вероятность прогнозов всегда равнялась 0 или 100%, и они всегда совпадали с наблюдениями.

Теперь возьмем нашу диаграмму достоверности прогноза стока, а именно «максимальный сток, превышающий или равный 200 единицам стока», и добавим некоторые функции.

Если мы добавим нашу гистограмму и наложим дополнительную информацию, которая позволит сравнить нанесенные на график данные с климатологическим прогнозом, разрешающей способностью и успешностью, то мы получим диаграмму атрибутов. Допустим, согласно климатологическому прогнозу, вероятность наступления события составляет 0.25. Линия с пометкой «без разрешающей способности» параллельна оси X и обычно отображает наблюденные среднемноголетние данные выборки. Что это значит? Это означает, что, если прогностическая система всегда прогнозирует среднемноголетние значения, она не может отделить случаи наступления событий от случаев ненаступления событий. Каждый раз, когда кривая, соединяющая нанесенные точки, становится горизонтальной, это свидетельствует о том, что конкретное наблюденное значение встречается при каждой вероятности прогнозируемого значения.

Линия, обозначающая отсутствие успешности прогноза, проходит посередине между линией отсутствия разрешающей способности и диагональю.

Залитая область на диаграмме атрибутов показывает участок, где прогнозы успешны.

Распознавательная способность прогноза – это способность прогноза различать события с учетом наблюденного результата.
Для этого примера допустим, что существует пять категорий стока: очень низкий, низкий, средний, высокий и очень высокий. Поскольку распознавательная способность прогноза основана на данных наблюдений, разделим наблюдения на три подгруппы. Первая подгруппа, «наблюденный минимальный сток», включает в себя любое наблюденное значение очень низкого и низкого стока; вторая подгруппа, «наблюденный средний сток» определяется как категория среднего стока; а третья, «наблюденный максимальный сток», включает в себя любое наблюденное значение высокого и очень высокого стока.
Для этого примера рассмотрим ансамблевые прогнозы с 10 элементами. В столбце 2 показано, какой прогноз давал каждый из 10 элементов ансамбля при наблюденных значениях, входящих в подгруппу «наблюденный минимальный сток». В столбце 3 показано, какой прогноз давал каждый элемент ансамбля при наблюденных значениях, входящих в подгруппу «наблюденный средний сток». В столбце 4 показано, какой прогноз давал каждый элемент ансамбля при наблюденных значениях, входящих в подгруппу «наблюденный максимальный сток».
В нижней таблице представлена повторяемость прогнозируемых значений наших 5 категорий стока для каждой подгруппы наблюденных значений. Так, например, в столбце 2 в подгруппе «наблюденный минимальный сток» четыре из десяти членов ансамбля давали прогноз очень низкого стока, а еще четыре – прогноз низкого стока. Таким образом, вероятностный прогноз для каждой из таких категорий стока, как очень низкий и низкий, составляет 0.40. Категория среднего стока имеет вероятность, равную 0.20, поскольку ее прогнозировали только 2 из 10 членов ансамбля. Если наблюдался низкий сток, то прогнозы высокого или очень высокого стока отсутствовали.
Теперь сделаем то же самое для столбца 3 «наблюденный средний сток» и столбца 4 «наблюденный максимальный сток».
Теперь эту информацию можно использовать для построения диаграммы распознавательной способности.

Теперь мы можем использовать информацию из таблицы, в которой представлены вероятности прогнозных значений стока, обусловленные подгруппами наблюденного стока, и построить диаграмму распознавательной способности.
На оси X диаграммы распознавательной способности представлены пять категорий стока от «очень низкого» до «очень высокого». На оси Y показана относительная повторяемость прогнозных значений.
Сначала рассмотрим синюю пунктирную линию, которая соответствует информации, представленной в столбце 2. Она показывает, что при наблюденных значениях низкого стока повторяемость таких категорий прогнозных значений, как очень низкий или низкий сток, равнялась 0.4, а вероятность среднего значения стока составляла 0.2. Повторяемость прогнозных значений для таких категорий стока, как высокий и очень высокий, снижается до 0.0. Если вы вспомните функцию плотности распределения вероятностей (ФПРВ) из раздела 2, то поймете, что синей пунктирной линией обозначена ФПРВ прогнозных значений при наблюденном низком стоке.
Зеленая пунктирная линия, соответствующая данным в столбце 3, представляет ФПРВ прогнозных значений при наблюденном среднем стоке. Она показывает относительно более низкие вероятности для таких категорий прогнозных значений, как очень низкий и низкий сток, по сравнению с категориями прогнозных значений от среднего до очень высокого стока.
Красная сплошная линия, соответствующая данным в столбце 4, представляет ФПРВ прогнозных значений при наблюденном высоком стоке.
Обратите внимание, что пунктирная зеленая линия очень похожа на сплошную красную линию. Это означает, что вероятности прогнозируемых значений при наблюденном среднем стоке были аналогичны вероятностям при наблюденном высоком стоке. Другими словами, прогностическая система не очень хорошо различает средние и высокие значения стока. Прогностическая система проявляет хорошую распознавательную способность в отношении низкого стока. Мы можем так сказать, потому что, если посмотреть на синюю пунктирную кривую, то можно заметить более высокие вероятности таких категорий низкого стока, как очень низкий и низкий сток, а ФПРВ несколько отделена от двух других кривых. Это означает, что прогнозные значения для случаев наблюдавшегося низкого стока отличались от тех случаев, когда наблюдался средний или высокий сток.

В идеале, распределение наблюденных значений на три подгруппы должны быть очень четким, и это должно подтверждаться кривыми ФПРВ. На графике слева мы можем видеть, что каждая ФПРВ прогнозных значений для каждой подгруппы наблюденных значений стока отличается от двух других. Это свидетельствует о хорошей распознавательной способности прогнозов. Другими словами, прогнозы в отношении каждого наблюдаемого условия были уникальными. И в этом идеализированном случае подгруппы наблюденных значений соответствуют прогнозным значениям. Например, ФПРВ наблюденных значений высокого стока расположена справа на оси X, где отображаются прогнозные значения высокого стока.
И наоборот, графики ФПРВ для прогностической системы с низкой распознавательной способностью показывают небольшие различия между распределениями или вообще не отображают этих различий и часто сходятся на линии вероятности климатологического прогноза.

Вернемся к нашей диаграмме распознавательной способности и предположим, что она представляет прогнозы максимального стока талых вод с заблаговременностью четыре месяца. Теперь построим диаграмму распознавательной способности для того же района и тех же переменных, но на этой диаграмме, расположенной ниже, будут отображены прогнозы с заблаговременностью один месяц.

Что можно сказать о прогнозах с заблаговременностью один месяц по сравнению с прогнозами с заблаговременностью четыре месяца?
Выберите все подходящие варианты.
Правильные ответы – а) и г)
Прогнозы c заблаговременностью один месяц показывают лучшую распознавательной способность, что видно по хорошо разделенным кривым ФПРВ для подгрупп минимального, среднего и максимального стока. Такие прогнозы лучше прогнозов с заблаговременностью четыре месяца, которые показывают небольшую распознавательной способность при различении подгрупп среднего и максимального стока. Это означает, что, с учетом наблюденных значений, прогноз с заблаговременностью один месяц показал хорошую распознавательной способность в отношении всех подгрупп.

Сравнительная оперативная характеристика (СОХ) определяет способность прогностической системы различать события, т.е. отличать события от «несобытий» для заданного условия. В этом случае мы будем использовать такое условие: сток больше или равен 200 единицам стока. СОХ определяет разрешающую способность прогноза, которая связана с распознавательной способностью в отношении событий.
СОХ зависит от наблюденных значений. Таким образом, в нашем примере СОХ может помочь ответить на следующий вопрос: «Если данные наблюдений показали, что максимальный сток достиг или превысил 200 единиц стока, тогда что предсказали соответствующие прогнозные вероятности – достигнут или превысят ли прогнозируемые значения сток в 200 единиц?»
Прежде чем углубляться в числовые показатели, приведем пример того, как пользователи могут использовать информацию о СОХ.

Рассмотрим двух пользователей прогнозов речного стока. Первый пользователь отвечает за объекты, которые очень зависят от того, будет ли достигнут критический паводочный уровень. Вероятности достижения или превышения критического паводочного уровня, равной 0.2, достаточно для начала подготовки к эвакуации.

У второго пользователя есть бизнес, который не так сильно зависит от того, повысится ли уровень вода в реке до критического. Он не готовится к паводку, кроме как в случаях, когда вероятность достижения или превышения критического уровня равна 0.80.
Этим пользователям может быть полезно знать, насколько успешно прогностическая система предсказывает события с вероятностью наступления от 0.20 до 0.80. СОХ может помочь с оценкой разрешающей способности этого прогноза.

Чтобы понять, как следует отвечать на вопросы о разрешающей способности прогнозов, давайте более подробно рассмотрим значение данных на графике СОХ. На оси X отложена вероятность ложного обнаружения события (ВЛОС), а на оси Y – вероятность обнаружения события (ВОС). Для принятия решений относительно того, достигнут или нет прогнозные значения заданный уровень ≥ 200, используется набор возрастающих пороговых значений вероятности прогнозных значений от верхнего правого угла до нижнего левого угла. Каждая точка представляет пороговое значение вероятности прогнозного значения.
Пока что не обращайте внимания на значения ВОС и ВЛОС на осяx X и Y и сосредоточьтесь на вероятностях «прогнозных значений», показанных точками.

Предположим, что пороговое значение 1 в правом верхнем углу – это вероятность 0.20 прогнозного стока, равного или превышающего 200 единиц стока. Далее мы имеем увеличивающиеся вероятности пороговых значений, исходя из чего можем предположить, что пороговые значения 2–4 представляют вероятности прогнозных значений, равные 0.40, 0.60 и 0.80.
Рассмотрим пороговое значение 4, представляющее вероятность прогнозного значения 0.80. Это означает, что прогноз оправдается, т.е. событие с заданным условием стока ≥ 200 единиц произойдет с вероятностью 0.80 или выше.
При вероятности ниже 0.80 считается, что прогноз не оправдается, т.е. ожидается, что событие не произойдет. Итак, вы можете спросить: «Означает ли это, что вероятность наступления события, равная 0.75, считается прогнозом «ненаступления» события?» Да, именно это и означает пороговое значение 4.
Теперь вернемся к значениям на осях X и Y. C помощью таблицы сопряженности 2x2, рассмотренной в разделе 5, с категориями «да/нет» для определения наступления или ненаступления события, мы можем рассчитать ВОС и ВЛОС для порогового значения 4. Прогнозом наступления события является любой прогноз с вероятностью 0.80 и более. Прогнозом ненаступления события является любой прогноз с вероятностью меньше 0.80.

Если мы посмотрим на график, то заметим, что пороговое значение 4 связано с ВОС равной 0.20 и ВЛОС равной 0.10.
Теперь сравним его с пороговым значением 1, которому соответствует вероятность прогноза только 0.2. Это означает, что любой прогноз достижения 200 единиц стока с вероятностью равной 0.20 или выше, считается прогнозом наступления события. Любые прогностические вероятности менее 0.20 считаются прогнозом ненаступления события. Следует ожидать, что ВОС и ВЛОС будут намного выше, чем для порогового значения 4, поскольку в этом случае имеется гораздо больше прогнозов, которые считаются предсказывающими наступление события. ВОС для порогового значения 1 составляет 0.95, а ВЛОС равняется 0.70.
Что можно сказать насчет точек, расположенных в углах? Поскольку пороговая вероятность становится равной 0.0, каждый прогноз считается прогнозом наступления события, поскольку все, что имеет вероятность 0.0 или выше, считается прогнозом наступления события. Когда наступление события прогнозируется наверняка, в таблице сопряженности 2x2 и ВОС, и ВЛОС возрастают до 1. Это точка в правом верхнем углу. Когда пороговая вероятность приближается к 1.0, тогда все прогнозируемые значения находятся ниже порогового значения и считаются прогнозами ненаступления события. В этом случае в таблице сопряженности 2x2 отображается, что ВОС = ВЛОС = 0, и в результате мы получаем точку в нижнем левом углу.

Область под кривой СОХ в направлении к правому нижнему углу можно использовать в качестве числовой оценки. Чем больше эта область, тем выше оценка.

В левом верхнем углу показаны идеальный показатель ВОС, равный 1, и идеальный показатель ВЛОС, равный 0. Идеальный оценочный показатель будет следовать по оси Y из нижнего левого угла в верхний левый угол, а затем в верхний правый угол. Область под кривой СОХ в этом случае равна 1.0.

Показателем высокого уровня мастерства распознавания событий является кривая СОХ проходящая над диагональю. Это свидетельствует об умении отличать события от несобытий. Другими словами, если событие наблюдалось, выпущенный прогноз указывал на то, что событие произойдет. В этом случае область под кривой СОХ изменяется от 0.5 до 1.0.

Прогностическая система не способна распознавать события, когда кривая проходит вдоль диагонали. В этом случае ВОС равна ВЛОС. Это говорит о том, что если событие наблюдалось, прогноз с равной вероятностью указывал или на наступление события, или на ненаступление события. В этом случае область под кривой СОХ равна 0.5.

Отрицательная способность распознавать события наблюдается в том случае, если кривая СОХ проходит ниже диагонали. Это говорит о том, что если событие наблюдалось, то прогноз, вероятнее всего, указывал на ненаступление события. В этом случае область под кривой СОХ изменяется от 0.0 до 0.5.

Здесь представлена кривая СОХ для события, при котором наблюдался максимальный сток. Используя данные этой диаграммы, ответьте на следующие вопросы:
Что говорит кривая СОХ о прогностической вероятности пороговых значений 9 и 10?
Выберите все подходящие варианты.
Правильные ответы – г) и д)
Что говорит кривая СОХ о прогностической вероятности пороговых значений 7 и 8?
Выберите все подходящие варианты.
Правильные ответы – в) и е)
Что говорит кривая СОХ о прогностической вероятности пороговых значений 1 до 6?
Выберите все подходящие варианты.
Правильные ответы – а) и б)

Оценочные критерии и соответствующие диаграммы, представленные в этом модуле, – это только часть всех возможных способов верификации прогнозов. Конкретные оценочные показатели и темы по верификации основаны на руководящих указаниях Группы по системам верификации прогнозов НМС США. Эти оценочные критерии особенно полезны для верификации гидрологических прогнозов. Однако эти критерии широко используются не только в гидрологии.

Основная задача верификации гидрологических прогнозов заключается в том, чтобы, во-первых, оценить эффективность прогностической системы, во-вторых, улучшить эффективность прогностической системы и, в-третьих, иметь возможность сравнить прогностические системы друг с другом.

Прогнозисты и пользователи прогнозов могут иметь разные мотивы для верификации.

Например, пользователь может быть больше заинтересован в точности имеющейся прогностической системы, но его особо не волнует то, как ее можно улучшить или как она работает в сравнении с прогностической системой в каком-нибудь другом месте.

С другой стороны, прогнозист может быть очень заинтересован в улучшении прогнозов, и, поэтому, – в изучении результатов работы других прогностических систем, работающих более эффективно.

У пользователей могут быть самые разные потребности. Некоторых пользователей могут очень интересовать паводки даже небольшой вероятности, и, возможно, они готовы смириться с большей неопределенностью прогнозов.

Других пользователей могут больше интересовать ситуации, когда вероятность паводка высока.

А другие пользователи могут не так сильно беспокоиться о паводках, но их может интересовать эффективность прогнозов изменения стока в пределах нормального диапазона его изменчивости в течение сезона.

По этим причинам верификацию нельзя представить одним общим числом или графиком. Полезная верификация обычно включает в себя набор оценочных критериев, подобранных с учетом конкретных потребностей и характеристик ситуации.

В интерактивной таблице, доступной по ссылке http://www.meted.ucar.edu/hydro/verification/intro_ru/VerifSummaryPage/VerificationSummaryTable.pdf, приводится сводная информация об оценочных критериях, описанных в этом модуле. Для оценочных критериев, связанных с числовыми оценками, в таблице указан диапазон значений, а также оптимальное значение идеальных прогнозов. Для оценочных критериев, представленных в виде диаграмм, таблица содержит простое визуальное напоминание о том, как будет выглядеть идеальная верификация.

В этом модуле основное внимание уделяется величине гидрологических переменных. Поэтому, для примеров мы использовали значения объема стока и уровня воды. Однако мы признаем важность верификации времени наступления гидрологических событий. Например, прогноз величины пикового стока может быть идеальным, но время этого пикового стока может быть спрогнозировано не точно.
Во многих случаях для верификации временных параметров могут применяться такие же оценки. Разницу между прогнозируемым и наблюденным временем пикового стока можно использовать для расчета различных статистических оценок ошибок.