Верификация гидрологических прогнозов: введение

Пример

Сравнение достоверности прогноза с распознавательной способностью прогноза (Пример 1)

Рассмотрим двадцать прогнозов речного стока. Это могут быть двадцать детерминистских прогнозов или ансамблевый прогноз с двадцатью элементами ансамбля. Для простоты мы будем использовать две классификации для прогнозных и наблюденных значений. Первая классификация предназначена для значений стока ниже установленного порогового значения, и мы будем обозначать эти события буквой «L» синего цвета. Вторая классификация предназначена для значений стока, равных или превышающих установленное пороговое значение, и мы будем обозначать эти события буквой «H» красного цвета.

Сравнение достоверности прогноза с распознавательной способностью прогноза (Пример 2)

Теперь перечислим двадцать соответствующих наблюденных значений для этих прогнозных значений. Мы снова используем L и H для обозначения наблюденного стока. Есть два способа сравнения этих прогнозных и наблюденных значений. Один из них – это верификация на основе прогнозных значений, а второй – верификация на основе наблюденных значений.

Сравнение достоверности прогноза с распознавательной способностью прогноза (Пример 3)

Для верификации на основе прогнозных значений разделим прогнозы на две группы. В первой группе будут все прогнозы «L» с соответствующими наблюденными значениями. Во второй группе будут все прогнозы «Н» с соответствующими наблюденными значениями. Теперь мы можем ответить на два важных вопроса.

Вопрос 1: Если прогнозируемый сток вошел в группу «L», каким был соответствующий наблюденный сток? Здесь мы видим, что 8 из 10, или 80% наблюденных значений совпали со значением L. Это свидетельствует о достоверной системе прогнозирования низкого стока L.

Вопрос 2: Если прогнозируемый сток вошел в группу «H», каким был соответствующий наблюденный сток? В этот раз мы видим, что только 4 из 10, или 40% наблюденных значений совпали с прогнозируемыми значениями стока H. Это указывает на то, прогностическая система является не совсем достоверной для прогнозирования высокого стока H.

Сравнение достоверности прогноза с распознавательной способностью прогноза (Пример 4)

Далее мы рассмотрим верификацию на основе наблюденных значений. Снова разделим данные на две группы, сток категорий L и H, но на этот раз на основе данных наблюдений. Итак, в первую группу попадут все наблюденные значения стока L и соответствующие им прогнозные значения. Во вторую группу попадут все наблюденные значения стока H и соответствующие им прогнозные значения. Теперь мы можем задать следующие два вопроса.

Вопрос 1: Если наблюденный сток вошел в группу «L», каким был соответствующий прогнозный сток? Мы видим, что только 8 из 14, или 57% прогнозных значений совпали с наблюденными. Таким образом, прогностическая система сработала немного лучше, чем 50-50, при различении условий низкого стока.

Вопрос 2: Если наблюденный стока вошел в группу «H», каким был соответствующий прогнозный сток? В этом случае 4 из 6, или 67% прогнозных значений совпали с наблюденными.

Достоверность
При прогнозируемом стоке, равном    Процент соответствующих наблюденных значений, совпавших с прогнозными значениями
L 80%
H 40%
Распознавательная способность
При наблюденном стоке, равном    Процент соответствующих прогнозов, правильно предсказавших результат
L 57%
H 67%

Так что это значит? В этом случае прогностическая система показала достоверный результат, спрогнозировав сток L. Другими словами, если прогнозировался сток L, вероятность того, что наблюденное значение стока будет соответствовать L, составляла 80%. Однако прогностическая система также не распознала сток L. Если наблюденное значение стока относилось к L, вероятность того, что соответствующий прогноз предсказал сток L, составляла всего 57%.

Для стока H прогностическая система была менее достоверной, чем для прогнозов стока L. Только 40% прогнозных значений стока H совпали с наблюденными значениями стока H. Однако прогностическая система довольно хорошо справлялась с распознаванием стока H. Если наблюдалось значение стока H, тогда соответствующий прогноз предсказывал сток H в 2 из 3 случаев.

Это был простой пример всего с двумя категориями. В действительности, ряд наблюдений может содержать много категорий, включающих значения стока от минимально до максимально возможных. Верификация условного прогноза усложняется, но смысл достоверности прогноза и распознавательной способности прогноза остается таким же, как и для простой системы с двумя категориями.