In diesem Beitrag wollen wir schauen, welche der auf kachelmannwetter.com angebotenen Wettermodellvorhersagen im Dezember 2017 die Nase vor hatten. Dazu werden alle Vorhersagemodelle ständig von den Modellexperten von Kachelmannwetter ausgewertet.

Bezugsgebiet ist Mitteleuropa, bzw. genauer gesagt die SuperHD-Domain, siehe: [kachelmannwetter.com]
Es wurden jeweils alle verfügbaren Prognosen mit Vorhersagelängen von 6-54h herangezogen. Grund für die Abschneidung bei 54h ist, dass dort einige Modelle wie z.B. Britain HD (Euro4) aufhören und außerdem bei dieser Form der Verifikation der Fokus auf „ganzheitlicher“ Modellgüte liegt, weniger auf der reinen Druckentwicklung. Bei Mittelfristverifikationen sind z.B. korrekte Temperaturwerte oder Niederschlagswerte extrem von der korrekten Druckentwicklung abhängig, wodurch keine direkte Aussage mehr über das zugrunde liegende Modell getroffen werden kann bzgl. Temperatur, Wind, Schnee usw..

Die automatische Verifikation läuft für alle gängigen Bodenparameter, die da wären: 
TL=2m Temperatur
TD=2m Taupunkt
FF=10m Mittelwind
G1h=Böen letzte Stunde
GL1h=Globalstrahlung 1h
Sh=Sonnenscheindauer 1h
QFF=Bodendruck auf Meereshöhe
TN=Minimumtemp. letzte 12h
TX=Maximumtemp. letzte 12h
SNO=Schneedecke
RR12=12h Niederschlag
RR24h=24h Niederschlag

Die im Folgenden aufgelisteten Tabellen mit den Gütemaßen (engl. Skill Scores) umfassen folgende Maßzahlen:
BIAS=systematische Über- oder Unterschätzung durch die Prognose; Idealwert=0
MAE=mean absolute error, mittlerer absoluter Fehler; Idealwert=0
RMSE=root mean square error, Wurzel der aufsummierten quadratischen Abweichungen; Idealwert=0
CORREL=Korrelation zwischen allen Vorhersage- und Messwerten; Idealwert=1 (CORREL01 ist eine leicht abweichende Berechnung nur für den Wertebereich >0)
FSS1=fractional skill score, wieviel Prozent der Prognosewerte sind im engen Qualitätsband; Idealwert=1 (100%)
FSS2=fractional skill score, wieviel Prozent der Prognosewerte sind im weiteren Qualitätsband (doppelte Breite als bei FSS1); Idealwert=1 (100%)

Am Ende wird aus allen Einzelscores (Bias, MAE usw.) der Composite Score (kurz: SCORE) berechnet. Dieser ist parameterspezifisch gewichtet und eliminiert Berechnungsartefakte, die z.B. bei prozentualen Abweichungen von sehr geringen Niederschlägen vorkommen können. Außerdem ist er viel stabiler als z.B. eine reine RMSE-Betrachtung, wie es nach wie vor vielerorts Standard ist. Hintergrund ist, dass z.B. der RMSE beim Niederschläg oder Windböen Prognosen bevorzugt, die sehr konservativ sind und im Sommer z.B. lieber keine Schauer/Gewitter anzeigen anstatt etwas „zu riskieren“. Dafür ist z.B. die Korrelation gut geeignet, allein aber zu fragil.

Das Ranking erfolgt dann nach dem SCORE in der Spalte RANK. Der maximale Composite SCORE beträgt 10, der minimale -10, wobei alles unter 0 schon katastrophale Fehlprognosen sind.

Nun zu den Parametern.
TL=2m Temperatur
Erwartunsgemäß liegt hier das SuperHD (Schweizer Flagge) mit seinem Ensemble-Pendant ganz vorn. Das deutsche HD und Rapid folgen auf den Plätzen.
Das kanadische GEM ist im Winter viel zu kalt (im Mittel -1.65 K), dadurch landet es abgeschlagen auf dem letzten Platz. Aber auch ECMWF (Euro), GFS, Hirlam (Niederlande) sind im Mittel nicht sonderlich gut, vor allem im Gebirge. Zu Brasilien weiter unten mehr. 

TD=2m Taupunkt
Hier sieht es leicht anders aus, vor allem weil das SuperHD/SwissHD zu niedrigen Taupunktwerten tendiert (Bias!) und dadurch im Mittelfeld liegt (Im Winter). Hier sticht vor allem das Euro4 (UK) heraus, auch das RapidHD ist sehr gut — wobei dieses auch immer nur bis +27h geht und entsprechend bei allen Parametern einen (etwas unfairen) Vorteil gegenüber den anderen hat. 

FF=10m Mittelwind
Keine allzu große Streuung hier, Rapid HD wieder vorn u.a. dank halbiertem Prognosehorizont.

G1h=Böen letzte Stunde
Eine klare Angelegenheit: nach SuperHD und 4×4 (und Rapid) kommt lange nichts. Auf den letzten Plätzen Australien und ECMWF, die allerdings auch nur 3h-Böen liefern, wodurch sich ein leichter Nachteil ergibt. Beim BIAS sieht man aber, dass das ECMWF hier grundsätzlich ein Problem hat. 

GL1h=Globalstrahlung 1h
Interessanterweise liegt hier ebenfalls das SuperHD ganz vorn. Es hat zwar gerne mal etwas zu viel Wolken im Gepäck bei neutraler Schichtung, aber gerade mit den Hochnebeltagen hatten andere Modelle mehrheitlich größere Probleme.
Australien und Kanada laufen hier außer Konkurrenz, da sie nur 3h-Summen also GL3h liefern, das muss man einfachmal ignorieren in der Tabelle.

Sh=Sonnenscheindauer 1h
Ähnlich wie bei der Globalstrahlung, aber nur wenige Modelle verfügbar. SuperHD im Mittel mit der geringsten Überschätzung und dem mit Abstand am besten MAE. Allerdings ist der Abstand zu Platz 3 relativ gering im Composite Score, das zeigt, dass der MAE hier allein kein guter Indikator ist (wird auch subjektiv unterstützt, wo das deutsche HD doch recht gut ist).

QFF=Bodendruck auf Meereshöhe
Hier gibt es einen Bruch nach Rapid HD und dann nochmal nach dem SuperHD. Rapid HD dank kurzer Prognoselänge vor ECMWF, was sonst die Krone auf hat beim Druck. Hirlam mit konsequenter Unterschätzung, Brasilien wie fast überall mit großen Problemen. Ein 6er Score beim Druck ist schon außergewöhnlich schwer zu erreichen. Alles über 8.5 ist generell gut.

TN=Minimumtemp. letzte 12h
Nach dem deutschen Globalmodell (6.44) kommt länger nichts, Rapid und SuperHD deutlich vorn. ECMWF deutlich zu kalt, Australien zu warm.

TX=Maximumtemp. letzte 12h
Deutlicher Unterschied zum Tmin: SuperHD allein vorn, Rapid deutlich weiter unten. GermanHD wie fast bei allen Parameters auf dem Treppchen.

SNO=Schneedecke
Klare Domäne von SuperHD und RapidHD. Nach dem deutschen HD erstmal eine Weile nichts. ECMWF mit zuviel Schnee im Mittel, vor allem in mittleren Höhenlagen sowie in den Alpen in der ersten Dezemberhälfte deutlich zu hoch. Hirlam indiskutabel, Euro4 auch eher mau, vor allem zum Modellstart Panne. 

RR12=12h Niederschlag
Jetzt kommt der knifflige Teil. Eine Punktverifikation wie diese ist bzgl. Niederschlag eine heikle Angelegenheit. Zum einen sind hoch aufgelöste Modelle bei bestimmten Staulagen klar im Vorteil, andererseits sind sie es, die bei leicht verschobenen Schauerbändern oder schmalen Fronten massiv Abzug bekommen, während globale/grobe Modelle hier dank „verschmierter“ Niederschlagsgebiete weniger anfällig sind. 
Auch hier gibt es eine 2-Klassen-Gesellschaft: die guten Modelle bis einschließlich GermanHD (6.55) unterscheiden sich im Mittel nicht so sehr, mal ist jenes besser mal das andere. ECMWF sehr gut, SuperHD auch (vor allem das Ensemble-Mittel auf Platz 1), die deutschen Modelle generell auch. 

RR24h=24h Niederschlag
Ähnlich dem 12h-Niederschlag, aber im oberen Teil geringere Abstände, während die 2. Garde (alles ab GFS) stärker abfällt. 
Noch eine Anmerkung zum Bias bei Niederschlag im Winter: die recht hohen Überschätzungen bei quasi allen Modellen sind z.T. auch auf Messfehler bei Schneefall zurückzuführen, welche hierfür nicht korrigiert wurden (u.a. weil das grundsätzlich schwer bis unmöglich ist, Stichwort Heizung). Die ca. +16% beim SuperHD (3.16 Modell vs. 2.73 Messung) sind dann schon recht gut, wenn man im Mittel 10% Messfehler abzieht. 

Zusammenfassend kann man sagen: 
– es gibt nur wenige Modelle, die überall gut sind: das deutsche HD sowie SuperHD (mit Abstrichen beim zu niedrigen Taupunkt) und BritainHD (Euro4) (mit Problemen bei der Schneedecke, im Sommer hat es noch weitere…).
– Rapid schneidet grundsätzlich gut ab (außer beim Tmax), was aber zum Teil an der gerade einmal halben Prognoselänge (27h ggü. 54h bei den anderen) liegt. Aber auch sonst wäre es vorn mit dabei, aber seltener auf Platz 1.
– ECMWF fällt vor allem bei den Böen und der Schneedecke negativ auf. Bei der Temperatur und dem Taupunkt ist es vor allem im Gebirge nicht gut, Druck und Niederschlag sind ausgezeichnet.
– subjektiv gibt es vor allem bei den hoch aufgelösten Modellen noch weitere Stärken, die in so einer automatischen Verifikation nur unzureichend bis gar nicht erfasst werden können. Z.B. das Schauerpotenzial oder Blitze ja/nein, da ist z.B. das SuperHD „gefühlt“ deutlich vor Rapid, Euro4 im Winter auch oft nicht schlecht. Auch die Niederschlagsphase kann hiermit nicht verifiziert werden.