Bis der Elefant mit dem Rüssel wackelt!

Dies ist der Titel eines Beitrags vom 4.5. auf dem Blog des Fachmagazins LaborJournal. Pikanterweise wurden in diesem Magazin vor einem Jahr die Herren Drosten und Landt gefeiert (s. Wirtschaftliche Interessen des Prof. Drosten). Nun findet sich dort eine Abrechnung mit den „ModelliererInnen“:

» Modellierer sind momentan ja sehr gefragt. Wir lesen ihre Arbeiten in Nature und Science, man lauscht ihnen bei Markus Lanz und Konsorten, sie beraten Politiker und rechnen für nationale Akademien.

Ein Wunder ist das nicht, schließlich versprechen ihre Formeln und Modelle nicht weniger als die Aufklärung komplexer Zusam­menhänge. Sie sagen uns, was passieren könnte, wenn wir gewisse Dinge tun oder lassen. Auch erklären sie uns, welche Maßnahmen zur Pandemie­bekämpfung wirksam sind – und welche nicht. Häufig mahnen sie und belegen ihre eigenen Empfehlungen mit konkreten Zahlen.

Genauso wünscht man sich doch Hand­reichungen aus der Wissenschaft. Die Politik bekommt Argumente für ihre Entscheidungen – und Bürger sehen ein, warum die Schule schließen muss oder das Geschäft die Türe wieder öffnen darf.

Modellierer sind auf vielen Feldern schon länger recht erfolgreich. Ein Parade­beispiel hierfür ist der Wetterbericht. Mit im Mittel etwa siebzig Prozent Treff­sicherheit gelingt es den Meteorologen, das Wetter der nächsten sieben Tagen vorherzusagen…

Ein anderes schönes Beispiel für erfolgreiche Modellierungen kommt aus der Geophysik. Ausbrüche von Vulkanen lassen sich überraschend gut vorhersagen…

Aber selbst diese Modellierer liegen oft daneben. Dann ärgern wir uns, vor dem Regen nicht gewarnt worden zu sein. Und so mancher Vulkan will trotz eindringlicher Warnungen einfach nicht ausbrechen.

Wie aber steht es angesichts dessen um die Vorher­sagekraft und somit um die Nützlichkeit der so allgegen­wärtigen Modellierungen in der Pandemie? Leider gibt es mittlerweile eine Menge Hinweise darauf, dass es damit nicht zum Besten steht. Die Modellierer sind offensichtlich so sehr mit dem Generieren neuer Modelle beschäftigt, dass sie kaum dazu kommen, die Güte und das Eintreten ihrer Vorhersagen zu analysieren.

Dies hat man offensichtlich den Journalisten überlassen.«

Wie bei Horoskopen

»So analysiert etwa ein Artikel in der Tageszeitung Die Welt (Literatur­zitate wie immer bei http://dirnagl.com/lj) die wichtigsten Vorhersagen aus dem Umfeld von Deutschlands prominentester Modelliererin, Viola Priesemann (siehe auch LJ 12/2020: 14-17). Dabei zeigt sich zum einen, dass die meisten Schluss­folgerungen aus den Modell­rechnungen sehr vage verfasst waren. Wie bei Horoskopen passten sie damit zu jedem Verlauf. Und dort, wo konkrete Zahlen vorhergesagt wurden, sind diese sehr häufig nicht eingetreten. Es sei denn, es handelte sich um Triviales, wie die Vorhersage eines weiteren Anstieges am Anfang eines bereits deutlich sichtbaren Verlaufes…

Auch für die Modelle des Imperial College in London (ICL) [gilt:] Diese hatten großen Einfluss auf die Pandemie­maßnahmen der englischen Regierung. Auch hier lagen die Vorhersagen häufig extrem daneben. Der australische Mathematiker Vincent Chin und andere konnten außerdem zeigen, dass verschiedene publizierte Modelle des ICL zu ganz unter­schiedlichen Resultaten kommen, wenn man sie auf die gleichen Länder loslässt. Was die Londoner selbst bezeich­nenderweise nicht gemacht hatten.

Ist dies alles überraschend? Deutet es darauf hin, dass die Pandemie-Modellierer ihr Handwerk nicht recht verstehen?

Im Gegensatz zu den Meteoro­logen basieren ihre Model­lierungen auf schlechten oder sogar nicht-vorhandenen Daten, also bloßen Annahmen. Dies gilt sowohl für die Corona-Inzidenzen wie auch viel mehr noch für die Auswirkungen nicht-pharmako­logischer Interventionen. Außerdem hängt alles entscheidend davon ab, ob und wie die Maßnahmen in der Bevölkerung dann tatsächlich umgesetzt werden. Bei einer höchst unsicheren Datenlage, wie sie zum Beispiel allein schon durch die sich ständig ändernden Testkapa­zitäten und -raten, insbesondere am Anfang einer Pandemie, vorkommt, ist es unabdingbar, diese elementare Fehler­behaftung kritisch zu berücksichtigen.

Datenfehler pflanzen sich fort, das lernt man spätestens im Physik-Praktikum. Und sie tun das umso mehr, wenn sie in komplexe, multipara­metrische Modelle und Wachstums­verläufe eingehen. Dazu kommen jede Menge nicht vorher­sehbarer Einfluss­größen – wie etwa das Auftreten von Virusmutanten mit veränderter Infektiosität oder Letalität, die Effektivität von Vakzi­nierungen oder auch unvermeidliche Rück­koppelungs- und Selbst­regulierungs­mechanismen, weil die Vorhersagen sich ja ihrerseits bereits auf das Verhalten der Bevölkerung auswirken.

In Anbetracht all dessen ist die oft propagierte Pseudo­genauigkeit der Modellierungs­ergebnisse schlichtweg vermessen. Es ist, als würde man mit Kanonen – nämlich komplexen, multipara­metrischen Model­lierungen – auf Spatzen – also auf grob fehler­behaftete und nicht-valide Daten­grundlagen – schießen…

Ein weiterer wichtiger Grund für das Versagen der Modelle ist, dass deren Annahmen ja durch die in der Pandemie angeordneten Maßnahmen modifiziert werden. Dies ist sogar ein erwünschter Effekt, schließlich erheben die Modellierer genau deswegen häufig ihren Zeigefinger. Allerdings wäre das gerade so, als wenn sich das Wetter in Abhängigkeit davon ändern würde, ob wir einen Regenschirm aufspannen oder nicht. Dann würde auch der Wetterbericht nicht mehr funktionieren.

Hinzu kommt, dass Modellierungs­studien in der Regel weder Studien­protokolle vorab veröffentlichen noch präregistriert werden – wie dies eigentlich heutzutage für qualitativ hochwertige Studien selbst­verständlich sein sollte. Damit ist einem Herum­probieren, „bis es passt“, Tür und Tor geöffnet…

Vielleicht besteht aber der eigentliche Nutzen der Pandemie-Modellierungen darin, Worst-Case-Szenarien wissen­schaftlicher erscheinen zu lassen – und damit einschneidende Maßnahmen für die breite Masse einleuchtender und akzeptabler zu machen. Diese also wissen­schaftlich zu bebildern. Das ist aber eine gefährliche Strategie: Zum einen, weil Vorhersagen, die daneben­liegen, ihre Überzeu­gungskraft verlieren – zum anderen, weil die Modelle ja behaupten, die Nützlichkeit oder Schädlichkeit bestimmter Maßnahmen und Verhaltens­weisen zu „objektivieren“. Wie zum Beispiel Schul­schließungen, Ausgangs­sperren oder Abstandsregeln. Wenn die offen­sichtlichen und teils schwer­wiegenden Limitationen der Modelle nicht erkannt oder berücksichtigt werden, sie aber dennoch die Grundlage für unser Handeln in der Pandemie liefern – dann läuft etwas schief…

John von Neumann, Mathematiker, Physiker und Computer-Pionier, wird mit dem Bonmot zitiert: „Mit vier Parametern kann ich einen Elefanten fitten, und mit fünf ihn mit dem Rüssel wackeln lassen.“ Wenn mit Rüssel-wackelnden Elefanten und dem Gestus mathematisch-physikalischer Autorität Politik­beratung gemacht wird, ist das nicht ohne Risiko.«

Eine Untermauerung der Thesen gibt es im eigentlichen Magazin mittels eines Gesprächs mit Fachleuten unter der Überschrift „Es fehlt noch gewaltig an Daten„.

Author: aa