Laborjournal 2019-05

| 5/2019 24 Serie Saublöd. Ein Riesenaufwand. Knockout-Mauslinie herstellen lassen. In Background-Linie und dann in zehn Generationen vonWurfgeschwis- tern gekreuzt. Die vielen Genotypisierungen. Und dann erst die Expe- rimente im Krankheitsmodell: Magnetresonanztomographie, Histolo- gie, Verhaltensuntersuchungen. Am Ende: Kein Phänotyp! Die Knockout-Maus scheint eine Maus wie jede andere. Selbes Resultat, kein Unterschied zumWildtyp. Aber halt! Es muss natürlich heißen: Kein statistisch signifikanter Unterschied zumWildtyp. Wir können also nicht mal sagen, dassWild- typ gleich Knockout – sondern nur: Wenn da ein Unterschied wäre, ist er wohl kleiner als die detektierbare Effektgröße – abhängig von Stichprobengröße, Fehlerniveau (also alpha und beta) sowie der Va- rianz unserer Ergebnisse. Dabei hatten wir die Serie von Experimenten gut vorbereitet: Die Fallzahl wurde a priori bestimmt – und so gewählt, dass wir einen Unterschied von einer Standardabweichung hätten finden können. Statistiker sagen dazu Cohen’s d = 1 , was als substanzieller Effekt gilt. Und mehr Tiere als 34 (!) waren nicht drin.Wäre sonst alles zu aufwendig und würde zu lange dauern – für die Dokto- randin, und auch für den DFG-Antrag. Was nun? Publizieren? Ist doch ein Null-Resultat! Wie sieht das im Lebens- lauf aus? Außerdem: Wen interessiert das schon? Und welches reputierliche Journal würde das überhaupt publizieren? Etwas in dieser Art – nicht notwendigerweise mit Knockout-Mäu- sen – spielt sich vermutlich in vielen Laboren weltweit durchaus häufig ab: Resultate von Experimenten, die sauber durchgeführt werden, aber nicht zur Ablehnung der Null-Hypothese taugen – und deshalb in der Schublade verschwinden. Ein Riesenfehler, denn eigentlich sollten wir unsere Null-Resulta- te lieben wie unsere hoch signifikanten! Aber ist das nicht Blödsinn? Ein Resultat, das uns einen Schritt nä- her zur Heilung der Alzheimer-Erkrankung oder von Brustkrebs führt, ist doch viel toller als eine Null ? Zumal wir mit der Null nicht einmal sagen können:„Da ist kein Effekt!“ Vergleichen wir das Ganze mal mit den Entdeckungsreisen von Christoph Columbus. Amerika zu entdecken, das war doch ein signi- fikantes Ergebnis – viel toller, als auf dem Ozean rumzueiern und nur endloses Wasser zu sehen. Aber halt! Um eine Seekarte zu erzeugen, mit der man sich zur Entdeckung fremder Länder aufmacht, muss man auch wissen, wo keine Inseln und keine Untiefen sind. Ohne solch eine Karte, die die Seefahrer vor Columbus angelegt hatten, wäre dieser gar nicht losgesegelt. Und im übrigen wollte er ja den Seeweg nach Indi- en entdecken! So gesehen war er also nicht erfolgreich – und sein Er- gebnis falsch-positiv, denn er dachte bis zu seinem Tod, den Seeweg nach Indien entdeckt zu haben. Nochmals zurück zum Experiment, das den Schlüssel zur Heilung der Alzheimer-Erkrankung bringen könnte – und demVergleichmit ei- nemExperiment ohne statistisch signifikantemErgebnis. Mal ganz ehr- lich: Wie viele dieser weltverändernden Resultate kann es überhaupt geben? Und wie wahrscheinlich ist es, dass es dann auch noch wir sind, die diesen Jackpot gewinnen? Nicht Null, aber gering. Ist es so gese- hen nicht beruhigend, wenigstens dazu beigetragen zu haben, dass die „Karte“ der Biologie etwas genauer geworden ist – inklusive dem, was da so alles schiefgehen kann (Wir nennen das „Krankheitsmechanis- men“)? Und dass wir nun alle ein bisschen besser„navigieren“ können? Zumal noch dazukommt, dass wir das statistisch signifikante Resul- tat in der Regel hinsichtlich seiner wahren Signifikanz überschätzen! Der p-Wert, der signifikante , kann uns nämlich nicht sagen, wie wahr- scheinlich es ist, dass wir mit unserer Hypothese tatsächlich richtig lagen. Genauso wenig wie uns das Null-Resultat etwas darüber sagt, ob die Hypothese falsch war. Dies liegt daran, dass wir nicht wissen, wie wahrscheinlich die Hypothese überhaupt war. Und ebenso an der meist zu geringen statistischen Pow- er. Mit genügend groß angelegten Ex- perimenten kann man nämlich jeden Vergleich statistisch signifikant wer- den lassen. Oderman kannumgekehrt mit zu kleinen Fallzahlen die Null-Hy- pothese niemals ablehnen müssen. Was die Hypothesen selbst an- geht: Viele unserer Hypothesen sind (hoffentlich!) sowieso recht unwahr- scheinlich. Denn sonst wärenwir lang- weiligeWissenschaftler. Undwenn die Hypothesen unwahrscheinlich sind, nimmt die Rate der falsch-positiven Resultate rasant zu – trotz statistischer Signifikanz. (Wem das jetzt spanisch vorkommt, dem sei mein närrischer Beitrag „Wie originell sind eigentlich Ihre Hypothesen?“ in Laborjournal 4/2017, Seiten 24 bis 25, empfohlen.) Experimentelle Studienmüssen al- so derart angelegt sein, dass die Er- gebnisse auch dann interessant, das heißt informativ sein müssen, auch wenn die Null-Hypothese nicht ab- gelehnt wird. Der Fokus sollte dabei nicht auf der statistischen Signifikanz des Resultats liegen – sondern statt- Liebe Dein Null-Resultat nicht weniger als Dein statistisch signifikantestes... Einsichten eines Wissenschaftsnarren (20) Foto: BIH/Thomas Rafalzyk Ulrich Dirnagl leitet die Experimentelle Neuro- logie an der Berliner Charité und ist Gründungsdirektor des QUEST Center for Transforming Biome- dical Research am Berlin Institute of Health. Für seine Kolumne schlüpft er in die Rolle eines „Wis- senschaftsnarren“ – um mit Lust und Laune dem Forschungsbe- trieb so manche Nase zu drehen. »Columbus war nicht erfolgreich – und sein Ergebnis falsch-positiv.« ... – denn es ist oftmals wichtiger, als viele denken!

RkJQdWJsaXNoZXIy Nzk1Nzg=