Laborjournal 2018-01/04

4/2018 | 37 SERIE tels Immunhistochemie nachgewiesen. Bes- ser noch: Dessen Blockade bewirkt einen sta- tistisch signifikanten Unterschied zur Kont- rollgruppe! In der Literatur findet unser Forscher, dass der Signalweg schon in einemanderen Krank- heitsmodell beschrieben wurde – auch dies eine gute Nachricht. Er biegt daraufhin links ab, und es ist geschafft: Er kann das Labyrinth verlassen. Nach vielen kompetent durchge- führten Experimenten, einer Vielzahl von sta- tistisch signifikanten Vergleichen sowie ganz ohne p-Hacking (Multiple statistische Tests, bis einer davon signifikant wird) oder HAR- KING ( Hypothesizingafter the results are known ) wartet der Preis auf ihn: ein Artikel in einer angesehenen Zeitschrift. Gute Forschung führt uns also durch das Labyrinth komplexer Biologie! Will der Narr nun wieder den Spielverderber geben? Zumindest möchte ich auf ein vertrack- tes Problemhinweisen. Auf seinemWeg durch das Labyrinth geht der Forscher induktiv de- terministisch vor. Er bemerkt gar nicht die vie- len Freiheitsgrade, die ihm zur Verfügung ste- hen. Diese ergeben sich zum Beispiel durch alternative Analysen oder Interpretationen der Experimente. Oder durch zufällig entste- hende falsch positive oder falsch negative Er- gebnisse. Oder auch durch die Auswahl eines anderen Artikels als Basis weiterer Experimen- te und Interpretationen. Das Labyrinth ist näm- lich unendlich groß! Es gibt nicht nur einen Weg hindurch, sondern viele – und auch sehr viele Ausgänge. Da unser Forscher aber explorativ vorgeht, hat er vorab keine Regeln aufgestellt, nach de- nen er seine Analysen durchführt oder weite- re Experimente plant. Er merkt also nichts von den vielen anderen möglichen Ergebnissen, denn er folgt ja einer Spur, die er selber legt. Das Problem dabei: Dadurch überschätzt er die Stärke der Evidenz, die er generiert! Ins- besondere überschätzt er, was ein signifikan- ter p-Wert auf seiner explorativenWanderung bedeutet. Eigentlich müsste er nämlich seine Resultate mit allen anderen möglichen Ana- lysen und Interpretationen vergleichen, die er alternativ hätte durchführen können. Ein absurder Vorschlag, das geht natür- lich nicht. Frei nach dem amerikanischen Ba- seball-Philosophen der NewYorkYankees,Yogi Berra (1925-2015), müsste der Forscher, wenn er an die Gabelung kommt, diese nehmen! In Borges‘ Garten der sich verzweigenden Pfa- de hieße dies, immer gleichzeitig nach links und nach rechts abzubiegen! Deshalb gilt im Garten der sich verzwei- genden Pfade nicht mehr die klassische Defi- nition der statistischen Signifikanz (etwa p < 0.05). Diese lautet da: DieWahrscheinlichkeit, rein zufällig und in Abwesenheit eines Effekts ein ähnlich extremes oder noch extremeres Ergebnis zu beobachten, ist kleiner als fünf Prozent! Manmüsste nämlich über alle Daten und Analysen mitteln, welche Ergebnisse im Garten der sich verzweigenden Pfade mög- lich gewesen wären. Jeder dieser anderen Wege hätte schließlich ebenfalls zu statistisch signifikanten Ergebnissen führen können. Solch einVergleich ist bei explorativer For- schung natürlich unmöglich.Wennman trotz- demp-Werte generiert, erhält man daher nach Gelman und Loken eine „Maschine zur Pro- duktion undVeröffentlichung von Zufallsmus- tern“. Und dies wohlgemerkt, obwohl die pu- blizierten Analysen der Forscher absolut kon- gruent sind – mit den Hypothesen, die deren Experimente motiviert hatten. Was folgt aus diesen nur scheinbar eso- terischen Überlegungen? Keinesfalls sprechen sie gegen Exploration, das lustvolleWandern durch den Garten der sich verzweigenden Pfa- de! Allerdings folgt daraus, dass die auf die- ser Wanderung gepflückten Früchte unserer Erkenntnis weniger robust sind, als uns die Kette von statistisch signifikanten Ergebnis- sen glauben macht. Und in weiterer Konse- quenz bedeutet dies, dass die Verwendung von Teststatistiken bei Exploration wenig hilf- reich ist – daher eigentlich überflüssig, wenn nicht sogar irreführend. Auf eine Reihe von weiteren gewichtigen Argumenten für mehr Skepsis gegenüber un- seren eigenen Ergebnissen, wie auch auf die Irrungen undWirrungen bei der Verwendung von statistischen Tests hat der Narr an dieser Stelle bereits früher hingewiesen ( LJ 4/2017). Dennoch auch hier nochmals der Tipp: Ein gu- ter Führer durch das Labyrinth ist die Konfir- mation – also ein geplantes, in Vorgehen und Analyse vorbestimmtes Experiment mit aus- reichender Fallzahl. Die hier zitierte Literatur findet sich wie im­ mer unter: http://dirnagl.com/lj ANALYTICA 2018 Visit us at Booth 500 in Hall A3 »Teststatistiken sind bei explo- rativer Forschung überflüssig, wenn nicht sogar irreführend.«

RkJQdWJsaXNoZXIy Nzk1Nzg=