Reproduzierbare Ergebnisse fallen nicht vom Himmel

Unabhängig entwickelte Software – übereinstimmende Ergebnisse

11.04.2016 - Deutschland

Wissenschaftler des IFW Dresden haben gemeinsam mit Kollegen aus mehr als 30 Universitäten und Instituten untersucht, wie gut die Ergebnisse quantenmechanischer Simulationen von Materialeigenschaften übereinstimmen, wenn sie mit unterschiedlicher, unabhängig programmierter Software durchgeführt werden. In einer online durchgeführten Zusammenarbeit zeigen sie, dass die neuesten Software-Versionen übereinstimmende Ergebnisse liefern, im Gegensatz zu älteren Verfahren.

Reproduzierbare Ergebnisse fallen nicht vom Himmel

Dies ist ein Grundpfeiler der Wissenschaft: unabhängig durchgeführte Experimente sollten bei gleichartiger Ausführung übereinstimmende Ergebnisse liefern. Nur unter dieser Voraussetzung kann die Wissenschaft “Gesetze” finden, die zu neuen Einsichten und möglicherweise auch zu neuen Technologien führen. Einige neue Studien haben jedoch gezeigt, dass eine solche Reproduzierbarkeit nicht immer selbstverständlich ist. In so verschiedenen Gebieten der Wissenschaft wie Psychologie und Genetik gab es Fälle, in denen die Wiederholung früherer Experimente sehr unterschiedliche Ergebnisse lieferte. Auch Vorhersagen durch Computersimulationen müssen immer kritisch geprüft werden, denn deren konkrete Ergebnisse hängen davon ab, wie die untersuchten theoretischen Modelle in einer numerischen Software implementiert sind. Dies ist ein Sorgenpunkt in jedem Forschungsgebiet, welches Computersimulationen verwendet. Zum Beispiel gibt es für die theoretische Untersuchung von Materialien viele verschiedene, voneinander unabhängig programmierte quantenmechanische Software-Pakte. Diese werden neuerdings oft in automatischen Reihenuntersuchungen verwendet, wobei Teilergebnisse nur stichprobenartig durch die Wissenschaftler geprüft werden können. Deshalb ist es hochwichtig zu wissen, in welchem Maß simulierte Materialeigenschaften von der verwendeten Software abhängen.

Experten arbeiten online zusammen

Ungeachtet des Bedarfs an zuverlässiger Simulation von Materialeigenschaften wurde die Abhängigkeit quantenmechanischer Verfahren von der verwendeten Software bisher nicht systematisch untersucht. Dies liegt hauptsächlich daran, dass es keinen einzelnen Menschen gibt, der alle existierenden Software-Pakete bedienen kann. Wissenschaftler des IFW Dresden haben deshalb ihr Know-how mit mehr als 60 Kollegen aus über 30 prominenten Instituten gebündelt. Dieses Team untersuchte 40 verschiedene Methoden, um den Einfluss von Druck auf 71 verschiedene Kristalle zu beschreiben. Wegen der internationalen Zusammensetzung des Teams wurden Diskussionen und Zusammenarbeit hauptsächlich mit online-Werkzeugen durchgeführt, ähnlich der Art und Weise, in der die Autoren der Wikipedia zusammenarbeiten.

Das Team hat gezeigt, dass die mit unterschiedlicher Software erzielten Ergebnisse nur dann äquivalent sind, wenn moderne Versionen der jeweiligen Software verwendet werden. Dazu gehört auch ein am IFW Dresden entwickeltes Verfahren mit zirka 600.000 Programmzeilen. Die Autoren der Studie schlagen des Weiteren ein Qualitätskriterium vor, das die Bewertung zukünftiger Software bezüglich der geschaffenen großen Datenbasis erlaubt. Neue Testdaten werden kontinuierlich zur öffentlich verfügbaren Website hinzugefügt. Die beteiligten Forscher hoffen, dass ihre Arbeit zu höheren Standards für die Simulation von Materialeigenschaften beitragen und die Entwicklung besserer Simulationsverfahren fördern wird.