4 Datenerhebung

Eine der Kernaktivitäten im Forschungsprozess ist die Datenerhebung. Letztendlich entscheiden die erhobenen Daten darüber, inwiefern eine Forschungsfrage beantwortet werden kann und wissenschaftliche Erkenntnisse gewonnen werden können.

Sorgfaltspflicht bei der Datenerhebung

Die Qualität der erhobenen Daten entscheidet darüber, inwieweit eine aussagekräftige Datenanalyse überhaupt erst möglich ist. Darum muss die Datenerhebung mit hoher Sorgfalt durchgeführt werden.

In der psychologischen Grundlagenforschung bedeutet die Datenerhebung, dass Versuchspersonen im Labor an einer Forschungsinstitution oder online an einem beliebigen Ort übers Internet ein Experiment durchführen. Bei der Datenerhebung sind demzufolge mindestens drei Personen bzw. Gruppen von Personen von grosser Bedeutung:

die Versuchspersonen, die am Experiment teilnehmen
die Versuchsleitung (Versuchsleiterinnen und Versuchsleiter), die das Experiment durchführt und die Versuchspersonen testet
die Projektleitung (Projektleiterinnen und Projektleiter), welche den Forschungsprozess überblickt und die relevanten Entscheidungen trifft

Dieses Kapitel geht zuerst auf die Rollen dieser drei Personengruppen ein. Anschliessend geht dieses Kapitel auf das Testen der Versuchspersonen (im Labor und online) ein.

4.1 Versuchsperson, Versuchsleitung und Projektleitung

In diesem Unterkapitel wird erstens auf den Umgang mit Versuchspersonen eingegangen. Dann werden die unterschiedlichen Pflichten behandelt, die mit der Versuchsleitung und Projektleitung assoziiert sind. Die Pflichten von Personen, welche eine indirekte Rolle bei Forschungsprojekten haben (z.B. Personen der Ethikkommission), werden hier nicht behandelt.

4.1.1 Versuchsperson

Gute Forschungspraxis setzt einen offenen und transparenten Umgang mit Versuchspersonen voraus. Dies bedingt, dass Versuchspersonen vor der Teilnahme an einer Studie über den Inhalt der Studie und ihre Rechte aufgeklärt werden. Zu den Grundrechten einer jeden Versuchsperson gehören die Folgenden:

Die Freiwilligkeit der Versuchsteilnahme muss jederzeit gewährleistet sein. Dabei haben die Versuchspersonen das Recht, jederzeit ohne Angabe von Gründen von der Teilnahme an einer Studie zurück zu treten, ohne dass ihnen daraus Nachteile entstehen.
Der Datenschutz bzw. die Anonymität der Versuchspersonen muss zu jedem Zeitpunkt gewährleistet sein. Dies betrifft insbesondere das Berichten der Ergebnisse: Studienergebnisse dürfen keinesfalls so berichtet werden, dass einzelne Versuchspersonen identifiziert werden können.

Im Folgenden wird erläutert, worauf diese Rechte basieren und wie diese kommuniziert werden. Anschliessend wird auf den Datenschutz eingegangen, da dieser ein zentraler Aspekt jeder Datenerhebung darstellt.

4.1.1.1 Ethische Richtlinien

Jede Studie muss vor Beginn der Datenerhebung von einer unabhängigen Ethikkommission geprüft und genehmigt werden. Aufgabe der Ethikkommission ist es, zu überprüfen, ob die Versuchspersonenrechte eingehalten werden und ob die Studie ethisch vertretbar ist (d.h. ob der Nutzen der Studie die Kosten rechtfertigt). Die Kosten-Nutzen-Frage ist keineswegs immer monetärer Natur. Beispielsweise kann es für eine psychologische Studie nötig sein, dass die Versuchspersonen nicht von Anfang an wissen, was das Ziel der Studie ist, um zu verhindern, dass dieses Wissen die Resultate beeinflusst. Die Ethikkommission hat in diesem Fall zu entscheiden, ob der Erkenntnisgewinn der Studie es rechtfertigt, dass die Versuchspersonen erst im Nachhinein über die Details der Studie aufgeklärt werden. Grundsätzlich ist wichtig, dass die Versuchspersonen wissen, was sie im Rahmen der Studie erwartet, und was ihre Rechte sind.

4.1.1.2 Einverständnis

Zu Beginn eines jeden Experiments müssen die Versuchspersonen ihr Einverständnis geben, nachdem sie über die Durchführung und die Ziele des Experiments und ihre Rechte aufgeklärt worden sind. Dazu wird in der Regel eine schriftliche Einverständniserklärung eingesetzt. Grundsätzlich geht das Dokument auf folgende Punkte ein:

Eine Beschreibung zum Hintergrund des Experiments
Eine Aufklärung über die Rechte der Versuchsperson (z.B. Möglichkeit des Abbruchs)
Angabe der zuständigen Ethikkommission, welche die Studie überprüft hat
Eine Kontaktperson / -adresse, an die sich die Versuchsperson im Falle von Fragen und Beschwerden wenden kann
Die Aussage, dass allfällige Fragen beantwortet wurden und man über die Rechte als Versuchsperson aufgeklärt wurde
Ein Feld für die Unterschrift der Versuchsperson und ein Feld für die Unterschrift für die Versuchsleitung. Bei Online-Experimenten kann es ausreichend sein, wenn ein entsprechendes Feld «angekreuzt» / markiert wird

4.1.1.3 Datenschutz

Im Rahmen von Datenerhebungen in der Forschung ist es essentiell, dass die Identität der Versuchspersonen jederzeit geschützt ist. Das heisst:

Daten, welche zur Identifikation von einzelnen Personen führen kann, werden nicht veröffentlicht oder anderweitig kommuniziert. Ausnahmen bilden Fälle, in denen eine Versuchsperson explizit schriftlich der entsprechenden Veröffentlichung zugestimmt hat.
Identifizierende Informationen werden vor der Auswertung und bei der Archivierung der Rohdaten von den Daten getrennt und an einem anderen Ort sicher verwahrt (z.B. passwortgeschützt).

Kombination von Informationen

Auch die Kombination von Informationen kann zur Identifikation führen (z.B. Initialen, Geburtsdatum und Wohnort). Deswegen dürfen sie nicht berichtet werden.

Datenschutz und schriftliche Einverständniserklärung

Die Datenschutzgesetze erfordert nicht in jedem Land eine schriftliche Einverständniserklärung zur Teilnahme an einem Experiment. Auch wenn dies nicht immer gesetzlich vorgeschrieben ist, ist eine solche aufgrund ethischer Richtlinien erforderlich.

4.1.2 Versuchsleitung

Bei der Versuchsleitung handelt es sich um die Personen, welche mit der Aufgabe der Versuchspersonenrekrutierung und deren Testung betraut sind. Im universitären Umfeld fällt die Aufgabe der Versuchsleitung Studierenden, Promovierenden und Postdoktorierenden zu.

Die Pflichten der Versuchsleitung unterscheiden sich je nach Phase der Datenerhebung (d.h. bei der Rekrutierung, vor dem Experiment, während dem Experiment und nach dem Experiment). Diese werden im Folgenden für jede Phase separat aufgelistet.

4.1.2.1 Bei der Rekrutierung

Die Versuchspersonen müssen bezüglich der folgenden Punkte angemessen informiert werden:
- Hauptziel und Nutzen des Experiments
- Dauer und Umfang des Experiments
- Freiwilligkeit der Teilnahme
- Vorhandensein einer Ethikprüfung
- Umsetzung des Datenschutzes
- Beantwortung allfälliger weiterer Fragen
Sicherstellen, dass die Einschlusskriterien für das Experiment eingehalten werden.

Wichtige Informationen für Versuchspersonen

Allfällige Versuchspersonen müssen auch darüber aufgeklärt werden, dass einige Aufgaben möglicherweise absichtlich schwierig gestaltet wurden. Dies ist notwendig, um die Forschungsfrage des Experiments zu beantworten.
Allfällige Versuchspersonen müssen auch über den Zweck der Aufgaben aufgeklärt werden, die sie durchführen werden. Zum Beispiel sollte klar formuliert werden, wenn die Aufgaben als diagnostische Werkzeuge verwendet werden (z.B. als Intelligenztest). Es sollte aber auch genauso klar informiert werden, wenn die Aufgaben keine diagnostischen Werkzeuge sind. Im letzteren Fall sollte unbedingt klar und deutlich darauf hingewiesen werden, dass die Aufgaben keine sinnvollen Rückschlüsse auf alleinstehende individuelle Leistungen zulassen.

4.1.2.2 Vor dem Experiment

Die Termine für das Experiment mit der Versuchsperson abmachen.
Über die spezifischen Inhalte des Experiments informieren, wie zum Beispiel die Einverständniserklärung und die entsprechenden Rechte sowie experimentspezifische Erfordernisse (z.B. dass Testzeiten zwingend einzuhalten sind).
Sicherstellen, dass die Versuchsperson die Aufgaben gemäss Instruktionen durchführen wird.
Sicherstellen, dass die Versuchsperson sich melden wird, wenn sich Probleme ergeben.

4.1.2.3 Während dem Experiment

Sicherstellen, dass die Freiwilligkeit jederzeit gewährleistet ist.
Sicherstellen, dass die Datenschutzrichtlinien jederzeit eingehalten werden.
Den Versuchspersonen während der gesamten Dauer des Experiments jederzeit zur Verfügung stehen (z.B. bei technischen Fragen und Problemen – gilt insbesondere für Online-Experimente).
Sicherstellen, dass die Versuchspersonen die Instruktionen verstanden haben.
Sicherstellen, dass die Versuchspersonen die Aufgaben gemäss Instruktionen durchführen.
Intervenieren im Fall von technischen Problemen.
Sauberes, klares und vollständiges Dokumentieren der einzelnen Testungen. Zu diesem Zweck wird häufig ein standardisierter Fragebogen zur Protokollierung am Ende jeder Sitzung oder jeder Aufgabe ausgefüllt.
Versuchspersonenbetreuung: Bei der Betreuung geht es vor allem darum, die Versuchsperson darin zu bekräftigen, dass sie die Aufgaben so gut wie möglich löst. Gerade wenn die Aufgaben sehr schwierig sind, muss die Versuchsperson informiert werden, dass die Aufgaben im Sinne des Experiments absichtlich so schwierig sind. Der Versuchsperson soll das Gefühl vermittelt werden, dass ihr Beitrag wirklich hilfreich ist und geschätzt wird, auch wenn die Leistungen bei den Aufgaben nicht perfekt sind.

4.1.2.4 Nach dem Experiment

Versuchspersonennachbetreuung: Bei der Nachbetreuung geht es vor allem darum, die Versuchsperson über den genauen Zweck der Studie aufzuklären und allfällige Fragen zu beantworten.
Sicherstellen, dass die Versuchsperson ohne negative Gefühle dem Experiment gegenüber entlassen wird. Sollte dies nicht gelingen, muss unbedingt die Projektleitung informiert werden, damit weitere Schritte unternommen werden können.
Sich bedanken und der Versuchsperson vermitteln, dass man ihre Mithilfe wertschätzt.

Unangenehme experimentelle Manipulationen

Bei allfälligen unangenehmen experimentellen Manipulationen (z.B. Induktion negativer Emotionen) ist zwingend darauf zu achten, dass die Versuchsperson wieder den ursprünglichen affektiven Zustand erreicht, bevor sie entlassen wird. Zudem ist es auch wichtig, dass sie versteht, warum diese Manipulation im Rahmen des Experiments nötig war.

Datenqualität ist Versuchsleitungspflicht

Die Versuchsleitung hat eine zentrale Rolle bei der Datenerhebung. Sie ist für die Sorgfalt bei der Datenerhebung zuständig und letztendlich für die Qualität der erhobenen Daten verantwortlich.

4.1.3 Projektleitung

Bei der Projektleitung handelt es sich um die Personen, welche mit inhaltlichen und administrativen Entscheidungsaufgaben betraut sind. Im universitären Umfeld fällt die Aufgabe der Projektleitung (Professorinnen und Professoren, Dozierenden und Postdoktorierenden) zu. Die Projektleitung umfasst die Personen, welche die Verantwortung für ein Projekt tragen. Die Projektleitung betrifft unter anderem folgende Aufgaben:

Zeitplanung und -management.
Ressourcenplanung und -verwaltung.
Verfassen eines Ethikantrags zur Prüfung des Vorhabens. Die Prüfung des Antrags muss vor der Datenerhebung abgeschlossen sein.
Planung, Koordination und Supervision der Datenerhebung.
Entscheiden bei und Supervidieren von Datenanalysen und / oder Durchführen von Datenanalysen.
Fällen von Entscheidungen unter Berücksichtigung der Argumente aller Beteiligten.

Aufgabe der Projektleitung im Fall von Konflikten

Da die Projektverantwortung letztendlich bei der Projektleitung liegt, ist es auch ihre Aufgabe, das kollaborative Miteinander zu sichern. Bei allfälligen Konflikten ist es Aufgabe der Projektleitung, konstruktive Lösungen mit den Konfliktparteien zu suchen.

Eine Person, zwei Rollen

Im Einzelfall kann es vorkommen, dass eine Person mehrere Rollen inne hat. So kann zum Beispiel ein und dieselbe Person Projektleitung und Versuchsleitung sein.

4.2 Testen von Versuchspersonen

Das Testen von Versuchspersonen kann im Labor oder online übers Internet geschehen. Unabhängig davon, ob dieses im Labor oder online stattfindet, hat das Austesten der experimentellen Prozedur eine grosse Bedeutung für die Qualität der zu erhebenden Daten. Dieses sogenannte Pilotieren erlaubt zum Beispiel das Beheben von allfälligen Fehlern in den experimentellen Aufgaben und die Klärung allfälliger Fragen seitens der Versuchsleitung. Darum macht es Sinn, erst nach ausgiebigem Pilotieren mit der eigentlichen Datenerhebung zu beginnen. Entsprechend wird an dieser Stelle zuerst auf das Pilotieren und dann auf das Testen von Versuchspersonen im Labor und online eingegangen.

4.2.1 Pilotieren

«Pilotieren» im Kontext eines (psychologischen) Experiments bedeutet «austesten» der methodischen Implementierung (inklusive der experimentellen Prozedur) eines Experiments vor der eigentlichen Datenerhebung. Experimentelle Aufgaben, die in der psychologischen Grundlagenforschung Anwendung finden, können nicht einfach gekauft werden. In den meisten Fällen werden diese Aufgaben von den Forschern und Forscherinnen im Rahmen einer Studie eigenständig programmiert.

Die Anforderungen an diese Aufgaben sind je nach Experiment relativ komplex. Reizlisten müssen über verschiedene Bedingungen und Versuchspersonen hinweg ausbalanciert werden. Kritische Reize (ausgenommen sind z.B. Instruktionen) müssen in einer spezifizierten Dauer mit Millisekunden-Präzision präsentiert werden. Zudem sollten die einzelnen Reize für alle Versuchspersonen gleich gross dargeboten werden, um eine standardisierte Durchführung zu garantieren. Neben der präzisen Darbietung der Reize müssen auch alle möglichen Daten aufgezeichnet werden. So müssen z.B. die Antworten der Versuchspersonen als korrekt oder falsch erkannt werden und die Dauer von der Reizpräsentation bis zur Antworteingabe mit Millisekunden-Präzision aufgezeichnet werden. Gleichzeitig muss erfasst werden, welcher experimentellen Bedingung ein präsentierter Reiz und die dazugehörige Antwort zugeordnet werden müssen, damit die Daten später entsprechend dem experimentellen Design ausgewertet werden können.

Da viele dieser Anforderungen nicht nur vom Programmcode abhängen sondern auch von der Hardware, auf welcher eine experimentelle Aufgabe durchgeführt wird, sind diese Anforderungen im Labor einfacher umzusetzen. Im Labor können die Aufgaben unter klar definierten Bedingungen (Hardware und Software) getestet werden, bevor die eigentliche Datenerhebung beginnt. Bei Online-Experimenten laufen die Aufgaben letztendlich auf verschiedenen Endgeräten mit unterschiedlichen Hardware- und Softwarekonfigurationen. Ein vollumfängliches Austesten aller möglichen Hard- und Softwarekonfigurationen ist somit nicht möglich.

Pilotieren zur Vermeidung von Datenverlust

Bei experimentellen Aufgaben handelt es sich nicht um kommerzielle Software. Darum ist es essenziell, dass alle Programme zur Datenerhebung vor der eigentlichen Datenerhebung ausgiebig getestet werden.

Neben den technischen Anforderungen gibt es weitere Anforderungen an experimentelle Aufgaben. Die Aufgaben sollen in einer Art und Weise umgesetzt werden, dass alle Versuchspersonen die Aufgaben so lösen können, dass die Proportion korrekter Antworten die Ratewahrscheinlichkeit übersteigt. Gleichzeitig soll aber verhindert werden, dass von den einzelnen Versuchspersonen keine Fehler gemacht werden. Im Idealfall sind die Leistungen der getesteten Versuchspersonen zwischen Ratewahrscheinlichkeit und perfekter Leistung normalverteilt.

Im Rahmen der obigen Ausführungen gibt es vor allem zwei Gründe, warum vor der eigentlichen Datenerhebung sorgfältig pilotiert werden muss. Erstens muss es sichergestellt werden, dass die Reizpräsentation und Antworterfassung entsprechend den verschiedenen Bedingungen wie geplant funktioniert. Zweitens muss es sichergestellt werden, dass die experimentelle Aufgabe zuverlässig läuft, dass die Hardware- und Softwarekonfiguration auf dem / den Testcomputer/n nicht mit dem Programmcode der experimentellen Aufgabe interferiert. Dementsprechend ist der Pilotierungsaufwand bei Online-Experimenten, wo verschiedenste Hardware- und Softwarekonfigurationen zum Einsatz kommen, um ein Vielfaches grösser als bei laborbasierten Experimenten.

Pilotieren für einen reibungslosen Ablauf

Die Pilotierung dient auch dazu, dass sich die Versuchsleitung mit den Aufgaben und der Prozedur eines Experiments vertraut machen kann. So kann ein reibungsloser Ablauf beim Testen von Versuchspersonen garantiert werden.

Realistische Fehlerquoten

Trotz sorgfältigem Pilotieren kann es vorkommen, dass es während der Datenerhebung zu technischen Problemen mit den experimentellen Aufgaben kommt. Bei laborbasierten Experimenten ist erfahrungsgemäss mit einer Quote von 1-2% zu rechnen. Bei Online-Experimenten ist erfahrungsgemäss mit einer Quote von 5-10% zu rechnen.

4.2.2 Datenerhebung bei laborbasierten Experimenten

Laborbasierte Experimente werden als Goldstandard der psychologischen Forschung betrachtet. Zu Beginn wurden psychologische Experimente mit Papier, Bleistift und Stoppuhr durchgeführt. In der zweiten Hälfte des 20. Jahrhunderts fanden mit der rasanten Entwicklung von Computern diese immer mehr Einzug in die Forschung, was zur einer präziseren Messung geführt hat (z.B. zeitkritische Messungen im Millisekundenbereich). Dazu wurde Software zur computergestützten Datenerhebung entwickelt, mit welcher das Programmieren von Experimenten vereinfacht wurde (z.B. e-prime und Psychtoolbox).

4.2.2.1 Vorteile und Nachteile von laborbasierten Experimenten

Der grösste Vorteil von laborbasierten Experimenten ist es, kontrollierte und standardisierte Bedingungen zu schaffen. Dies kommt dadurch zustande, weil die Hardware- und Software-Bedingungen kontrolliert und ausgetestet werden können (siehe Pilotieren). Das heisst, es kann sicher gestellt werden, dass es beim Ausführen des Programmcodes zur Reizpräsentation im Rahmen eines Experimentes nicht bzw. sehr selten zu technischen Problemen und Computerabstürzen kommt. Des Weiteren können experimentelle Bedingungen einfacher kontrolliert und standardisiert werden. So kann zum Beispiel eine Kinnstütze verwendet werden, wenn ein bestimmter Augenabstand zum Bildschirm eingehalten werden muss. Zudem können einige komplexere Verfahren wie zum Beispiel die funktionelle Magnetresonanztomographie nur im Labor durchgeführt werden kann. Ein weiterer nicht zu vernachlässigender Vorteil ist, dass die Versuchsleitung im Labor jede Versuchsperson durch das gesamte Experiment begleiten und überwachen kann. Falls nötig kann die Versuchsleitung auch einschreiten. Zum Beispiel kann die Versuchsleitung die Instruktionen wiederholen, wenn die Versuchsperson die Instruktionen nicht verstanden hat. Die Versuchsleitung kann auch gleichzeitig protokollieren, wenn etwas Unerwartetes geschieht.

Bei laborbasierten Experimenten kommt ein weiterer Vorteil hinzu, nämlich dass die Versuchspersonen das Experiment relativ selten abbrechen. Der Grund ist, dass sie bereits den Aufwand auf sich genommen haben, für das Experiment einen bestimmten Ort aufzusuchen, und sich entsprechend vorgängig über den Inhalt des Experiments informiert haben.

Allerdings ist die Orts- und Zeitabhängigkeit von laborbasierten Experimenten auch deren grösster Nachteil. So müssen die Versuchspersonen an einen bestimmten Ort hinkommen und gleichzeitig können nicht beliebig viele Versuchspersonen auf einmal getestet werden. Diese Orts- und Zeitabhängigkeit von laborbasierten Experimenten führt zum weiteren Nachteil, dass in deren Rahmen zumeist keine breiten Zielgruppen getestet werden, weil diese schwieriger zu erreichen sind als zum Beispiel reine Studierendengruppen.

4.2.3 Datenerhebung bei Online-Experimenten

Online-Experimente werden mehr und mehr im Rahmen psychologischer Forschung durchgeführt. Während dem ersten Jahrzehnt der 2000er Jahre war es noch sehr umständlich Online-Experimente zu programmieren und technisch umzusetzen. Dies war vor allem dann der Fall, wenn Daten zeitkritisch erfasst werden mussten (z.B. zur Erhebung von Reaktionszeiten). Seitdem schnelle Internetzugänge die privaten Haushalte erobert haben, gibt es immer mehr Werkzeuge mit denen ohne grosse Programmierkenntnisse zeitkritische Online-Experimente erstellt werden können (z.B. lab.js und Psychopy).

Ein entscheidender Punkt bei Online-Experimenten ist es, zu gewährleisten, dass sie zeitkritisch durchgeführt werden können. Zu diesem Zweck wird der Programmcode zur Ausführung des Experiments von einem externen Server auf den Rechner der Versuchsperson heruntergeladen und dort ausgeführt, wobei die Daten dann wieder an der Server versendet werden, wo sie in einer geschützten Datenbank erfasst werden. Oftmals ist das Programm, welches zur Ausführung des Experimentes auf dem lokalen Rechner nötig ist in der Programmiersprache JavaScript verfasst. JavaScript eignet sich besonders gut für Online-Experimente, weil es sich dabei um eine fundamentale Technologie des Internets handelt. Der grosse Vorteil liegt darin, dass JavaScript praktisch in jedem Internet-Browser ausgeführt werden kann, ohne dass Versuchspersonen zusätzliche Software installieren müssen.

4.2.3.1 Vorteile und Nachteile von Online-Experimenten

Der grösste Vorteil von Online-Experimenten ist die Reichweite. Da die Versuchspersonen nicht an einem bestimmten Ort getestet werden müssen, sondern die Experimente bequem von zu Hause durchführen können, hat man mit Online-Experimenten im Gegensatz zu laborbasierten Experimenten eine sehr viel grössere Reichweite. Eine Konsequenz davon ist, dass man in relativ kurzer Zeit sehr viele Leute erreichen und testen kann.

Der grösste Nachteil von Online-Experimenten ist die Tatsache, dass die Versuchsleitung bei Online-Experimenten nicht bei den Versuchsdurchführungen anwesend sein kann. Somit kann die Versuchsleitung nicht überwachen, was die Versuchspersonen im Einzelnen tun. Dies hat zur Konsequenz, dass die Versuchsleitung nicht intervenieren kann, wenn eine Versuchsperson die Instruktionen nicht richtig verstanden hat oder die Instruktionen nicht befolgt. Im Fall von Online-Experimenten hat die Versuchsleitung lediglich die Möglichkeit Ausschlusskriterien zu bestimmen, welche darauf hindeuten, dass das Experiment nicht instruktionsgemäss durchgeführt wurde. Ein Beispiel für ein solches Kriterium ist, die Daten von Versuchspersonen auszuschliessen, wenn sie für das Experiment anderthalb Stunden gebraucht haben, obwohl das Experiment nur eine Stunde dauern würde. Im Idealfall werden die Ausschlusskriterien vor der Datenanalyse festgelegt und werden im Rahmen guter wissenschaftlicher Praxis transparent berichtet. Allerdings ist es nicht immer einfach, aufgrund der gesammelten Daten darauf zu schliessen, ob eine Versuchsperson die Instruktionen befolgt hat oder nicht.

Ein weiterer Nachteil von Online-Experimenten sind die Umgebungsbedingungen, die nicht standardisiert und nicht kontrolliert werden können. Einerseits betrifft dies die Hardware- und Software-Bedingungen und anderseits das Verhalten der Versuchspersonen. Das heisst, dass die Versuchsleitung nicht überwachen kann, dass das Experiment standardisiert durchgeführt wird (z.B. dass der Abstand zum Bildschirm konsistent eingehalten wird). Es gibt zwei Wege, um dieses Problem zu minimieren. Erstens können die Versuchspersonen instruiert werden, Rahmenbedingungen einzuhalten (siehe Tabelle 4.1). Zweitens kann die Versuchsleitung eine ausführliche Nachbefragung der Versuchspersonen vornehmen, indem systematisch gefragt wird, ob bestimmte Aspekte eingehalten wurden. In der Regel antworten die Versuchspersonen ehrlich. Entsprechend können im Anschluss Datensätze von einzelnen Versuchspersonen bei kritischen Versäumnissen ausgeschlossen werden.

Tabelle 4.1: Exemplarische Rahmenbedingungen, die die Versuchspersonen als Instruktionen bekommen können

Rahmenbedingungen
Die Versuchsperson muss alleine im Raum sein. Wenn andere Menschen oder Tiere im selben Raum wie die Versuchsperson sind, müssen diese den Raum verlassen, bzw. aus dem Raum gebracht werden.
Falls andere Menschen in der Wohnung oder im Haus die Versuchsperson stören könnten, muss ihnen kommuniziert werden, dass die Versuchsperson nicht gestört werden darf (z.B. nicht in den Raum eintreten).
Die Versuchsperson muss in einem möglichst ordentlichen und ruhigen Raum ohne grosse Ablenkungsmöglichkeiten sein. Alle Lärmquellen (z.B. TV, Radio, Musik) müssen ausgeschaltet werden.
Das Handy der Versuchsperson muss auf stumm (ohne Vibration) eingestellt sein. Alle anderen Telefone müssen ausgeschaltet sein.
Die Versuchsperson muss einen Computer bzw. einen Laptop aber kein Tablet oder Handy für das Experiment benutzen.
Die Versuchsperson muss so an einem Tisch sitzen, dass sie bei ausgestrecktem Arm ungefähr eine Armlänge vom Computerbildschirm entfernt ist, und gerade vor der Mitte des Bildschirms sitzt.
Die Versuchsperson muss gut auf den Bildschirm sehen können. Die Beleuchtung muss angemessen sein. Die Versuchsperson muss ihre Brille / Linsen tragen, wenn sie eine Sehschwäche hat.
Ein Laptop muss an den Strom angeschlossen sein, damit es nicht zu unerwünschten Abbrüchen kommen kann.
Alle Programme auf dem Computer der Versuchsperson — ausser der Internetseite für das Experiment — müssen geschlossen sein (z.B. Skype oder Teams, FaceTime, WhatsApp, E-Mail-Programm, Kalender-Programm, Musik-Programm und andere Internetseiten).

Laborbasierte vs. Online-Experimente?

Online-Experimente wie auch laborbasierte Experimente haben jeweils gewisse Vor- und Nachteile, so dass man nicht generell sagen kann, dass eine dieser beiden Möglichkeiten der anderen überlegen ist. Je nach Situation muss abgewogen werden, ob ein Online-Experiment einem laborbasierten Experiment vorzuziehen ist oder nicht.

Eine Möglichkeit die Stärken beider Verfahren zu kombinieren, ist die Vorgehensweise eine kleinere Gruppe von Versuchspersonen im Labor zu testen und eine grössere Gruppe von Versuchspersonen mit dem gleichen Experiment online zu testen. Danach können die Resultate der beiden Verfahren verglichen werden. Eine Übereinstimmung der Resultate unterstützt die Aussagekraft des Experiments.

4.2.3.2 Besondere Aufgaben der Versuchsleitung bei Online-Experimenten

Da es Aufgabe der Versuchsleitung ist, sicherzustellen, dass die Versuchspersonen die Experimente wie instruiert durchführen, kommt der Versuchsleitung bei Online-Experimenten eine besondere Rolle zu. Durch ihre Arbeit und ihr Verhalten kann die Versuchsleitung den Datenverlust, der bei Online-Experimenten in der Regel substanzieller ausfällt, reduzieren. Am besten gelingt dies erfahrungsgemäss, wenn die Versuchsleitung mit den Versuchspersonen vor dem Experiment ein persönliches Gespräch führt und ihnen erklärt, wie und warum es wichtig ist, dass die Instruktionen sorgfältig gelesen und ebenso umgesetzt werden. Das persönliche Gespräch kann durchaus telefonisch erfolgen. Ziel dieses Gesprächs ist, eine gewisse Verbindlichkeit beim Einhalten der Instruktionen zu schaffen. Die schriftliche Form ist zu diesem Zweck weniger gut geeignet. Zudem kann der Datenverlust bei Online-Experimenten weiter reduziert werden, wenn die Versuchsleitung den Versuchspersonen für den Fall technischer Probleme während der gesamten Versuchsdurchführung telefonisch zur Verfügung steht.