Randomisierte kontrollierte Studien (RCTs) gelten als der Goldstandard bei Wirksamkeitsevaluierungen von Entwicklungsprojekten. Denn anhand dieser Studien lassen sich kausale Zusammenhänge zwischen Entwicklungshilfsprojekten und dem daraus resultierenden Nutzen für die Empfänger identifizieren. Eine Herausforderung an Wirksamkeitsevaluierungen durch RCTs ist jedoch, dass für deren Durchführung sogenannte Kontrollgruppen benötigt werden. Dabei handelt es sich um Gruppen von Einzelpersonen oder Haushalten, die den Empfängern der Hilfsmaßnahmen ähneln. Mit dem Unterschied, dass sie selbst nicht von den Vorteilen der jeweiligen Programme profitieren können. Wir werden immer wieder gefragt, ob eine derartige Vorgehensweise, bestimmte Personengruppen von der Teilnahme an einem Programm auszuschließen, denn ethisch vertretbar und moralisch gerechtfertigt sei.

Diese Frage lässt sich unserer Meinung nach mit einem klaren „Ja“ beantworten. Denn sowohl in der internationalen Entwicklungshilfe als auch bei der Arbeit von Non-Profit-Organisationen in der entwickelten Welt sind die Ressourcen in den allermeisten Fällen knapp. Sie reichen nicht aus, um jedem einzelnen Menschen in Not helfen zu können.

Mit unserem Cash-Transfer-Programm mit GiveDirectly in Uganda konnten wir 3.400 Haushalte in 44 Dörfern im Distrikt Iganga erreichen. Das Programm und der dazugehörige RCT waren folgendermaßen aufgebaut:

• Zu Beginn des Programms befragte GiveDirectly die Haushalte in teilnehmenden Dörfern und stufte sie dann anhand ihrer Armut ein. Weitere Informationen dazu finden sich in dem umfassenden Pre-Analysis Plan.
• Die ärmsten 20% der Haushalte in diesen Dörfern wurden in das Programm aufgenommen und erhielten Geldtransfers. GiveDirectly bezog diese Haushalte jedoch weder in die Randomisierung noch in die Studie mit ein.
• Die wohlhabendsten 35% der Haushalte erhielten keinerlei Zahlungen und sie wurden auch nicht in den RCT mit einbezogen.
• Zwischen den ~20. und ~65. Perzentilen führte GiveDirectly eine individuelle Randomisierung von jeweils zwei ähnlichen Haushalten innerhalb eines Dorfes durch. Jedem Haushalt, der eine Geldzahlung erhielt, wurde im selben Dorf also ein Kontrollhaushalt mit dem gleichen Armutsniveau gegenübergestellt, der keine Zahlung erhielt.

Auch ohne den dazugehörigen RCT hätte GiveDirectly eine Entscheidung darüber fällen müssen, welche Dörfer und Haushalte zum Programm zugelassen werden. Und damit hätte die Organisation ohnehin einige Menschen ausschließen müssen, die sicherlich auch von dem Programm profitiert hätten. Wir geben jedoch zu, dass sich die Mitglieder der Kontrollgruppen dennoch in zwei wesentlichen Aspekten von anderen Menschen unterscheiden, die nicht zu der Teilnahme am Programm zugelassen werden:

1. Sie sind den Programmteilnehmern sehr ähnlich und wären sehr wahrscheinlich in das Programm aufgenommen worden, wenn es ohne den RCT implementiert worden wäre.
2. Sie sind durch Umfragen und andere Evaluierungsmaßnahmen stärker in das Programm eingebunden als andere, da die Programmergebnisse und -auswirkungen sowohl für die Begünstigten als auch für die Mitglieder der Kontrollgruppe evaluiert werden.

Diese beiden Aspekte erfordern ein gewisses Maß an Kompromissbereitschaft. Ein RCT erfordert häufig ein etwas größeres Projektgebiet, um eine ausreichend große Zielgruppe sowohl für die Begünstigten als auch die Mitglieder der Kontrollgruppe zu erreichen. Abgesehen von den finanziellen Kosten eines RCT blieb die geplante Zahl von 3.400 Empfänger-Haushalten jedoch konstant. Das heißt, die Haushalte in der Kontrollgruppe wurden durch andere „ersetzt“, die die Auswahlkriterien für das Programm ebenfalls erfüllten. Allerdings waren aufgrund der Paarungen für unseren RCT einige Haushalte in der Kontrollgruppe, die keine Geldzahlungen erhielten, noch ein wenig ärmer als einige der Programmbegünstigten. Das bedeutet, dass aufgrund des RCT einige Haushalte Geldtransfers erhielten, die ohne die Begleitstudie gar nicht erst zum Programm zugelassen worden wären. Dafür wiederum erhielten andere Haushalte, die zwar eigentlich in das Programm mit einbezogen worden wären, kein Geld.

Und auch der zweite Aspekt ist nicht ganz unproblematisch. Denn obwohl die Mitglieder der Kontrollgruppe auch ohne den RCT keine Hilfsempfänger im Rahmen des Programms gewesen wären, stehen sie dennoch in engem Kontakt mit den Wissenschaftlern. Aber genau aus diesem Grund benötigen akademische Studien eine ethische Genehmigung: zum Schutz der tatsächlichen Hilfsempfänger wie auch der Kontrollgruppenmitglieder (also der Menschen, die aktiv an einem Projekt teilnehmen, sowie derjenigen, die zu Vergleichszwecken evaluiert werden).

Die Frage, ob der Einsatz von Kontrollgruppen gerechtfertigt ist, lässt sich also letzten Endes auf die folgenden beiden Überlegungen reduzieren:

1. Welchen Wert generiert der RCT?
Wenn der RCT zu neuen Erkenntnissen darüber führt, wie wirksam und kosteneffizient eine Hilfsmaßnahme wirklich ist, sind wir der Meinung: Sowohl die durch den RCT entstehenden Mehrkosten als auch die (möglicherweise negativen) Auswirkungen auf die Mitglieder der Kontrollgruppe, die nicht von dem Programm profitieren, sind nicht nur ethisch vertretbar, sondern auch notwendig. Denn diese Erkenntnisse werden benötigt, um fundierte Entscheidungen über die Verwendung von Hilfsmitteln treffen zu können. Nur so können wir sicherstellen, dass das Geld, das wir und andere investieren, um anderen Menschen zu helfen, auch wirklich zu positiven Veränderungen führt.

2. Können die Auswirkungen auf die Kontrollgruppen minimiert werden?
Obwohl wir glauben, dass der Einsatz von RCTs und Kontrollgruppen insgesamt gerechtfertigt ist, kann intelligentes Forschungsdesign die Bedenken hinsichtlich der Auswirkungen auf die Kontrollgruppe noch weiter ausräumen. Dies sollte bei der Einrichtung von RCTs berücksichtigt werden.

Wie oben bereits erläutert, haben bei unserem Cash-Transfer-Programm sowohl GiveDirectly als auch unser Forschungspartner IDInsight beschlossen, die ärmsten 20% der Haushalte vom RCT auszuschließen. Das schränkt zwar den Erkenntnisgewinn in Bezug auf diese bestimmte Teilnehmergruppe ein. Wir hielten dieses Vorgehen jedoch für einen angemessenen Kompromiss, um zu vermeiden, dass die ärmsten Mitglieder einer Dorfgemeinschaft von den direkten Geldtransfers ausgeschlossen werden.

Darüber hinaus haben wir beschlossen, nach Abschluss des RCT alle 1.800 Haushalte aus der Kontrollgruppe in eine zweite Projektwelle mit einzubeziehen und ihnen dieselbe Summe von ~1.000 US-Dollar anzubieten, die ihre Nachbarn vor einem Jahr erhalten haben.

In der Vergangenheit hat GiveDirectly oft Proxy-Indikatoren verwendet, um auszuwählen, welche Haushalte zu dem Programm zugelassen werden. Zu diesen Indikatoren zählte beispielsweise die Art der Häuser, in denen die Menschen lebten, oder das Material, mit dem ihre Häuser überdacht waren. Wenngleich auch nicht immer alle Haushalte mit den Auswahlkriterien einverstanden waren, ließen sich dadurch jedoch erkennbare Unterschiede zwischen den Programmteilnehmern und den anderen Haushalten in der Dorfgemeinschaft ausmachen. Im Falle eines RCT werden diese Unterschiede durch die zufällige Einteilung in entweder Programmteilnehmer oder Mitglieder der Kontrollgruppe jedoch verwischt. Dadurch wurden die Geldtransfers gewissermaßen zu Lotteriegewinnen. Und dies führte dazu, dass viele Dorfbewohner die Zahlungen entweder als ein Geschenk oder umgekehrt – bei Haushalten, die keine Transfers erhielten – als eine Strafe Gottes wahrnahmen. Dementsprechend hielten wir es für richtig und notwendig, zurückzugehen und sicherzustellen, dass auch die Kontrollhaushalte sich nicht länger bestraft, sondern gesegnet fühlen.

Wir sind nach wie vor der Meinung, dass RCTs ein sehr hilfreiches und notwendiges Mittel sind, um Geldgebern zu ermöglichen, ihre Ressourcen in bewährte Maßnahmen zu investieren, die zu tatsächlichen Erfolgen führen. Während einige kritische Anmerkungen zu den negativen Auswirkungen auf die Personen in den Kontrollgruppen durchaus berechtigt sind, lassen sich viele dieser Probleme bereits adressieren oder zumindest minimieren. Die letzte Befragung unseres RCT mit GiveDirectly wurde im Juni beendet. Wir freuen uns schon auf die neuen Erkenntnisse, die wir aus den Ergebnissen ziehen können, sobald sie im weiteren Verlauf des Sommers vorliegen. In der Zwischenzeit werden auch die Haushalte aus der Kontrollgruppe in das Programm mit aufgenommen. Sie werden ihre Zahlungen zwischen Juli und September 2018 erhalten. Dadurch werden letzten Endes also alle Beteiligten profitieren: Die 5.200 in Armut lebenden Familien in Uganda, die mit 1.000 US-Dollar in bar „gesegnet“ werden; GiveDirectly, die zusätzliche Erkenntnisse darüber gewinnen werden, wie sie die Effektivität ihres Programms weiter verbessern können; und natürlich wir sowie andere Geldgeber, die einen weiteren Beweis dafür erhalten werden, welche positiven Auswirkungen Geldtransfers auf so viele Menschen haben können.