Wikipedia:Fundraiser 2012/Tests

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen

Diese Seite gehört zum Wikipedia-Archiv.

Der Inhalt dieser Seite ist nicht mehr aktuell. Sie wird aber nicht gelöscht, damit die Geschichte der Wikipedia nicht verloren geht. Falls es sich um eine Arbeitsunterlage handelt, ist sie womöglich durch andere Seiten ersetzt worden. Bestehende Weiterleitungen auf diese Seite sollen das Wiederauffinden ermöglichen.

Wenn du meinst, diese Seite sei weiterhin von aktueller Bedeutung, solle weiter benutzt werden und ihre Funktion sei nicht besser in bestehende Seiten integriert, dann kümmere dich bitte um ihre Aktualisierung.
 
Wikipedia mini globe handheld.jpg

Informationen rund um den Fundraiser

Chat-Kanal Wikimedia Fundraising
#wikimedia-fundraising

Der Fundraiser ist die jährliche Spendenkampagne der Wikimedia Foundation in Zusammenarbeit mit der Wikimedia-Community und den Wikimedia-Chaptern. Über zwei Monate hinweg werden in den Wikimedia-Projekten Spendenbanner geschaltet. In Deutschland ist Wikimedia Deutschland verantwortlich für die Kampagne. Wie die Wikimedia Foundation, führt auch Wikimedia Deutschland umfassende Tests von Bannern, Spendenseiten und Aufrufen durch.

Auf dieser Seite veröffentlichen wir unsere Testergebnisse. Diese stellen die wichtigste Entscheidungsgrundlage für die Auswahl von Bannern und des Designs der Spendenseiten dar. Wenn ihr also wissen wollt, warum die aktuellen Banner so aussehen wie sie aussehen oder warum die Spendenseite dieses und nicht jenes Layout hat, seid ihr hier genau richtig. Ihr seid natürlich herzlich dazu eingeladen, auf der Diskussionseite Testergebnisse zu diskutieren.

Warum wird getestet?[Quelltext bearbeiten]

Während der mehrwöchigen Spendenkampagne wird der Großteil der Gesamteinnahmen von Wikimedia erzielt. Genauer: weitaus mehr als 80 %. Eine zielgerichtete und erfolgreiche Kampagne ist daher das A und O für die Finanzierung der Wikimedia-Projekte. Aber wissen wir, ob Banner X, Landingpage Y oder Spendenformular Z die effektivsten ihrer Art sind? Solange wir den Spendenprozess - vom Anklicken des Banners bis hin zur Spende - nicht analysieren, können wir nicht sicher sein eine wirklich optimale Spendenkampagne durchzuführen. Deshalb wurde auch in Deutschland letztes Jahr mit dem Testen vor und während der Kampagne begonnen. Der Erfolg des letzten Jahres hing wesentlich mit diesem Ansatz und den gewonnen Einsichten und Erkenntnissen zusammen.


Wie wird getestet?[Quelltext bearbeiten]

Anders als die meisten anderen gemeinnützigen Organisationen können wir die Elemente unserer Kampagnen aufgrund des hohen Besucheraufkommens umfassend und valide testen. In der Regel handelt es sich um A/B-Tests, bei denen zwei Versionen eines Banners oder einer Spendenseite gleichzeitig geschaltet werden und für jeweils eine Hälfte der Nutzer sichtbar sind. Angesichts der hohen Nutzerzahlen genügt es meist, Banner nur für einen kurzen Zeitraum von 1-2 Stunden zu schalten und dabei dennoch die Representativität der Testergebnisse zu erreichen. Damit die Arbeit in der Wikipedia dadurch nicht allzu sehr beeinträchtigt wird, werden die Banner lediglich für unangemeldete Benutzer angezeigt.

Wann wird getestet?[Quelltext bearbeiten]

Wir werden die Tests in der Regel auf der Startseite der Portalseite ankündigen.

Aktuelle Testergebnisse[Quelltext bearbeiten]

Test 1: Mehr als Tausend Worte?[Quelltext bearbeiten]

13.9.2012, 12:00-14:30 Uhr

Wikipedia wird gehalten und geschützt durch die große Unterstützung unserer Spender. Dies versuchen wir den Lesern der Online-Enzyklopädie mit Spendenaufrufen zu vermitteln. In unserem ersten Kampagnentest in diesem Jahr interessierte uns die Frage, ob wir diesen Sachverhalt nicht nur als Text sondern auch im Bild erfolgreich kommunizieren können. Unsere Landing Page unterzogen wir dazu einer grundlegenden Überarbeitung im Layout. Die Seite sollte zudem weniger textlastig und damit visuell ansprechender werden. Wir findet ihr das neue Layout? Gefällt es euch oder habt ihr kritische Anmerkungen? Wir freuen uns über eure Kommentare!

Die Ergebnisse des Tests zeigen uns, dass wir das Layout noch verbessern müssen. Beide Versionen der neuen Spendenseite liefen nicht so gut wie die alte. Das kann daran liegen, dass der Kasten mit Jimmys Aufruf erst ausgeklappt werden muss, in einer der beiden Varianten ebenso das Spendenformular. Es könnte sein, dass diese zusätzlich nötigen Klicks eine Barriere darstellen. Allerdings sind die Ergebnisse insgesamt sehr knapp und nur eines der Unterschiede zum Kontrollbanner laut unserem derzeitig verwendeten Test-Tool zugfolge nicht statistisch signifikant (hier und hier). Zudem stellte sich im Nachhinein heraus, dass die neuen Spendenseiten auf kleineren Bildschirmen abgeschnitten werden. Daher sehen wir durchaus Potenzial für eine weitere Verbesserung der neuen Gestaltung auf dem Weg zu einer schönen und überzeugenden Spendenseite.


Banner Landingpage Besucher Anzahl Summe Durch-
schnitt
Anzahl
pro
Besucher
Summe
pro
Besucher
% Frauen
Jimmy Jacket default layout 11136 266 5365,74 20,17 0,02389 0,481837 22,95
Jimmy Jacket Globus_Formular_eingeklappt 11281 235 4582,00 19,50 0,02083 0,406170 22,81
Jimmy Jacket Globus_Formular_groß 11052 208 4142,12 19,91 0,01882 0,374785 20,00

--Tobias Schumann (WMDE) (Diskussion) 11:40, 19. Sep. 2012 (CEST)Antworten[Beantworten]


Test 2: Spenden-Summen[Quelltext bearbeiten]

20.9.2012, 10:00-12:00 Uhr


In diesem Test stand das Spendenformular im Zentrum. Wir prüften den Unterschied verschiedener vorgegebener Spendensummen, um zu entscheiden, welche Vorgaben im Formular am besten angenommen werden. Was wir erkennen können ist, dass die Gesamtsumme und durchschnittliche Spendenhöhe tatsächlich positiv beeinflusst werden. Allerdings sind die Ergebnisse mit Vorsicht zu genießen, da wir noch keinen statistischen Signifikanztest durchgeführt haben und die Durchschnittsspende oft variiert. Interessant ist auch, dass in allen drei Varianten ungefähr die gleiche Anzahl an Personen spendete.

Zur Auswertung haben wir eine weitere Metrik verwendet: den Betrag_50. Hierbei werden alle Spenden über 50€ als 50€ gewertet. Dies dient dazu, den Effekt hoher Spendensummen auszugleichen. Der Grund: Da diese nur selten vorkommen, verzerren sie die Durchschnittssumme stark, wenn sie nur in einer der Testgruppen auftreten. Dank der Ergebnisse des Betrags_50 sehen wir, dass die unterschiedlichen Gesamtsummen und Durchschnittsbeiträge nicht auf einzelne "Ausreißer" zurückzuführen sind.


Banner Landingpage Besucher Anzahl Summe Durch-
schnitt
Anzahl
pro
Besucher
Summe
pro
Besucher
Betrag 50 Betrag 50
pro
Besucher
Jimmy Jacket default 7740 190 3748,34 19,73 0,02455 0,484282 3148,34 0,40676
Jimmy Jacket Betrag_A 7832 167 4727,77 28,31 0,02132 0,603648 3740 0,47753
Jimmy Jacket Betrag_B 7719 192 7167,50 37,33 0,02487 0,928553 4022,5 0,52112

--Tobias Schumann (WMDE) (Diskussion) 15:01, 21. Sep. 2012 (CEST)Antworten[Beantworten]


Test 3: Näher dran am Leser[Quelltext bearbeiten]

Mittwoch, 10.10.2012, 10:00 - 12:00 Uhr


Wer sich eindeutige Ergebnisse wünscht, der wird mit diesem Test seine Freude haben. Wir testeten zwei neue erfolgreiche Banner-Layouts von der WMF, die einen wesentlich anderen Ansatz verfolgen. Statt dem Hinweis auf einen persönlichen Aufruf enthalten sie wichtige Aussagen über Wikipedia und Wikimedia. Gewissermaßen ist es der auf Kernaussagen eingedampfte Aufruf von Jimmy. Die dropdown-Variante beinhaltet eine zusätzliche Weiterentwicklung. Statt bei einem Klick auf das Banner direkt zur Spendenseite umgeleitet zu werden, entfaltet es sich und zeigt Aufruf und Spendenformular, ohne dass man die Seiten von Wikipedia verlässt. Die Kraft der Banner den Leser von einer Spende zu überzeugen, ist in unserem Test nicht zu übersehen ist: Eine Steigerung von 185 % bei Spendenanzahl und 55% im Gesamtbetrag gelingt durch das Dropdown-Banner gegenüber dem Kontrollbanner.

Wieso ist das so? Die naheliegende Erklärung ist, dass weitaus mehr Menschen mit der Botschaft, wie wichtig und richtig es ist Wikipedia zu unterstützen, erreicht werden können. Mit den alten "Aufruf-Bannern" gelang die Überzeugung erst durch den Aufruf auf der Spendenseite - nach dem Klick. Es lasen den Aufruf weitaus weniger Menschen als den Inhalt der Banner. Durch die neuen Layouts nehmen ungleich mehr Menschen unsere Botschaft wahr - vor dem Klick - und können von einer Spende überzeugt werden. Folglich liegt der Grund für den überwältigen Erfolg der Banner darin einen zweistufigen Kommunikationsprozess auf einen Schritt zu verkürzen und so eine größere Leserschaft zu erreichen. Dass die Entscheidung zu spenden nun vor dem Klick auf das Banner fällt - ein Effekt, den wir vom "5 € Banner" des letzten Jahres kennen - ist klar ersichtlich an der niedrigeren Zahl an Besuchern auf der Spendenseite bei gleichzeitg extremen Zuwachs bei der Spendenanzahl pro Besucher. Kurz: Wer auf die Spendenseite kommt, der hat die Absicht zu spenden. Eine weitere Beobachtung, die wir aus dem "5 € Banner" kennen, ist die niedrige Durchschnittsspende, die sich mit der expliten Erwähnung der 5 Euro im Banner erklären lässt.

Die Ergebnisse dieses Tests zeigen uns neue Wege auf. Es gilt nun viele Fragen zu beantworten und auch die vielen Möglichkeiten für die nochmalige Optimierung des neuen Banners zu eruieren. Insbesondere interessiert uns, warum sich rund 500 Menschen - also knapp 40 % - im Dropdown-Banner für eine Spende entscheiden und am Ende doch nicht spenden.


Banner Landingpage Impressions Besucher Anzahl Summe Durch-
schnitt
Click-
Through-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Besucher
Summe
pro
Imp.
Summe
pro
Besucher
% Frauen
Kontroll / Jimmy_Aufruf default 846300 10038 296 7485,50 25,29 0,01186 0,0003498 0,02949 0,008845 0,745716 25,00
Fakten default 847900 3722 785 12050,99 15,35 0,00439 0,0009258 0,21091 0,014213 3,237773 15,77
Dropdown default 843300 1398 846 11611,52 13,73 0,00166 0,0010032 0,60515 0,013769 8,305808 14,64

--Tobias Schumann (WMDE) (Diskussion) 13:27, 11. Okt. 2012 (CEST)Antworten[Beantworten]


Test 4: Geheimnis Grün[Quelltext bearbeiten]

Dienstag, 16.10.2012, 10:00 - 12:00 Uhr


Es ist schon verrückt: Der Erfolg einer Farbe zieht sich wie ein roter Faden durch die Entwicklung unserer Spendenseiten. Vielmehr: ein grüner Faden. Immer wieder stand die farbliche Gestaltung von Kampagnenelementen im Zentrum unserer Tests, da wir sahen, dass diese einen Einfluss auf das Spendenverhalten hat. Ob Hintergrund der Fotos oder die Farbe des Spendenformulars, stets lautete das Ergebnis: grün. Nun testeten wir verschiedene Farben des neuen Dropdown-Banners. Und das Ergebnis? Wenn ihr es nicht erraten könnt, dann schaut euch die Tabelle an.


Banner Landingpage Impressions Besucher Anzahl Summe Durch-
schnitt
Click-
Through-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Besucher
Summe
pro
Imp.
Summe
pro
Besucher
% Frauen
drop control grau default 869200 1095 675 10022,19 14,85 0,00126 0,0007766 0,61644 0,011530 9,152685 16,20
drop grün default 838500 1465 856 12890,00 15,06 0,00175 0,0010209 0,58430 0,015373 8,798635 17,14
drop blau default 849800 1268 725 9928,00 13,69 0,00149 0,0008531 0,57177 0,011683 7,829653 16,95

--Tobias Schumann (WMDE) (Diskussion) 12:48, 17. Okt. 2012 (CEST)Antworten[Beantworten]


Test 5: Jimmy und die Fakten[Quelltext bearbeiten]

Dienstag, 23.10.2012, 11:30 - 13:30 Uhr


Mit dem textorientierten Fakten-Banner steht uns ein sehr erfolgreiches Banner zur Verfügung. Leider ist es nicht personalisiert, anders als die Banner der letzten Spendenkampagne. Zwar befindet sich auf der Landing Page ein persönlicher Aufruf, doch ist dies auf den Bannern nicht ersichtlich. Folglich ist ebenso nicht erkennbar, wenn der Aufruf und Sprecher im Laufe der Kampagne wechseln. Dies ist jedoch von Bedeutung für die Dramaturgie einer Kampagne. Daher testeten wir nun zwei Banner, die die Ankündigung eines persönlichen Aufrufs mit dem Prinzip des Fakten-Banners kombinieren. Leider waren unsere neuen Bannerlayouts nicht sonderlich erfolgreich. Trotz teils identischer Klickraten spenden mehr Menschen im Rahmen des Faktenbanners. Interessant ist, dass die Landing Pages identisch sind. Das Faktenbanner überzeugt also bereits stärker vor dem Klick.


Banner Landingpage Impressions Besucher Anzahl Summe Durch-
schnitt
Click-
Through-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Besucher
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt_100
Kontroll Fakten_grün default 898800 3364 602 8540,90 14,19 0,00374 0,0006698 0,17895 0,009503 2,538912 14,10
Fakten/Foto_grün default 912300 3196 413 5954,50 14,42 0,00350 0,0004527 0,12922 0,006527 1,863110 14,41
Fakten/Foto_grün_weiss default 917600 2323 348 6569,09 18,88 0,00253 0,0003793 0,14981 0,007159 2,827848 15,88

--Tobias Schumann (WMDE) (Diskussion) 12:35, 25. Okt. 2012 (CEST)Antworten[Beantworten]

Test 6: neue Aufrufe: Wikipedia aus verschiedenen Perspektiven[Quelltext bearbeiten]

Dienstag, 30.10.2012, 11:10 - 13:10 Uhr


Endlich - die ersten Aufrufe, die nicht von Jimmy stammen, wurden getestet. In den letzten Wochen haben wir viele Interviews mit Menschen mit ganz unterschiedlichem Bezug zu Wikipedia geführt und dabei spannende Geschichten gehört. Auf deren Grundlage verfassen wir nun Spendenaufrufe für die kommende Kampagne. Perspektivenvielfalt ist dabei unser Ziel. In unsere erste Testrunde kamen ein Wikipedia-Autor, ein Spender und eine Wikimedia-Mitarbeiterin zu Wort. Gerd Seidel berichtet über seine fotografische Mitarbeit in Wikipedia und die besondere Bedeutung des Ehrenamts. Gunther Tutein schildert als Spender, warum er im letzten Jahr gespendet hat. Und Elly Köpf, Projektmanagerin bei Wikimedia, stellt die medienpädagogischen Workshops des Vereins vor. Als Vergleich schalteten wir den Aufruf des Wikipedia-Gründers. Wir finden, es sind interessante und informative Aufrufe entstanden - was denkt ihr? Feedback ist immer willkommen!

Zu den Ergebnissen: Leider ist es uns nicht gelungen einen Aufruf zu verfassen, der erfolgreicher als Jimmys ist. Trotzdem sind die Ergebnisse für uns sehr interessant. Am besten schnitt der Aufruf von Gunther ab, gefolgt von Gerd und Elly. Liegt es daran, dass sich die Leser am stärksten mit der Perspektive des Spenders identifizeren? Dies wäre eine mögliche Erklärung. Insgesamt erreichen wir allerdings bei weitem nicht die Spendenzahlen wie bei den Fakten-Bannern den letzten Tests.

Ein genauer Blick in die Zahlen ermöglicht eine detailliertere Analyse der Wirkung der Aufrufe. Zunächst muss beachtet werden, dass das Banner von Gerd offensichlich weitaus seltener geladen wurde. Dies sollte so nicht sein, eigentlich werden alle Banner gleichwertig geschaltet. Wir müssen nun herausfinden, ob hier ein technisches Problem bei der Bannerschaltung oder beim Messen vorliegt. Gesetzt den Fall, dass die Zahlen stimmen, zeigt der relative Wert Anzahl pro Impression, dass mehr Menschen bei Gerd spenden als bei Elly, auch wenn Ellys Aufruf in absoluten Zahlen vorne liegt. Auffällig ist weiterhin die im Vergleich ungewöhnlich hohe Klickrate bei Elly. Mehr als doppelt so viele Menschen reagierten auf ihr Banner als auf das von Jimmy. Anhand des Wertes Anzahl pro Besucher können wir sehen, welcher Aufrufstext am besten lief. Hier gibt es große Unterschiede. Während 1.4% der Leser von Gunthers Aufruf spendeten, waren es bei Elly nur 0,4%. Was wir hier erneut lernen können, ist die Bedeutsamkeit der verschiedenen Kampagnenelemente. Sowohl Bannerlayout (Foto) als auch Aufrufstext beeinflussen den Erfolg. Zwar klicken weitaus weniger Menschen auf das Banner von Gunther, im Endeffekt spenden jedoch mehr Menschen bei ihm, da sein Aufrufstext die Leser stärker überzeugt.

Habt ihr auch Lust mit einem Aufruf Wikipedia zu unterstützen? Meldet euch bei uns!


Banner Landingpage Impressions Besucher Anzahl Summe Durch-
schnitt
Click-
Through-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Besucher
Summe
pro
Imp.
Summe
pro
Besucher
% Frauen
Jimmy Aufruf Jimmy 1121600 11045 255 5525,36 21,67 0,00985 0,0002274 0,02309 0,004926 0,500259 20,54
Gunther Aufruf Gunther 1119600 9733 137 3428,50 25,03 0,00869 0,0001224 0,01408 0,003062 0,352255 17,09
Elly Aufruf Elly 1105900 23871 104 2676,00 25,73 0,02159 0,0000940 0,00436 0,002420 0,112103 25,88
Gerd Aufruf Gerd 840100 8976 84 2286,00 27,21 0,01068 0,0001000 0,00936 0,002721 0,254679 21,33

--Tobias Schumann (WMDE) (Diskussion) 14:16, 1. Nov. 2012 (CET)Antworten[Beantworten]


Test 7: Formulierung Fakten-Banner[Quelltext bearbeiten]

Donnerstag, 1.11.2012; 11:00 - 13:00 Uhr

Einer der zentralen Elemente für den Erfolg des Fakten-Banners ist der Satz: "Wenn jeder Leser 5€ spendet, wäre ..." Zwar überzeugt er sehr viele Menschen von der Notwendigkeit einer Spende. Leider führt er ebenso dazu, dass die Durchschnittsspende niedriger ist als üblich. Folglich war es unser Ziel diesen Effekt zu mindern, weshalb wir in diesem Test verschiedene Variationen des Bannertexts prüften. Allein die Ersetzung von "5€" durch "einen kleinen Beitrag" hat einen (statistisch signifikanten) Effekt, nur leider einen negativen. Die Spendenrate sinkt um 13 Prozent. Mit Hilfe von Erkenntnissen aus der Kommunikation mit Spendern und der Durchführung einer Fokusgruppen-Untersuchung schrieben wir weitere Textänderungen. Und die gute Nachricht ist: Eine unserer neuen Formulierungen des Bannertexts konnte den Rückgang ausgleichen, der durch die Ersetzung von "5€" entsteht. Das Banner erreichte eine praktisch identische Spendenquote. Dank der fehlenden Nennung von 5€ stieg allerdings der Durchschnittsbeitrag wieder an. Ziel erreicht!

Banner Landing
page
Impressions Klicks
Banner
Besucher Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt_100
Kontroll default 364320 4141 821 469 6354,50 13,55 0,011366 0,0012873 0,1132577 0,57125 0,017442 7,739951 13,23
"kleiner Beitrag" default 484990 5851 906 513 7996,27 15,59 0,012064 0,0010578 0,0876773 0,56623 0,016487 8,825905 15,59
Text neu 1 default 489940 5649 647 370 6797,22 18,37 0,011530 0,0007552 0,0654983 0,57187 0,013874 10,505750 17,56
Text neu 2 default 480040 7263 1022 601 10749,90 17,89 0,015130 0,0012520 0,0827482 0,58806 0,022394 10,518493 17,30

--Tobias Schumann (WMDE) (Diskussion) 15:25, 6. Nov. 2012 (CET)Antworten[Beantworten]


Test 8: Layout Formular und Spendenseiten[Quelltext bearbeiten]

Dienstag, 6.11. 11:30-14:30 Uhr

Durch die Einführung des ausklappbaren Fakten-Banners verändert sich der gesamte Prozess des Spendens. Bereits im geöffneten Banner trifft der Leser eine Entscheidung zu spenden, wählt einen Betrag aus und wird dann auf unsere Landing Page geleitet. Dort wird der Spendenprozess abgeschlossen. Bei der Analyse der letzten Tests fiel uns auf, dass rund 40% den Prozess auf der Spendenseite abbrechen - eine sehr hohe Quote, wenn man annimmt, dass die Spendenentscheidung bereits im Banner gefallen ist. Eine naheliegende Erklärung dafür war der Umstand, dass wir noch immer die alte Landing Page verwendeten. Diese sorgte eventuell für Ablenkung und Verwirrung, denn auf ihr wurden der Jimmy-Aufruf und das komplette Spendenformular inklusive Betragsauwahl erneut angezeigt. Um die Abbrecherquote zu verringern, modifizierten wir das Spendenformular, so dass nun Betrag, Periode und Zahlweise im ausgeklapptem Banner ausgewählt werden müssen und auf der Spendenseite dann nur noch die persönlichen Daten. Zudem testen wir verschiedene neue Layouts der Landing Page, die möglichst wenig ablenken und im besten Falle einen verstärkenden Effekt haben sollten.

Zu den Ergebnissen: Die Abbrecherquote auf der Landing Page (Anzahl pro lp) konnten wir deutlich verringern, jedoch füllen statt dessen weniger Menschen das Formular im Banner aus (lp besuch pro Klick; nicht in der Tabelle abgebildet). Vermutlich erscheint das neue Formular verbindlicher. Wir hatten ursprünglich angenommen, dass die Spendenentscheidung bereits feststeht, wenn das alte Bannerformular ausgefüllt wird. Nun zeigt sich, dass vermutlich einige Menschen schlicht sehen wollten, wie der Prozess weitergeht. Dennoch scheint die Umstellung des Formulars insgesamt einen leicht positiven Effekt zu haben, pro Klick auf das Banner spenden etwas mehr Menschen. Allerdings ist der Unterschied nicht statistisch signifikant. Hinsichtlich der neuen Layouts ist es erstaunlich, dass sämtliche, recht unterschiedliche Varianten keinen Einfluss auf den Spendenprozess haben. Positiv betrachtet können wir aber dank des Tests ausschließen, dass Ablenkung und Verwirrung die Gründe für den Abbruch des Spendenprozess sind.

Banner Landingpage Impressions Klicks
Banner
Besucher Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt
_100
Form_A Kontroll default 825700 8994 1007 481 8233,17 17,12 0,010893 0,0005825 0,0534801 0,47766 0,009971 8,175938 16,39
Form_B default 719200 7703 608 432 7751,63 17,94 0,010711 0,0006007 0,0560820 0,71053 0,010778 12,749391 17,06
Form_B leer 587900 6521 531 368 5973,77 16,23 0,011092 0,0006260 0,0564331 0,69303 0,010161 11,250038 16,32
Form_B Foto 704500 7679 593 425 6790,72 15,98 0,010900 0,0006033 0,0553457 0,71669 0,009639 11,451467 15,78
Form_B 5 Fakten 712300 7667 600 422 7301,54 17,30 0,010764 0,0005924 0,0550411 0,70333 0,010251 12,169233 16,35

--Tobias Schumann (WMDE) (Diskussion) 13:45, 9. Nov. 2012 (CET)Antworten[Beantworten]

Test 9: Spendenaufforderungen[Quelltext bearbeiten]

Donnerstag, 8.11.2012, 11:30-14:45 Uhr

Eine direkte Handlungsaufforderung spielt im Rahmen eines Spendenaufrufs eine wesentliche Rolle. Wie stark die Wirkung einzelner Sätze sein kann, zeigt der enorme Effekt dieser einzelnen Zeile: "Wenn jeder 5€/einen kleinen Beitrag spenden würde, wäre unsere Spendenkampagne in einer Stunde vorüber." In Test 9 überprüften wir die Wirkung vier verschiedener Handlungsaufforderungen direkt im Spendenformular. Um den generellen Sinn einer Aufforderung an dieser Stelle zu bewerten, schalteten wir auch eine Bannerversion ohne zusätzlichem Spendenaufruf.

Die Ergebnisse überraschten uns, da es kaum einen Unterschied zu machen scheint, ob und welche Handlungsaufforderung im Formular steht. Lediglich der Hinweis auf die häufigste und die durchschnittliche Spendensumme (Fakt_5/23) scheint zu geringfügig mehr Spende zu führen, allerdings vermutlich auf Kosten einer niedrigeren Durchschnitsssumme. Da die Ergebnisse nicht statistisch signifikant sind, haben wir keine Änderung im Spendenformular vorgenommen.

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt
_100
Fakt_ctrl 5_Fakten 725200 7019 537 388 5960,60 15,36 0,009679 0,0005350 0,0552785 0,72253 0,008219 11,099814 15,23
Fakt_ohne 5_Fakten 630300 5954 437 327 5925,74 18,12 0,009446 0,0005188 0,0549211 0,74828 0,009401 13,560046 16,44
Fakt_bittehelfen 5_Fakten 746700 6901 532 385 6210,29 16,13 0,009242 0,0005156 0,0557890 0,72368 0,008317 11,673477 15,74
Fakt_5/23 5_Fakten 757000 7171 575 417 5845,63 14,02 0,009473 0,0005509 0,0581509 0,72522 0,007722 10,166313 14,02
Fakt_wert 5_Fakten 858600 8012 609 436 7200,66 16,52 0,009331 0,0005078 0,0544184 0,71593 0,008387 11,823744 16,52

--Tobias Schumann (WMDE) (Diskussion) 18:26, 16. Nov. 2012 (CET)Antworten[Beantworten]

Test 10: Formulierung Banner II[Quelltext bearbeiten]

Dienstag, 13.11.2012, 11:30-15:15 Uhr

Mit Beginn der Kampagne galt es einen optimalen Start zu erwischen. Aus Sicherheit überprüften wir zwei Entscheidungen der Kampagnengestaltung, die auf knappen Ergebnissen des letzten Tests beruhten: zum einen die Entscheidung für die dropdown-Version und zum anderen die Ersetzung von "5€" durch "einen kleinen Beitrag" in der Handlungsaufforderung im Banner. Zudem probierten wir eine neue Formulierung des Bannertexts aus.

Unsere alten knappen Ergebnisse wurden mit diesem Test bestätigt. Es klicken mehr Menschen auf die dropdown-Version, was auch zu mehr Spenden führt. Die Erwähnung von 5€ führt zwar ebenso zu mehr Spenden, allerdings verringert sich die Durchschnittsspende zu stark. Mit unserer jetzigen Version liegen wir also richtig. Unser Versuch der Umformulierung des Bannerstexts hatte jedoch leider keinen Erfolg.

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt
_100
no_google 5_Fakten 941400 8442 550 362 6887,50 19,03 0,008967 0,0003845 0,0428808 0,65818 0,007316 12,522727 17,65
no_google2 5_Fakten 1068000 8597 472 294 4813,83 16,37 0,008050 0,0002753 0,0341980 0,62288 0,004507 10,198792 16,37
no_google_5€ 5_Fakten 1064200 8772 669 450 6025,32 13,39 0,008243 0,0004229 0,0512996 0,67265 0,005662 9,006457 13,06
no_drop_no_google 5_Fakten 948800 xxxx 4041 311 5634,50 18,12 0,00426 0,0003278 xxxx 0,07696 0,005939 1,394333 17,80

--Tobias Schumann (WMDE) (Diskussion) 18:26, 16. Nov. 2012 (CET)Antworten[Beantworten]


Test 11: Spendenaufforderungen[Quelltext bearbeiten]

14.11.2012; 18:15-21:45 Uhr

In unserem letzten Test hat sich noch einmal bestätigt, dass auf das Fakten-Banner mehr Menschen in der dropdown-Version klicken. Als einzigem Unterschied zu der nicht aufklappbaren Version kommt der kleinen "Lasche" am unteren Ende des Banners eine große Bedeutung zu. In unserem elften Test versuchten wir die Aufmerksamkeit dieses graphischen Elements zu nutzen und integrierten verschiedene Handlungsaufforderungen und probierten eine Layoutvariation. Zudem überprüften wir eine Änderung der vorgegebenen Spendensummen.

Laut unseren Ergebnissen scheinen mehr Menschen zu spenden, wenn die ausführliche Spendenaufforderungen (button_1 und button_2) in der dropdown-Lasche zu lesen ist. Eine Änderung der Summen im Spendenformular ergab keinen besonderen Unterschied.

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt
_100
Kontroll 5_Fakten 838700 5974 394 281 5198,46 18,50 0,007123 0,0003350 0,0470372 0,71320 0,006198 13,194061 18,50
Button_1 5_Fakten 836000 xxxx 432 301 5184,82 17,23 xxxx 0,0003600 xxxx 0,69676 0,006202 12,001898 xxxx
Button_2 5_Fakten 874300 6915 437 306 5186,14 16,95 0,007909 0,0003500 0,0442516 0,70023 0,005932 11,867597 16,78
Button_3 5_Fakten 830300 5625 429 277 5451,51 19,68 0,006775 0,0003336 0,0492444 0,64569 0,006566 12,707483 18,89
10/20/30 5_Fakten 845000 6127 355 260 4736,79 18,22 0,007251 0,0003077 0,0424351 0,73239 0,005606 13,343070 18,22

--Tobias Schumann (WMDE) (Diskussion) 14:27, 19. Nov. 2012 (CET)Antworten[Beantworten]


Test 12: Bannerlayout: Schriftdicke[Quelltext bearbeiten]

Donnerstag, 15.11.2012; 15:00-18:00 Uhr

Ein einfacher und doch erfolgreicher Test: Wir prüften, ob die Fettmarkierung der Schrift zu einer erhöhten Aufmerksamkeit führt und dadurch mehr Leser erreicht. Es sieht so aus, als ob dem so ist. Mit der dickeren Schrift erhöhte sich die Klick-Rate und einhergehend auch die Anzahl der Spenden.

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt
_100
normal 5_Fakten 1785800 12556 661 419 7722,00 18,43 0,007031 0,0002346 0,0333705 0,63389 0,004324 11,682300 18,07
fett 5_Fakten 1805900 14232 716 476 8515,49 17,89 0,007881 0,0002636 0,0334458 0,66480 0,004715 11,893142 17,57

--Tobias Schumann (WMDE) (Diskussion) 14:27, 19. Nov. 2012 (CET)Antworten[Beantworten]


Test 13: Formulierung Fakten-Banner III (Google/Yahoo/FB)[Quelltext bearbeiten]

Freitag, 16.11.2012; 12:30-15:30

Diesmal arbeiteten wir am Text des Banners und testeten alternative Formulierungen rund um den Vergleich zu anderen populären Webseiten. Die explizite Nennung von Google/Yahoo oder Google/Facebook (statt "anderer Top-Webseiten") scheint zu einer leichten Steigerung der Spendenzahlen zu führen (+9%). Jedoch ist der Unterschied nicht signifikant (Chi-Quadrat-Test). Angesichts des knappen Ergebnisses entschieden wir uns dafür unseren aktuellen Text beizubehalten.


Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt
_100
ctrl 5_Fakten 702500 4753 271 194 4169,50 21,49 0,006766 0,0002762 0,0408163 0,71587 0,005935 15,385609 21,49
go_yahoo 5_Fakten 705800 5203 293 213 3944,50 18,52 0,007372 0,0003018 0,0409379 0,72696 0,005589 13,462457 17,81
go_fb 5_Fakten 802100 6030 323 237 4276,00 18,04 0,007518 0,0002955 0,0393035 0,73375 0,005331 13,238390 18,04
no_go2 5_Fakten 808900 5869 297 184 4059,51 22,06 0,007256 0,0002275 0,0313512 0,61953 0,005019 13,668384 20,43

--Tobias Schumann (WMDE) (Diskussion) 15:27, 25. Nov. 2012 (CET)Antworten[Beantworten]


Test 14 und Test 15: Bannerfarbe & Aufrufslänge[Quelltext bearbeiten]

Test 14 am Freitag, 16.11.2012, 18:30-20:45 Uhr und Test 15 am Montag, 19.11.2012, 14:40-16:30 Uhr

Mit dem Text des Banners wird versucht die Wikipedia Leser direkt von einer Spende zu überzeugen. Wenn Sie auf das Banner klicken, sind sie dann schon fest von einer Spende überzeugt? Wie wichtig ist der lange Spendernaufruf von Jimmy - wird er überhaupt vollständig gelesen? Wir testeten eine gekürzte Version des Aufrufs im aufgeklapptem Banner (Test 14, "kurz/grün") und sahen, dass dies einen negativen Einfluss hat.

Der wesentliche Fokus in Test 14 und 15 lag jedoch auf der Farbe des Banners. Zwar hatten wir bereits einmal gesehen, dass Grün erfolgreicher als Blau und Grau ist. Angesichts des Erfolgs von Blau in den Bannern der WMF wollten wir noch einmal auf Nummer sicher gehen. In Test 14 lief dann tatsächlich Blau besser als Grün. Diese gegensätzlichen Ergebnisse sind nicht vertrauenswürdig. Technischer Nachteil unserer Testkonfiguration ist, dass einem Besucher alle Banner nacheinander angezeigt werden. So können wir nicht ausschließen, dass sie sich gegenseitig beeinflussen. Im Farbentest könnte nun genau solch ein Fall vorliegen. Sind wie in Test 14 zwei Drittel der angezeigten Banner grün, dann sticht die seltenere blauere Abwechslung hervor und könnte dadurch eine erhöhte Aufmerksamkeit erzeugen. Mit Test 15 versuchten wir eine alternative Testkonfiguration. Üblicherweise testen wir parallel A/B, um den Einfluss unterschiedlicher Uhrzeiten auszuschließen. Nun testeten wir A/B/A/B sequenziell im Halbstundentakt. So konnten wir realisieren, dass ein Leser beim Klicken durch Wikipedia nur ein Banner sieht. Durch die kurzen Zeitabstände von 30 Minuten hofften wir zeitliche Schwankungen der Wikipedia-Nutzung klein zu halten. Zuletzt aggregierten wir die Spendenzahlen der halbstündigen Testabschnitte. Laut den Ergebnissen hat ist der Unterschied zwischen den beiden Farben doch nicht so stark wie gedacht, dennoch liegt Grün leicht vorn. Auch wenn wir hier auf methodisch unsicherm Fuß stehen, entschieden wir uns für das zwei mal erfolgreiche Grün.

Test 14

Banner Landingpage Impressions Klicks
Banner
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Summe
pro
Imp.
grün/lang 5_Fakten 684100 5125 237 4179,00 17,63 0,007492 0,0003464 0,0462439 0,006109
blau/lang 5_Fakten 689900 5633 255 5062,33 19,85 0,008165 0,0003696 0,0452690 0,007338
grün/kurz 5_Fakten 695000 5249 203 3652,00 17,99 0,007553 0,0002921 0,0386740 0,005255

Test 15

Banner Landingpage Impressions Klicks
Banner
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Summe
pro
Imp.
grün 5_Fakten 1375900 8503 216 4230,01 19,58 0,006180 0,0001570 0,0254028 0,003074
blau 5_Fakten 1395200 8431 195 3556,24 18,24 0,006043 0,0001398 0,0231289 0,002549

--Tobias Schumann (WMDE) (Diskussion) 15:27, 25. Nov. 2012 (CET)Antworten[Beantworten]


Test 16: Aufrufe im Banner[Quelltext bearbeiten]

Montag, 19.11.2012; 19:00-21:00 Uhr

Welch ein Rekord: 1.500.000. Nein, die Rede ist nicht von Spendeneinnahmen. Gemeint ist die Anzahl der Artikel in der deutschen Wikipedia, die diesen Meilenstein überschritten hat. Aus diesem Anlass schalteten wir im Rahmen des Tests für kurze Zeit ein Banner, dass den vielen ehrenamtlichen Autoren Danke sagt.

Das aktuelle grüne Textbanner überzeugt einen Großteil der Menschen von einer Spende, bevor sie auf das Banner klicken. Zuletzt hatten wir in Test 14 gesehen, dass dennoch der aufklappende Aufruf eine wichtige Rolle spielt. Im aktuellen Test wollten wir sehen, wie unterschiedliche persönliche Spendenaufrufe im Zusammenhang mit dem Textbanner wirken. Dazu testeten wir Jimmys Aufruf gegen den Aufruf von Gunther Tutein, einem Wikipedia Spender, dessen Text bereits recht gut funktionierte. Die Ergebnisse sind sehr vielversprechend: War der Unterschied zwischen beiden Aufrufen in Test 6 noch sehr deutlich, so lief der Aufruf von Gunther Tutein diesmal fast genauso gut wie der von Jimmy. Unsere These ist, dass der Bannertext das wesentliche Element zur Spenderüberzeugung ist, so dass Aufrufe, die für sich allein genommen weniger stark überzeugend sind, nun an Überzeugungskraft gewinnen.

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt
_100
Fakten_Jimmy 5_Fakten 945900 5686 265 196 4026,00 20,54 0,006011 0,0002072 0,0344706 0,73962 0,004256 15,192453 18,91
Fakten_Gunther 5_Fakten 909600 5512 241 185 3947,00 21,34 0,006060 0,0002034 0,0335631 0,76763 0,004339 16,377593 19,71
Artikeljubiläum 5_Fakten 433100 1074 56 32 620,00 19,37 0,002480 0,0000739 0,0297952 - - - 19,37

--Tobias Schumann (WMDE) (Diskussion) 15:27, 25. Nov. 2012 (CET)Antworten[Beantworten]


Test 17: Jimmy's Aufruf vs. Fakten-Banner[Quelltext bearbeiten]

Dienstag 20.11.2012; 10:30-13:00 Uhr

Nach einer Woche Kampagnenlaufzeit sahen wir, dass die tägliche Spendenzahl unverhofft stark abfiel. Wäre es möglich, dass wir mit dem klassischen Jimmy-Banner aus dem letzten Jahr mittlerweile eine größere Anzahl von Menschen von einer Spende überzeugen könnten? Einen Versuch war es wert - und tatsächlich stieg die Zahl der Spenden deutlich an. In unserem ersten Test des Jimmy Aufrufs gegen das Fakten-Banner hatte letzteres noch 185% mehr Spenden erzeugt. Nun steigert der Jimmy Banner die Spendenzahl um mehr als 30%. (Anz./Imp. statistisch signifikant, Chi-Quadrat-Test: p=0,00009) Zusätzliche Sicherheit hinsichlich des Ergebnisses gibt uns eine neue technische Funktion der Bannerschaltung, mit der Lesern in einem Test jeweils nur eines der zu testenden Banner angezeigt wird.


Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Summe
pro
Besucher
Durch-
schnitt
_100
Fakten_grün 5_Fakten 1374800 8242 398 271 5593,00 20,64 0,005995 0,0001971 0,0328804 0,68090 0,004068 14,052764 18,63
Jimmy Aufruf Jimmy 1364300 x 15464 367 8492,00 23,14 0,01133 0,0002690 x 0,02373 0,006224 0,549146 22,32

--Tobias Schumann (WMDE) (Diskussion) 18:00, 26. Nov. 2012 (CET)Antworten[Beantworten]


Test 18: Layout Jimmy Banner[Quelltext bearbeiten]

Mittwoch, 22.11.; 14:45-16:15 Uhr

Heute versuchten wir ein neues Layout des Jimmy Banners, das mit einem farblichen Hintergrund und weißer Schrift versucht mehr Aufmerksamkeit zu erzeugen. Leider führt das neue Layout zu einer geringeren Klickrate und daher zu weniger Spenden.


Banner Landingpage Impressions Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
LP
Summe
pro
Imp.
Jimmy ctrl Jimmy Aufruf 978200 9323 155 3292,50 21,24 0,00953 0,0001585 0,01663 0,003366
Jimmy grün Jimmy Aufruf 972800 7121 118 2566,62 21,75 0,00732 0,0001213 0,01657 0,002638

(Unterschiede Anz./Imp. & Klicks/Imp. statistisch signifikant; Chi-Quadrat-Test: p= 0,028 und p= 2,2e-16)

--Tobias Schumann (WMDE) (Diskussion) 18:00, 26. Nov. 2012 (CET)Antworten[Beantworten]


Test 19 und Test 20: Integration Fakten-Banner auf Spendenseite[Quelltext bearbeiten]

Test 19: Mitttwoch, 21.11., 16:15 - Donnerstag, 22.11., 10:00 Uhr; Test 20: Donnerstag, 22.11., 15:00-17:00 Uhr

In diesen zwei Tests integrierten wir das Fakten-Banner auf unserer Landing Page um zu sehen, ob auf diese Weise mehr Menschen überzeugt werden können. Es konnte tatsächlich eine leichte Steigerung erreicht werden. Eine zweite, umformulierte Variante in Test 20 lief dagegen nicht so gut.

Test 19

Banner Landingpage Impressions Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
LP
Summe
pro
Imp.
Jimmy default 5619200 52544 1030 22368,94 21,72 0,00935 0,0001833 0,01960 0,003981
Jimmy Fakten 5660000 52409 1120 26269,10 23,45 0,00926 0,0001979 0,02137 0,004641

Anzahl Spenden pro LP statistisch signifikant (Chi Quadrat, p=0,04323)

Test 20

Banner Landingpage Impressions Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
LP
Summe
pro
Imp.
Jimmy Fakten_ctrl 1232400 10984 184 4166,01 22,64 0,00891 0,0001493 0,01675 0,003380
Jimmy Fakten_alt 1236800 10938 161 3473,36 21,57 0,00884 0,0001302 0,01472 0,002808

Anzahl Spenden pro LP statistisch nicht signifikant (Chi-Quadrat-T., p=0,2267)

--Tobias Schumann (WMDE) (Diskussion) 18:00, 26. Nov. 2012 (CET)Antworten[Beantworten]


Test 21: neue Aufrufe[Quelltext bearbeiten]

Freitag, 23.11., 12:10-14:30 Uhr

Heute testeten wir die zweite Runde neuer Aufrufe. Wieder zeigten wir einen Aufruf von je einem Wikipedia-Autor, einer Wikipedia-Spenderin und einem Wikimedia-Mitarbeiter. Autor Harald Krichel beschreibt seinen ersten Kontakt mit Wikipedia und die Faszination, die dies auslöste. Spenderin Solveig Wehking erklärt die gesellschaftliche Bedeutung der Online-Enzyklopädie. Till Mletzko vergleicht Wikipedia mit einer klassischen Bibliothek, um ihre einmaligen Eigenschaften zu verdeutlichen. Leider gelang es uns wiederum nicht einen Aufruf zu finden, der besser als Jimmys läuft, konnten aber tiefere Einsicht in das Schreiben von Aufrufen erlangen.

Banner Landingpage Impressions Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
LP
Summe
pro
Imp.
Durch-
schnitt
_100
Jimmy Aufruf Jimmy 515900 4274 99 2005,00 20,25 0,00828 0,0001919 0,02316 0,003886 20,25
Till Aufruf Till 583000 5368 74 1838,00 24,84 0,00921 0,0001269 0,01379 0,003153 24,84
Solveig Aufruf Solveig 583300 5001 57 2235,00 39,21 0,00857 0,0000977 0,01140 0,003832 23,42
Harald Aufruf Harald 493100 4562 58 1057,00 18,22 0,00925 0,0001176 0,01271 0,002144 18,22

--Tobias Schumann (WMDE) (Diskussion) 11:51, 28. Nov. 2012 (CET)Antworten[Beantworten]


Test 22, 23 und 24: Gelbe Version des Faktenbanners[Quelltext bearbeiten]

Freitag, 23.11.; Test 22: 14:30-16:00 Uhr; Test 23: 16:00-17:30 Uhr; Test 24: 17:30-20:15 Uhr

Mit dieser Testrunde prüften wir die Wirkung des Fakten-Banners mit gelbem Hintergrund und schwarzer Schrift. Sowohl der direkte Vergleich zwischen grünem und gelbem Banner (Test 22) als auch zwischen dem Banner mit Jimmy's persönlichem Aufruf und der gelben Version des Textbanners (Test 23) zeigten einen klaren Anstieg der Spenden. Folglich schalteten wir das Faktenbanner im neuen farblichen Gewand live. Angesichts dieses Ergebnisses - lagen wir in den letzten Tagen falsch mit Entscheidung für das Jimmy Banner? Nein, denn an den Ergebnissen können wir sehen, dass Jimmy's Banner weiterhin besser läuft als die grüne Faktenversion: Während mit der neuen Farbvariante in Test 22 eine Steigerung der Spende/Imp. um 123,6 % erreicht wurde, waren es in Test 23 nur 87,3 %.

Angesichts der Steigerung durch Jimmy's Aufruf Anfang dieser Woche, vermuteten wir, dass auf das Faktenbanner und den Jimmy Banner unterschiedliche Zielgruppen reagieren. Wäre es vielleicht möglich, beide Gruppen zur gleichen Zeit anzusprechen, in dem beide Banner für alle Besucher nacheinander angezeigt werden? Dies versuchten wir in Test 24 zu analysieren. Leider gelang uns kein Erfolg. Gruppe B, der beide Banner angezeigt wurden, schnitt schlechter ab als Gruppe A, die nur das gelbe Faktenbanner sah.

Test 22

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Fakten_gelb 5_Fakten 768400 6485 328 263 5257,44 19,99 0,008440 0,0003423 0,0405551 0,80183 0,006842
Fakten_grün 5_Fakten 777500 4160 173 119 3356,00 28,20 0,005350 0,0001531 0,0286058 0,68786 0,004316

Anzahl Spenden pro Imp. statistisch signifikant (Chi Quadrat, p = 7.221e-14)

Test 23

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Fakten_gelb 5_Fakten 714600 5677 329 223 3949,00 17,71 0,00794 0,0003121 0,0392813 0,67781 0,005526
Jimmy Aufruf Jimmy 726300 x 6260 121 2321,00 19,18 0,00862 0,0001666 x 0,01933 0,003196

Anzahl Spenden pro Imp. statistisch signifikant (Chi Quadrat, p=1.596e-08)

Test 24

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Gruppe A Fakten_gelb 5_Fakten 1193800 9279 602 414 9473,63 22,88 0,007773 0,0003468 0,0446169 0,68771 0,007936
Gruppe B 1200900 4819 6127 341 7394,54 21,68 0,008875 0,0002840 x x 0,006157
Fakten_gelb 5_Fakten 603100 4819 288 196 3768,54 19,23 0,007990 0,0003250 0,0406723 0,68056 0,006249
Aufruf Jimmy Aufruf Jimmy 597800 x 5839 145 3626,00 25,01 0,00977 0,0002426 x 0,02483 0,006066

Unterschied Anzahl Spenden pro Imp. Gruppe A und B statistisch signifikant (Chi Quadrat, p=0,006169)

--Tobias Schumann (WMDE) (Diskussion) 11:51, 28. Nov. 2012 (CET)Antworten[Beantworten]


Test 25, 26 & 27: neues Design Fakten-Banner[Quelltext bearbeiten]

Ein neues Layout des Faktenbanners der WMF schien äußerst gut zu funktionieren. Es ist dezenter gestaltet mit kleinerer Schrift und geringerer Höhe. Völlig neu ist, dass es für den Leser sichtbar bleibt, auch wenn er den Bildschirm nach unten scrollt. In Tests prüften wir das neue Design, einmal mit (Test 25) und einmal ohne "Klebefunktion" (Test 26). Da das neue Design einen Fließtext enhält, testen wir zusätzlich eine Version, bei der der Text wie gehabt in Balken formatiert ist (Test 27).

Das neue Banner ist sehr erfolgreich, allerdings nur in Kombination mit der neuen Funktion (Test 26). Eine schlichte Layoutänderung bringt keine Verbesserung der Spendeneinnahmen (Test 25). Überraschend für uns ist, dass die Balkenformatierung, von der wir uns eine leichtere Lesbarkeit erhofft hatten, schlechter läuft als Fließtext.


Test 25, Montag, 26.11., 14:15 - 16:30 Uhr

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Durch-
schnitt
_100
ctrl Fakten_gelb 5_Fakten 1480200 9011 345 214 4174,77 19,51 0,006088 0,0001446 0,0237488 0,62029 0,002820 19,51
var Fakten_gelb 5_Fakten 1501700 2821 334 219 4367,35 19,94 0,001879 0,0001458 0,0776320 0,65569 0,002908 19,94


Test 26, Montag, 26.11., 16:30 - 19:00 Uhr

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Durch-
schnitt
_100
Fakten_gelb_ctrl 5_Fakten 1655300 10616 454 311 7213,83 23,20 0,006413 0,0001879 0,0292954 0,68502 0,004358 22,23
Fakten_gelb_sticky 5_Fakten 1434400 7718 887 624 14304,51 22,92 0,005381 0,0004350 0,0808500 0,70349 0,009972 21,32

Differenz Anzahl/Imp. statistisch signifikant (Chi-Quadrat-Test, p-value < 2.2e-16 )

Differenz Klick/Imp. statistisch signifikant (Chi-Quadrat-Test, p-value < 2.2e-16 )

Differenz Spende/Klick statistisch signifikant (Chi-Quadrat-Test, p-value < 2.2e-16 )


Test 27, Dienstag, 27.11., 13:00-14:45 Uhr

Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Fließtext 5_Fakten 830900 13140 526 383 7311,07 19,09 0,015814 0,0004609 0,0291476 0,72814 0,008799
Balken 5_Fakten 816100 13018 428 295 5923,05 20,08 0,015951 0,0003615 0,0226609 0,68925 0,007258

Differenz Anzahl/Imp. statistisch signifikant (Chi-Quadrat-Test, p-value = 0.00165)

--Tobias Schumann (WMDE) (Diskussion) 13:12, 30. Nov. 2012 (CET)Antworten[Beantworten]


Test 28: Aufrufe im Fakten-Banner: Jimmy, Gunther, Till[Quelltext bearbeiten]

Dienstag, 27.11., 14:45-17:00 Uhr

Erneut prüften wir die Wirkung verschiedener Aufrufe im aufgeklappten Banner. Neben Jimmy testeten wir unsere bisher zwei besten Texte: den Aufruf von Wikipedia-Spender Gunther Tutein und von Till. Auch dieses Mal lag Jimmy vorn. Jedoch ist der Unterschied nicht gravierend, weshalb wir uns dazu entschieden, zu Gunsten einer abwechslungs- und perspektivenreicheren Kampagne Jimmy's Aufruf durch den von Till zu ersetzen.


Banner Landingpage Impressions Klicks
Banner
Be-
sucher
Anzahl Summe Durch-
schnitt
Klick-
Rate
Anzahl
pro
Imp.
Anzahl
pro
Klick
Anzahl
pro
LP
Summe
pro
Imp.
Jimmy 5_Fakten 1107000 18898 663 484 11005,50 22,74 0,017071 0,0004372 0,0256112 0,73002 0,009942
Till 5_Fakten 1112400 18970 593 411 7890,00 19,20 0,017053 0,0003695 0,0216658 0,69309 0,007093
Gunther 5_Fakten 1112600 18940 619 407 8411,02 20,67 0,017023 0,0003658 0,0214889 0,65751 0,007560

--Tobias Schumann (WMDE) (Diskussion) 13:12, 30. Nov. 2012 (CET)Antworten[Beantworten]


Test 29 & 30: Wer spricht da?[Quelltext bearbeiten]

Mit dem Aufruf, der aktuell in den Bannern zu lesen ist, haben wir einen recht erfolgreichen Text geschrieben. Da er noch nicht ganz mit dem Aufruf von Jimmy mithalten kann, gilt es weitere Erkenntnisse über die Wirkung von Aufrufe zu gewinnen. In den kommenden Tests werden wir nun stärker inhaltlich mit und an Aufrufstexten arbeiten. In Test 29 sahen wir, dass die explizite Nennung von Kosten einen kleinen Effekt zu haben scheint. In Test 30 untersuchten wir die Wirkung unterschiedlicher Sprecher. Da der aktuelle Aufruf keine individuell biographische Geschichte enthält, gab er uns dazu die Möglichkeit. Interessanterweise spielt es bei diesem Text praktisch keine Rolle, wer als Sprecher des Texts erscheint. Ein möglicher Effekt könnte aber sein, dass ein leicht größerer Anteil von Frauen spendet, wenn der Sprecher ebenso eine Frau ist.


test 29, Mittwoch, 28.11., 13:00-15:00 Uhr

Banner LandingPage Impressions Banner-
Klicks
Besucher Spenden Summe Durch-
schnitt
Banner-
Klick/
Impression
Spende/
Imp
Spende/
Banner-
Klick
Spende/
Besucher
ctrl 5_Fakten 905400 13511 475 331 6430.50 19.13 0.014923 0.0003656 0.02450 0.69684
ohne_Kosten 5_Fakten 912100 13323 440 315 7624.06 21.35 0.014607 0.0003454 0.02364 0.71591

Differenz Spende/Klick nicht statistisch signifikant (Chi-Quadrat-Test, p-value= 0.6477)

test 30, Mittwoch, 28.11., 15:00 - 00:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
% Frauen
Till 5_Fakten 1736700 31829 959 694 16802.61 24.21 0.018327 0.0003996 0.02180 0.72367 21.38
Alice 5_Fakten 1994900 35740 1105 774 17175.25 22.19 0.017916 0.0003880 0.02166 0.70045 24.29
Pavel 5_Fakten 1980100 36148 1058 733 14918.02 20.35 0.018256 0.0003702 0.02028 0.69282 22.30
Elly 5_Fakten 1757800 31780 986 699 14908.77 21.33 0.018079 0.0003977 0.02199 0.70892 27.35

--Tobias Schumann (WMDE) (Diskussion) 13:12, 30. Nov. 2012 (CET)Antworten[Beantworten]


Test 31: Text Faktenbanner: Liebe Leser[Quelltext bearbeiten]

Donnerstag, 29.11., 11:00-16.00 Uhr

Eine direkte Ansprache kann eine starke Überzeugungsfunktion besitzen. Mit diesem Test analysierten wir eine Textänderung der WMF im Faktenbanner. Nun beginnt der Text mit der Anrede: "Liebe Wikipedia-Leser" und endet mit einem "Vielen Dank". Anhand der Ergebnissen können wir sehen, dass diese Änderung tatsächlich zu mehr Spenden führt. Die Spendenrate (Anzahl/Imp) konnte um 18% gesteigert werden.

Banner
Tracking
Landing
Page
Impressions Banner
Klicks
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
LP-
Besucher
Anzahl
pro
Besucher
Betrag
pro Imp
ctrl. 5_Fakten 2057500 28137 674 14027.00 20.81 0.013675 0.0003276 0.02395 995 0.67739 0.0068175
Liebe Leser 5_Fakten 2046900 28728 791 16356.02 20.68 0.014035 0.0003864 0.02753 1134 0.69753 0.0079906

Unterschied Anz/Imp. statistisch signifikant (p-value = 0.001456)

--Tobias Schumann (WMDE) (Diskussion) 17:45, 7. Dez. 2012 (CET)Antworten[Beantworten]


Test 32: Scroll-Down-Button[Quelltext bearbeiten]

Donnerstag, 29.11.2012, 16:00-20:30 Uhr

Es ist schon erstaunlich, wie kleine Änderungen große Auswirkung haben können. Wir testeten diesmal eine winzige Grafik, die in der Lasche des Fakten-Banners anzeigen soll, dass sich das Banner nach unten öffnet. Die Grafik war bereits zuvor in der großen Faktenbanner-Versionen zum Einsatz gekommen, nun aber in der kleineren Variante nicht mehr enthalten. Nach unserem Test wollen wir nicht mehr auf sie verzichten. Die Klick-Rate erhöhte sich um ganze 35%. Natürlich sind darunter auch viele Wikipedia-Leser, die lediglich neugierig sind. Dennoch erreichen wir mit unserem Aufruf viel mehr Menschen, so dass auch die Spendenrate (Anzahl/Imp) um 13% anstieg.

Banner
Tracking
Landing
Page
Impressions Banner
Klicks
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
ctrl 5_Fakten 1840000 30927 752 16412.84 21.83 0.016808 0.0004087 0.02432 0.0089200
Icon 5_Fakten 1813500 41087 842 18885.76 22.43 0.022656 0.0004643 0.02049 0.0104140

Unterschied Anz/Imp. statistisch signifikant (p-value = 0.01095)

Unterschied Klick/Imp. statistisch signifikant (p-value < 2.2e-16)

--Tobias Schumann (WMDE) (Diskussion) 17:45, 7. Dez. 2012 (CET)Antworten[Beantworten]


Test 33: Sicherheits-Hinweis[Quelltext bearbeiten]

Freitag, 30.11., 15:30-19:00 Uhr

Im aktuellen Spedenprozess mit dem Drop-down Banner werden die Spender nach Ausfüllen des Formulars auf unsere verschlüsselte Landing Page geleitet, wo sie mit sicherer Verbindung ihre Daten eingeben können. Leider gibt es hier eine 30%ige Abbrecherquote. Darunter sind Personen, die sich einen Spaß machen möchten und an unserer Plausibiltätsüberprüfung scheitern und Spender, deren Transaktionen nicht zustande kommen. Dennoch ist die Zahl der Abbrecher recht hoch. In Test 8 konnten wir bereits sehen, dass das Layout der LP vermutlich nicht der Grund der Abbrecher ist. Eine weitere Vermutung war die potentielle Verwunderung der Spender, dass sie auf eine andere Seite weitergeleitet werden. Diese wollten wir verringern, in dem beim Klick auf das Spenden-Button im Banner nun ein Hinweis auf die Weiterleitung aus Sicherheitsgründen erfolgt. Zu einer Minderung der Abbrecherquote führte dies leider nicht, jedoch immerhin zu dem Erkenntnisgewinn, dass die Weiterleitung auf die Landing Page kein Grund für einen Abbruch ist.

Banner
Tracking
Landing
Page
Impressions Banner
Klicks
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
ctrl. 5_Fakten 1317700 27244 644 15553.04 24.15 0.020675 0.0004887 0.02364 0.0118032
ssl-Hinweis 5_Fakten 1326600 26887 619 13942.21 22.52 0.020268 0.0004666 0.02302 0.0105097

--Tobias Schumann (WMDE) (Diskussion) 17:45, 7. Dez. 2012 (CET)Antworten[Beantworten]


Test 34, 35 & 37: Formulierungen + Sprecher Aufrufstext[Quelltext bearbeiten]

In diesen Tests über längere Zeiträume versuchten wir verschiedene kleinere Textänderungen am Aufrufstext. Wir änderten die explizite Spendenaufforderung (Test 34) und ergänzten einen zusätzlichen Appell (Test 35). Alle versuchten Textänderungen hatten praktisch keine Auswirkung. Ebenso führte ein Wechsel der Sprecherrolle (Pavel als Mitarbeiter vs. Vorstand) zu keiner signifikanten Änderung (Test 36).


Test 34, Freitag, 30.11., 20:00 Uhr - Sonntag, 2.12., 14:30 Uhr

Banner
Tracking
Landing
Page
Impressions Banner
Klicks
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
ctrl 5_Fakten 3266600 87677 1904 42850.45 22.51 0.026840 0.0005829 0.02172 0.0131178
var_2 5_Fakten 3747700 99776 2187 48507.85 22.18 0.026623 0.0005836 0.02192 0.0129434
var_3 5_Fakten 3766500 99841 2194 50402.21 22.97 0.026508 0.0005825 0.02197 0.0133817
var_1 5_Fakten 3287500 87253 1928 44210.40 22.93 0.026541 0.0005865 0.02210 0.0134480

Test 35, Sonntag, 2.12., 14:30 Uhr - Montag, 3.12., 14:45 Uhr

Banner
Tracking
Landing
Page
Impressions Banner
Klicks
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
ctrl 5_Fakten 5849500 131660 2588 60299.82 23.30 0.022508 0.0004424 0.01966 0.0103085
var_1 5_Fakten 5911200 132308 2638 59400.66 22.52 0.022383 0.0004463 0.01994 0.0100488

Test 37, Montag, 3.12., 19:15 Uhr - Dienstag, 4.12., 11:30 Uhr

Banner
Tracking
Landing
Page
Impressions Banner
Klicks
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
% Frauen
Till 5 Fakten 1766100 42743 840 19087.72 22.72 0.024202 0.0004756 0.01965 0.0108078 25.37
Pavel_Vo 5_Fakten 1738100 42567 815 17461.23 21.42 0.024491 0.0004689 0.01915 0.0100462 25.24
Pavel_Mi 5_Fakten 1777200 43077 797 19646.53 24.65 0.024239 0.0004485 0.01850 0.0110548 22.69

alle Tests nicht statistisch signifikant

--Tobias Schumann (WMDE) (Diskussion) 17:45, 7. Dez. 2012 (CET)Antworten[Beantworten]


Test 36 & 43: Sticky-Funktionstest[Quelltext bearbeiten]

Unser aktuelles Banner bleibt sichtbar, wenn man den Bildschirm nach unten scrollt. Die technische Umsetzung dieses Prinzips läuft jedoch nicht völlig sauber, das Banner "springt" beim Scrollen erst in die feste Position. Eine überarbeitete Programmierung korrigiert diesen Effekt nun. Ungetestet wollten wir die neue Variante jedoch nicht übernehmen.

Erstaunlicherweise reagieren die Wikipedia-Leser tatsächlich unterschiedlich auf die zwei Varianten. Während die umspringende Version zwischen 8% und 6% mehr Menschen zum Klicken animierte, spendeten in der statischen Variante ein größerer Anteil derjenigen, die das Banner öffneten (rund 10%). Der Zuwachs in der Klickrate lässt sich eventuell erklären, durch eine höhere Aufmerksamkeit, die das springende Banner generiert. Allerdings scheinen diese zusätzlich erreichten Menschen wenig von einer Spende überzeugt zu sein, denn insgesamt laufen beide Versionen des Banner gleicht gut und erreichen nahezu identische Werte bei der Spende pro Impression.

Da uns die Ergebnisse bei einem ersten kürzeren Test überraschten, wiederholten wir ihn für einen sehr langen Zeitraum, so dass wir nun Gewissheit hinsichtlich des identischen Erfolgs haben. Angesichts der angenehmeren Wahrnehmung zeigen wir ab jetzt die überarbeitete Variante.

Test 36, Montag, 3.12., 14:45-19:15 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
ctrl 5_Fakten 1912200 37550 903 628 14793.68 23.56 0.019637 0.02405 0.0003284 0.01672 0.69546
sticky_neu 5_Fakten 1940300 35669 923 601 13498.50 22.46 0.018383 0.02588 0.0003097 0.01685 0.65114

Test 43, Sonntag, 9.12., 14:30 - Dienstag, 11.12., 16:45 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
ctrl 5_Fakten 12612500 211079 5718 3977 87053.16 21.89 0.016736 0.02709 0.0003153 0.01884 0.69552
sticky neu 5_Fakten 12854800 199427 5907 4080 94801.39 23.24 0.015514 0.02962 0.0003174 0.02046 0.69071

Klick-Rate: -7,30% (statistisch signifikant, p-value < 2.2e-16)

Besucher/Klick: +9,34% (statistisch signifikant, p-value = 1.035e-06)

Spende/Imp: +0,66% (statistisch nicht signifikant, p-value = 0.7691)


--Tobias Schumann (WMDE) (Diskussion) 17:18, 14. Dez. 2012 (CET)Antworten[Beantworten]


Test 38 & 42: Formulierung Text Faktenbanner[Quelltext bearbeiten]

In den letzten Tests konnten wir oft feststellen, dass leichte Änderungen im Text des Aufrufs keinen Unterschied hinsichlich der Spendenanzahl machten. In diesen zwei Tests arbeiteten wir daher am Text des Banners. Lässt man den die fehlenden Gebühren unerwähnt, dann sinken Klickrate und Spendenbereitschaft in einem geringen Maße (Test 38). Die explizite Nennung von Kostenpunkten und das Weglassen des Hinweises auf die Selbstverständlichkeit im Alltag (aus Platzgründen) führt dagegen zu einer leichten Steigerung der Spendenrate (Spende/Imp: + ~7%).


Test 38, Dienstag, 4.12., 11:30-15:15 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
ctrl 5_Fakten 1510200 26277 750 515 11470.05 22.27 0.017400 0.000497 0.02854 0.0003410 0.01960 0.68667
var 5_Fakten 1542200 25423 710 460 9694.95 21.08 0.016485 0.000460 0.02793 0.0002983 0.01809 0.64789

Klick Rate: -5,26 % (p-value = 5.918e-10)


Test 42, Freitag, 7.12., 13:20 - Sonntag, 9.12., 14:30 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
ctrl 5_Fakten 9069600 166528 4906 3708 83480.55 22.51 0.018361 0.0004088 0.02227 0.75581
mit_Kosten 5_Fakten 9035800 166669 5253 3940 91454.85 23.21 0.018445 0.0004360 0.02364 0.75005

Spende/Imp: +6,69%; Differenz statistisch signifikant (p-value = 0.004679)

--Tobias Schumann (WMDE) (Diskussion) 17:18, 14. Dez. 2012 (CET)Antworten[Beantworten]


Test 39: Blauer Link im Banner[Quelltext bearbeiten]

Dienstag, 4.12., 15:15 - 19:15 Uhr


Um den wirkmächtigen Aufruf, einen kleinen Beitrag zu leisten, optisch stärker hervorzuheben, testeten wir eine Layoutveränderung der WMF: der Satz wird blau und als Link formatiert. Zwar klicken nicht mehr Menschen auf das Banner, dennoch ist die neue Formatierung offenbar viel überzeugender. Um immerhin 21% konnte die Spendenrate (Spende/Imp.) erhöht werden.

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
ctrl 5_Fakten 1658800 31490 712 484 10360.99 21.41 0.018984 0.0002918 0.01537 0.67978
Link 5_Fakten 1653800 30078 849 584 13420.51 22.98 0.018187 0.0003531 0.01942 0.68787

Spende/Imp.: Differenz statistisch signifkant (p-value = 0.001872)

--Tobias Schumann (WMDE) (Diskussion) 17:18, 14. Dez. 2012 (CET)Antworten[Beantworten]


Test 40 & 41: Aufruf Harald Krichel: Text + Foto[Quelltext bearbeiten]

Mit diesem Test prüften wir verschiedene Varianten des Texts von Wikipedia-Autor Harald Krichel innerhalb des Faktenbanners. Wir freuen uns, dass wir nach dem Test nun endlich einen Autoren-Aufruf für längere Zeit schalten können. Im Großen und Ganzen scheinen der Aufruf von Pavel und von Harald im Faktenbanner gleich gut zu funktionieren, eine unserer Aufrufsvarianten sogar ein wenig besser. Auch wenn der Test fast 24 Stunden lief - bei derartig knappen Ergebnissen sind die resultierenden Unterschiede jedoch nicht signifikant. In einem anschließenden Test überprüften wir die Wirkung der Personalisierung durch ein Foto. Im Rahmen des Faktenbanners scheint eine Abbildung des Sprechers keinen Unterschied zu machen.


Test 40, Dienstag, 4.12., 19:15 - Mittwoch, 5.12., 17:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
Pavel_ctrl 5_Fakten 2504300 44977 1303 945 19281,92 20,40 0,017960 0,000520 0,02897 0,0003774 0,0210107 0,72525 0,007700
Harald_1 (lang) 5_Fakten 2770600 49827 1489 1066 23455.49 22.00 0.017984 0.000537 0.02988 0.0003848 0.02139 0.71592 0.0084659
Harald_2 (kurz) 5_Fakten 2763300 49477 1448 1004 20418,48 20,34 0,017905 0,000524 0,02927 0,0003633 0,0202923 0,69337 0,007389
Harald_ctrl 5_Fakten 2517500 45238 1320 914 19171,12 20,97 0,017969 0,000524 0,02918 0,0003631 0,0202043 0,69242 0,007615
  • Spende/Klick: +1,81% - nicht statistisch signifikant (p-value = 0.6826)


Test 41, Mittwoch, 5.12., 19:15 - Donnerstag, 6.12., 16:30 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
Photo 5_Fakten 4618200 77639 2383 1721 36460.45 21.19 0.016812 0.000516 0.03069 0.0003727 0.02217 0.72220 0.0078949
kein_Photo 5_Fakten 4642200 77766 2488 1753 38080.87 21.72 0.016752 0.000536 0.03199 0.0003776 0.02254 0.70458 0.0082032

--Tobias Schumann (WMDE) (Diskussion) 12:05, 27. Dez. 2012 (CET)Antworten[Beantworten]


Test 44 & 50: Banner Layouts persönliche Aufrufe[Quelltext bearbeiten]

Diese zwei Tests prüften verschiedene Formen der Präsentation persönlicher Aufrufe. In der zweiten Kampagnenwoche hatten wir gesehen, dass ein Zeitpunkt existiert, bei dem Jimmys persönlicher Aufruf mehr Menschen überzeugt als das Faktenbanner (Test 17). Durch die Verbesserung des Layouts des Faktenbanners kehrte sich dieses Ergebnis wieder um (Test 23). Doch warum sollten wir nicht mittlerweile erneut an dem Punkt sein, an dem ein persönlicher Aufruf durch mehr Aufmerksamkeit (höhere Klickrate) besser funktioniert?

Um das herauszufinden testeten wir den Aufruf von Wikipedia-Autor Harald Krichel innerhalb des Faktenbanners gegen ein Banner, das den persönlichen Aufruf direkt ankündigt (Test 44). Zwar erhält das Aufrufsbanner tatsächlich mehr Aufmerksamkeit, ersichtlich an einer Steigerung der Klick-Rate um 16 %. Andererseits können dennoch weit weniger Menschen von einer Spende überzeugt werden (Spende/Impression -53%). Liegt dies vielleicht am Layout des Banners? Wir hatten den persönlichen Aufruf im gleichen Format gestaltet, wie das aktuelle Faktenbanner. Dadurch wird beispielsweise das Foto kleiner dargestellt als in den Bannern des letzten Jahres. Also testeten wir das Aufrufsbanner in der neuen und in der alten ("inline") Variante gegeneinander (Test 50). Es zeigt sich dabei klar, dass das neue Design (gelb, top, sticky) besser funktioniert. Es klicken weitaus weniger Menschen auf das alte Bannerlayout (-40%) und ebenso sinkt die Spendenrate (Spende/Imp.: -21%).


Test 44, Dienstag, 11.12., 16:45 - 19:15 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
Fakten_ctrl 5_Fakten 986200 15736 422 297 6370.99 21.45 0.015956 0.000428 0.02682 0.0003012 0.01887 0.70379 0.0064601
pAufruf 5_Fakten 1001200 18564 241 142 3978.01 28.01 0.018542 0.000241 0.01298 0.0001418 0.00765 0.58921 0.0039732
  • Differenz Klick-Rate statistisch signifikant (p-value < 2.2e-16)
  • Differenz Spende/Imp statistisch signifikant(p-value = 4.127e-14)


Test 50, Freitag, 14.12., 9:30 - 11:45 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
pA_top 5_Fakten 726300 11214 241 139 4490.00 32.30 0.015440 0.000332 0.02149 0.0001914 0.01240 0.57676 0.0061820
pA_inline 5_Fakten 809100 0 7446 123 4193.00 34.09 0.000000 0.009203 0.00000 0.0001520 0.00000 0.01652 0.0051823
  • Differenz Klick-Rate statistisch signifikant (p-value < 2.2e-16)
  • Differenz Spende/Imp statistisch signifikant (p-value = 0.06229)

--Tobias Schumann (WMDE) (Diskussion) 12:05, 27. Dez. 2012 (CET)Antworten[Beantworten]


Test 45 & 52 : Fundraising-Video im Fakten-Banner[Quelltext bearbeiten]

Wikipedia den Lesern aus ganz verschiedenen Perspektiven näher zu bringen und sie auf diese Weise von einer Spende zu überzeugen, das ist eines der Ziele, die wir uns für diese Spendenkampagne vorgenommen hatten. Daher wollten wir auch Leser von Wikipedia zu Wort kommen lassen. Zudem war es unser Ziel neue Wege in der Spenderkommunikation zu gehen. Mit der Produktion eines Kampagnen-Videos versuchten wir beide Ziele miteinander zu verbinden. In unserem zweiminütigen Video schildert ein bunte Mischung ganz unterschiedlicher Leser ihre Erfahrungen mit der digitalen Enzyklopädie und beschreibt, warum sie Wikipedia mögen. Anschließend ruft Pavel Richter als Vorstand von Wikimedia Deutschland zur Unterstützung von Wikipedia auf.

Aber würde das Video tatsächlich Menschen dazu animieren zu spenden? Nach dem mit Spannung erwarteten Test freuen wir uns, dass der Spendenaufruf im bewegten Bild wirklich zu einer Steigerung der Spenden führt (Test 45). Im aufgeklappten Faktenbanner positioniert, konnte das Video rund 12% mehr der Leser, die auf das Banner klickten, überzeugen, als der Aufruf von Wikipedia-Autor Harald Krichel. Folglich schalteten wir das Video, nachdem innerhalb des Faktenbanners eine gute Woche lang ein Wikipedianer-Aufruf gezeigt wurde.

Kritisch für den Erfolg eines Videos ist dessen Dauer. Je länger es läuft, desto höher ist die Wahrscheinlichkeit, dass es nicht angesehen wird oder Zuschauer zwischendurch abbrechen. Mit zwei Minuten ist unser Video relativ lang. Da es aus zwei Bestandteilen besteht, lag es nahe zu testen, wie eine auf den Spendenaufruf reduzierte Version abschneiden würde (Test 52). Laut unseren Testergebnissen konnte die Spendenrate pro Bannerklick mit der gekürzten Variante um weitere 7,7% gesteigert werden. Grundsätzliche Aussagen über das Video lassen sich jedoch nicht ableiten, da hier eine große Rolle spielt, dass das Video innerhalb des Faktenbanners platziert ist.


Test 45, Mittwoch, 12.12., 14:45 - 18:45 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
ctrl 5_Fakten 1606000 24412 528 349 7732.74 22.16 0.015200 0.0002173 0.01430 0.0048149
Video 5_Fakten 1596200 25077 611 403 8798.28 21.83 0.015710 0.0002525 0.01607 0.0055120
  • Chi-Quadrat Spende/Klick: p-value = 0.1067


Test 52, Freitag, 14.12., 19:30 - Samstag, 15.12., 14:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
Video_kurz 5_Fakten 2783500 48063 1319 1012 21565.91 21.31 0.017267 0.0003636 0.02106 0.76725 0.0077478
Video_komplett 5_Fakten 2794800 47875 1296 936 19848.08 21.21 0.017130 0.0003349 0.01955 0.72222 0.0071018
  • Chi-Quadrat Spende/Klick - p-value = 0.09847

--Tobias Schumann (WMDE) (Diskussion) 14:47, 9. Jan. 2013 (CET)Antworten[Beantworten]

Test 46, 47, 48 & 49: Faktenbanner vs. Videobanner[Quelltext bearbeiten]

Ein zentrales Anliegen des Videos und der persönlichen Aufrufe ist es durch den Wechsel der Kampagnenelemente neue Aufmerksamkeit zu erzeugen und möglichst verschiedene Zielgruppen zu erreichen. Zwar ist die bisherige Kampagne bereits durch den Wechsel verschiedener Aufrufe geprägt. Jedoch geschah dies stets innerhalb des Faktenbanners, so dass die große Anzahl der Wikipedia-Leser es gar nicht bemerken konnte. Auf diese Weise ist es weder möglich die Aufmerksamkeit zu steigern noch neue Zielgruppen anzusprechen. Mit großer Spannung verfolgten wir daher den ersten Test eines Banners, dass statt des Faktentextes das Video direkt ankündigt (Test 46). Leider waren die Ergebnisse ebenso ernüchternd - eine Senkung des Spendenrate (Anzahl/Imp) um 70%. Nicht einmal mehr Klicks erzielte das neue Banner.

In den folgenden drei Tests veränderten wir Text und Layout des Banners auf Grundlage unserer bisherigen Erkenntnisse. Wir verstärkten die direkte Ansprache der Leser und fügten den Faktentext in das aufgeklappte Banner ein (Test 47). Dann änderten wir das Preview-Bild des Videos im Banner, formulierten einen neuen Bannertext und veränderten die Position des Faktentextes im aufgeklappen Banner (Test 48). Zuletzt ergänzten wir im aufgeklapptem Banner zwei ausdrückliche Spendenaufrufe (49). Stück für Stück konnten wir auf diese Weise das Video-Banner verbessern, welches nun auch weitaus mehr Klicks erzielte als das Faktenbanner. Zwar gelang es uns trotz allem nicht mit einer optimierten Version den Erfolg des Faktenbanner zu erreichen. Mit einer Senkung um 27,86% schnitt das Videobanner aus Test 48 jedoch um mehr als 100% besser ab als im ersten Test. Diese Steigerung stimmt uns zuversichtlich auf kommende Weiterentwicklungen der Banner.


Test 46, Mittwoch, 12.12., 19:00 - 20:45 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
Fakten_Video 5_Fakten 622200 10595 247 170 3517.88 20.69 0.017028 0.0002732 0.01605 0.0056539
Video_1 5_Fakten 642000 10218 91 52 1335.00 25.67 0.015916 0.0000810 0.00509 0.0020794


Test 47, Donnerstag, 13.12., 12:00 - 14:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
ctrl 5_Fakten 719400 9654 253 167 3365.22 20.15 0.013420 0.0002321 0.01730 0.0046778
Video_2 5_Fakten 717400 9868 142 72 1738.50 24.15 0.013755 0.0001004 0.00730 0.0024233


Test 48, Donnerstag, 13.12., 16:15 - 19:15 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
Fakten_Video 5_Fakten 1091600 16435 372 264 5533.50 20.96 0.015056 0.0002418 0.01606 0.0050692
Video_3 5_Fakten 1066300 20898 305 186 3805.50 20.46 0.019599 0.0001744 0.00890 0.0035689
  • Chi-Quadrat Anz./Imp: p-value = 0.0006062 (statistisch signifikant)


Test 49, Freitag, 14.12., 12:30 - 15:30 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Betrag
pro Imp
Fakten_Video 5_Fakten 1010400 13345 348 250 5663.00 22.65 0.013208 0.0002474 0.01873 0.0056047
Video_4 5_Fakten 969000 15139 266 169 3478.33 20.58 0.015623 0.0001744 0.01116 0.0035896

--Tobias Schumann (WMDE) (Diskussion) 14:47, 9. Jan. 2013 (CET)Antworten[Beantworten]


Test 51: persönliche Aufrufe von Wikipedia-Autoren[Quelltext bearbeiten]

Freitag, 14.12., 15:30 - 19:30 Uhr

In dieser dritten Runde von persönlichen Aufrufen zeigten wir drei Wikipedia-Autoren und umspannten dabei das ganze Altersspektrum der ehrenamtlichen Enzyklopädisten. Mit 86 Jahren hat Dr. Peter Cueppers bereits 19.000 Editierungen vorgenommen. In seinem Aufruf beschreibt er, wie er noch in hohem Alter dazu kam, Wikipedia-Autor zu werden. Dass man sich auch in jungen Jahren in Wikipedia engagieren kann, zeigt Tobias Klenze, der mit 16 in der Online-Enzyklopädie zu schreiben begann. Als wesentliche Motivation beschreibt er den Wunsch anderen helfen zu können und stellt in seinem Aufruf die Besonderheit der freiwilligen Mitarbeit in Wikipedia heraus. Als Familienvater mit einer vollen Arbeitswoche ist es für Gereon Kalkuhl mit Aufwand verbunden über sein Faszinationsthema Schach zu schreiben. In seinem Aufruf hebt er vor allem die Bedeutung des freien Zugangs zu Wissen für Menschen aller Bevölkerungsschichten hervor.

Über die Ergebnisse des Tests sind wir sehr erfreut. Der Aufruf von Dr. Cueppers kam so nahe an den Erfolg an Jimmys Aufruf heran, wie es uns noch mit keinem Text in diesem Jahr gelungen ist (-7,8% Anzahl/Imp). Auch der Aufruf von Tobias lief ganz ordentlich (-24,54% Anzahl/Imp), während der von Gereon die Leser deutlich weniger überzeugte (-42,9% Anzahl/Imp). Ein genauerer Blick auf die Ergebnisse zeigt, dass die Gründe für den Erfolg wieder einmal in der Klickrate respektive Aufmerksamkeit liegen, die die Banner generieren. Während Gereons und Tobias Aufrufstexte ungefähr gleich gut laufen, klicken weitaus mehr Menschen auf das Banner von Tobias (+31% im Vergleich zu Jimmy). Eine mögliche Erklärung könnte sein, dass Tobias und Dr. Cueppers aufgrund ihres Alters als ungewöhnliche Autoren erscheinen und so Interesse erzeugen. Neben hoher Klickzahlen (+33% im Vergleich zu Jimmy) überzeugt bei Dr. Cueppers aber auch der Text stärker als bei den anderen beiden.


Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Jimmy 5_Fakten 563400 10911 211 153 3425.00 22.39 0.019366 0.000375 0.01934 0.0002716 0.01402 0.72512 0.0060792 27.74
Tobias 5_Fakten 648900 16415 241 133 4492.56 33.78 0.025297 0.000371 0.01468 0.0002050 0.00810 0.55187 0.0069233 26.32
Dr.Cueppers 5_Fakten 571200 14715 227 143 3433.00 24.01 0.025762 0.000397 0.01543 0.0002504 0.00972 0.62996 0.0060102 25.00
Gereon 5_Fakten 645300 12710 158 100 2740.00 27.40 0.019696 0.000245 0.01243 0.0001550 0.00787 0.63291 0.0042461 19.10

--Tobias Schumann (WMDE) (Diskussion) 14:47, 9. Jan. 2013 (CET)Antworten[Beantworten]


NOTIZ: Mittlerweile konnten wir die Spendenkampagne 2012 erfolgreich abschließen. Unter anderem trugen gerade die mehr als 
60 Kampagnentests zu diesem Erfolg bei. Bisher sind leider noch einige Auswertungen schuldig geblieben. In den kommenden Tagen
werden wir jedoch Stück für Stück weitere Analysen nachtragen, so dass hier am Ende eine umfangreiche Dokumentation des Kampagnenverlaufs
vorliegt.


Test 53 & 54: das 5€-Banner[Quelltext bearbeiten]

Im Rahmen der Vorbereitung auf den Endspurt der Kampagne testeten wir hier den erfolgreichsten Bannertext aus dem letzten Jahr ("Wenn jeder 5€ ..."). In abgewandelter Form ist dieser bereits im Faktenbanner enthalten (in blauer Schrift hervorgerufen). Uns interessierte nun aber die Wirkung des isolierten Texts auf dem Banner (im aktuellen Layout), wobei der gesamte Faktentext nach dem Aufklappen erneut angezeigt wurde (Test 53).

Es zeigte sich, dass sich die Ergebnisse aus dem letzten Jahr wiederholten. Das "5€-Banner" senkt die Klickrate (-27%), führt aber zu einer Erhöhung der Spenden (+64% Spende/Imp, statistisch signifikant). Das ist dennoch sehr bemerkenswert, da es noch mit keinem Banner des letzten Jahres gelungen war, das Faktenbanener zu schlagen. Nun galt es noch zu prüfen, welcher Inhalt im ausgeklapptem Banner optimalerweise angezeigt werden sollte: das Spendenvideo oder der Aufruf von Dr. Cueppers, Pavel oder Jimmy? Am besten schnitt Pavels Aufruf ab, jedoch ist das Resultat nicht vertrauenswürdig, da keine signifikanten Ergebnisse vorliegen. Erstaunlich ist, dass Jimmys Aufruf am schlechtesten lief.


Test 53, Samstag, 15.12., 14:00 - 17:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
Fakten_Video 5 Fakten 822200 13578 346 257 5625.30 21.89 0.016514 0.02548 0.0003126 0.01893 0.74277 0.0068418
5€_Video 5 Fakten 840400 10111 563 432 8449.93 19.56 0.012031 0.05568 0.0005140 0.04273 0.76732 0.0100547
  • Klick-Rate: -27.15% (p-value < 2.2e-16)
  • Spende/Klick: +125.70% (p-value < 2.2e-16)
  • Spende/Imp: +64.44% (p-value = 1.756e-10)


Test 54, Samstag, 15.12., 17:00 - 22:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
5€_Video 5F 789000 9610 531 403 7271.00 18.04 0.012180 0.05525 0.0005108 0.04194 0.75895 0.0092155
5€_Pavel 5F 799500 9711 584 446 8563.41 19.20 0.012146 0.06014 0.0005578 0.04593 0.76370 0.0107110
5€_Cueppers 5F 713400 8551 492 369 6273.00 17.00 0.011986 0.05754 0.0005172 0.04315 0.75000 0.0087931
5€_Jimmy 5F 701700 8432 458 332 5144.50 15.50 0.012017 0.05432 0.0004731 0.03937 0.72489 0.0073315
  • 5€_Pavel: Spende/Klick: +9.51%, Spende/Imp: +9.21% - nicht signifikant (p-value = 0.1993)

--Tobias Schumann (WMDE) (Diskussion) 14:07, 23. Mai 2013 (CEST)Antworten[Beantworten]


Test 55 & 56: Bannerlayout Aufruf Dr. Cueppers[Quelltext bearbeiten]

Mit dem Aufruf von Dr. Cueppers haben wir einen sehr erfolgreichen persönlichen Aufruf gefunden. In Test 55 und 56 prüften wir verschiedene Möglichkeiten den Aufruf im Banner zu präsentieren. Zunächst schalteten wir zwei Varianten eines Banners, dass den persönlichen Aufruf direkt ankündigt. Dabei enthielt eines der Banner zusätzlich ein Zitat aus dem Aufruf, wovon wir eine Aufmerksamkeitssteigerung erhofften. Es zeigte sich aber, dass die Klickraten praktisch identisch sind und auch im Spendenverhalten keine Änderung eintritt.

Aufgrund der großen Aufmerksamkeit für den Aufruf von Dr. Cueppers wollten wir zusätzlich sehen, wie sich ein Banner mit persönlichem Aufruf gegen ein Faktenbanner mit dem Aufruf im aufgeklapptem Bereich schlägt. Wie zu erwarten klickten mehr Menschen auf den Aufrufsbanner, insgesamt spendeten dort jedoch weniger Menschen. Immerhin ist gegenüber einem ähnlichen Test (Test44) mit dem Aufruf von Harald Krichel das Ausmaß der Senkung der Spendenrate mit -32% statt -53% ein gutes Stück geringer.


Test 55, Montag, 17.12., 16:00 - 19:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
pA_Cuepp 5F 1254300 30691 457 276 6190.11 22.43 0.024469 0.01489 0.0002200 0.00899 0.60394 0.0049351
pA_Cuepp_Zitat 5F 1267500 31018 451 275 6294.00 22.89 0.024472 0.01454 0.0002170 0.00887 0.60976 0.0049657
  • Klick-Rate: +0.01%
  • Spende/Imp: -1.38% (p-value = 0.8686)


Test 56, Dienstag, 18.12., 12:15 - 15:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Fakten_Cuepp 5_Fakten 1033100 19338 492 366 8517.62 23.27 0.018718 0.000476 0.02544 0.0003543 0.01893 0.74390
pA_Cuepp 5_Fakten 1056100 23810 441 254 6366.95 25.07 0.022545 0.000418 0.01852 0.0002405 0.01067 0.57596
  • Klick-Rate: + 20,45% (p-value < 2.2e-16)
  • Spende/Klick: -43,63% (p-value = 7.569e-13)
  • Spende/Imp: -32,12% (p-value = 1.814e-06)


--Tobias Schumann (WMDE) (Diskussion) 14:07, 23. Mai 2013 (CEST)Antworten[Beantworten]


Test 57: neue persönliche Aufrufe[Quelltext bearbeiten]

Dienstag, 18.12., 15:00 - 18:45 Uhr

Weitere interessante Perspektiven auf Wikipedia wurden mit den neuen Aufrufen eröffnet, die wir hier testeten. Robin Müller beteiligte sich schon als Schüler in der größten freien Enzyklopädie der Welt, Christoph Meineke stellt als Bürgermeister und Wikipedianer die Bedeutung von Wikipedia auf lokaler Ebene heraus und Spenderin Cornelia Dietz schreibt über Qualität und Nützlichkeit der Inhalte. Analog zu anderen persönlichen Aufrufen stieg die Klickrate im Vergleich zu Jimmy und dennoch spendeten mehr Menschen bei dem Aufruf des Wikipedia-Gründers. Während Cornelia Dietz die höchste Aufmersamkeit erzielte (+33%), lief (jenseits von Jimmy) der Aufruf von Robin am besten (Spende/Imp -27%).


Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
% Frauen
Jimmy 5F 697200 13532 262 160 4040.55 25.25 0.019409 0.0002295 0.01182 0.61069 26.43
Robin Müller 5F 805600 20080 261 134 4214.00 31.45 0.024926 0.0001663 0.00667 0.51341 22.88
Christoph Meineke 5F 812700 18809 255 121 3326.00 27.49 0.023144 0.0001489 0.00643 0.47451 25.23
Cornelia Dietz 5F 706900 18319 194 104 4378.18 42.10 0.025915 0.0001471 0.00568 0.53608 20.93
  • Robin Müller: Klick-Rate: +28.42%, Spende/Klick: -43.54%, Spende/Imp: -27.52% (p-value = 0.005769)
  • Christoph Meineke: Klick-Rate: +19.24%, Spende/Klick: -45.57%, Spende/Imp: -35.13% (p-value = 0.0002949)
  • Cornelia Dietz: Klick-Rate: +33.52%, Spende/Klick: -51.97%, Spende/Imp: -35.89% (p-value = 0.0003719)


Test 58: Faktenbanner Pavel vs. Dr. Cueppers[Quelltext bearbeiten]

Dienstag, 18.12., 20:00 Uhr - Mittwoch, 19.12., 13:15 Uhr

Angesichts des Erfolgs von Dr.Cueppers' Aufruf und dem guten Abschneiden von Pavels Aufruf im Test des 5€-Banners wollten wir sehen, wie die beiden Texte im direkten Vergleich dastehen. Dazu verglichen wir zwei Faktenbanner, die jeweils einen der beiden Aufrufe nach dem Aufklappen zeigen. Das Ergebnis: Mit einer Steigerung von knapp 10% bei der Spendenrate überzeugte der Aufruf von Dr. Cueppers mehr Menschen von der Notwendigkeit einer Spende.


Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
% Frauen
Fakt_Cueppers 5F 3293000 60851 1747 1285 28382.53 22.09 0.018479 0.0003902 0.02112 0.73555 25.58
Fakt_Pavel 5F 3300300 61264 1650 1174 25596.74 21.80 0.018563 0.0003557 0.01916 0.71152 25.47
  • Klick-Rate: -0.45%
  • Spende/Imp: +9.71% (p-value = 0.02180)

Test 59: Layout Persönlicher Aufruf: Integration Fakten[Quelltext bearbeiten]

Donnerstag, 20.12., 12:45 - Freitag, 21.12., 11:00 Uhr

Ein äußerst spannender Test! Nach wie vor arbeiteten wir daran, das Bannerlayout für persönliche Aufrufe zu optimieren. Das Problem war folgendes: Zwar konnten wir innerhalb des Faktenbanners individuelle und interessante Geschichten von Autoren und Spendern zeigen. Doch allein anhand des Banners mit dem Faktentext war nicht erkennbar, dass nach dem Klicken verschiedene Aufrufe gezeigt werden. Bisher gelang es jedoch nie einen Aufrufsbanner zu gestalten, der ebenso erfolgreich ist.

In den Tests rund um das Spendenvideo konnten wir sehen, dass die Verlagerung des Faktentextes in den drop-down-Bereich einen sehr positiven Effekt hat. Unser Ziel war nun, mehr Aufmerksamkeit auf diesen Text zu legen. Daher modifizierten wir das Layout von Hintergrundfarbe (rot) und Schrift (weiß, 3D-Effekt) des Faktentextes. Dank dieser Umgestaltung verbesserte sich der Erfolg des Aufrufsbanners enorm. Mit einer Senkung der Spendenrate um 6,7% ist der Unterschied zum Faktenbanner nur noch gering - im Vergleich zu bis zu -50% in älteren Tests (Vergleich Test 44 und Test 56). Durch kontinuierliche Verbesserungen des Bannerdesigns verfügten wir nun über eine erfolgreiche Möglichkeit persönliche Aufrufe direkt im Banner anzukündigen. Für den geplanten Abschluss der Kampagne mit der Präsentation einer Vielzahl von Aufrufen von Autoren und Spendern war diese Weiterentwicklung von zentraler Bedeutung.


Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
% Frauen
Fakten_Cueppers 5F 4558900 84225 2157 1592 35548.10 22.33 0.018475 0.0003492 0.01890 0.73806 22.89
pA_Cueppers_rot 5F 4614300 95496 2246 1503 36993.23 24.61 0.020696 0.0003257 0.01574 0.66919 23.20
  • Klick-Rate: +12.02% (p-value < 2.2e-16)
  • Spende-Klick: -16.73% (p-value = 2.700e-07)
  • Spende/Imp: -6.72% (p-value = 0.05285)


Test 60: neue persönliche Aufrufe[Quelltext bearbeiten]

Freitag, 21.12., 11:00 - 16:00 Uhr

Wie man an Weihnachten zum Wikipedianer wird oder wieso man schon mit 12 Software programmiert - wir freuten uns weitere Aufrufe von Wikipedianern und Wikimedia-Mitarbeitern zu veröffentlichen. Dirk Franke war digitaler Enzyklopädist der ersten Stunde und berichtet über die Entstehung von Wikipedia. Jens Ohlig und Denny Vrandečić entwickeln als Wikimedia-Mitarbeiter die Sofware rund um Wikipedia weiter und erklären in ihren Aufrufen, was sie wichtig und besonders an Wikipedia finden.

Die Ergebnisse des Tests ähnelten generell den anderer persönlicher Aufrufe: gesteigerte Klickraten, aber geringere Spendenzahlen als beim Aufruf von Jimmy. Allerdings erfreute uns, wie gut die Aufrufe dennoch abschnitten. Vor allem die Texte von Dirk Franke und Jens Ohlig lagen mit Senkungen von 4% und 8% auf einem ähnlichen Niveau wie Jimmy.


Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
% Frauen
Jimmy 5F 802300 13831 393 259 6039.70 23.32 0.017239 0.0003228 0.01873 0.65903 28.13
Dirk Franke 5F 775800 15601 366 239 4803.00 20.10 0.020110 0.0003081 0.01532 0.65301 21.95
Jens Ohlig 5F 683300 12727 286 203 5420.79 26.70 0.018626 0.0002971 0.01595 0.70979 21.74
Denny Vrandečić 5F 700900 12137 257 167 4317.50 25.85 0.017316 0.0002383 0.01376 0.64981 16.08
  • Dirk Franke: Klick-Rate: +16.65%, Spende/Klick: -18.21%, Spende/Imp: -4.56% (p-value = 0.6019)
  • Jens Ohlig: Klick-Rate: +8.04%, Spende/Klick: -14.84%, Spende/Imp: -7.97% (p-value = 0.3753)
  • Denny Vrandečić: Klick-Rate: +0.45%, Spende/Klick: -26.54%, Spende/Imp: -26.19% (p-value = 0.002122)


Test 61 & 62: pA-Banner: Dr. Cueppers, Dirk Franke & Jens Ohlig[Quelltext bearbeiten]

In diesen zwei Tests verglichen wir die bisher erfolgreichsten Autoren- und Mitarbeiteraufrufe. Sowohl die Aufrufe von Jens Ohlig als auch von Dirk Franke liefen beide hinsichtlich der Spendenrate zwischen 13% und 15 % schlechter als Dr. Cueppers' Text.


Test 61: Freitag, 21.12., 16:15 - Samstag, 22.12., 12:30 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
% Frauen
pA_Dr_Cueppers 5F 3028500 65157 1533 1059 26708.93 25.22 0.021515 0.02353 0.0003497 0.01625 0.69080 20.70
pA_Dirk_Franke 5F 3027600 61302 1350 905 20761.10 22.94 0.020248 0.02202 0.0002989 0.01476 0.67037 21.69
  • Klick-Rate: -5.89% (p-value < 2.2e-16), Spende/Klick: -9.15% (p-value = 0.03222), Spende/Imp: -14.52%(p-value = 0.0005225)


Test 62, Samstag, 22.12., 12:30 - Sonntag, 23.12., 13:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
% Frauen
pA_Dr_Cueppers 5F 4308900 90930 2011 1455 36632.47 25.18 0.021103 0.02212 0.0003377 0.01600 0.72352 20.92
pA_Jens_Ohlig 5F 4362400 82325 1769 1287 33033.07 25.67 0.018871 0.02149 0.0002950 0.01563 0.72753 19.54
  • Klick-Rate: -10.57% (p-value < 2.2e-16), Spende/Klick: -2.29% (p-value = 0.5398), Spende/Imp: -12.64% (p-value = 0.0004124)


Test 63: 5€-Banner - Dr.Cueppers vs. Dirk Franke[Quelltext bearbeiten]

Sonntag, 23.12., 13:00 - Mittwoch, 26.12., 13:30 Uhr

Nachdem mittlerweile seit gut drei Tagen statt Faktenbanner nur Aufrufsbanner gezeigt wurden, entschieden wir uns über die Weihnachtsfeiertage - die unserer Erfahrung nach eher wenig Spenden bringen - das sehr erfolgreiche 5€-Banner zu schalten. Nach dem Aufklappen zeigten wir die Aufrufe von Dr. Cueppers und Dirk Franke und nutzten die Gelegenheit für einen Test über mehrere Tage. Die beiden Aufrufe unterscheiden sich in ihrer Wirkung kaum, Dirk Frankes Botschaft senkte die Spendenrate um 3,5%. Interessant zu sehen ist, dass wir aufgrund der Länge des Tests eine so hohe Stichprobe erreichten, dass selbst dieser geringe Unterschied statistisch signifikant ist. Die zweite interessante Beobachtung betrifft die Wechselwirkung von Bannertext und Spendenaufruf. Aus anderen Tests wissen wir, dass Aufrufe nicht allein für sich, sondern immer in Kombination mit dem Bannertext wirken. In diesem Fall milderte der Bannertext die Unterschiede in der Wirkung der Aufrufe - in Tests mit Aufrufsbanner waren die Unterschiede zwischen beiden Aufrufen weitaus stärker.


Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
% Frauen
5€_Dr_Cueppers 5F 13694900 152822 6840 5307 100731.12 18.98 0.011159 0.04476 0.0003875 0.03473 0.77588 19.07
5€_Dirk_Franke 5F 13680500 152959 6641 5112 99742.54 19.51 0.011181 0.04342 0.0003737 0.03342 0.76976 18.04
  • Spende/Klick: -3.77% (p-value = 0.04656)
  • Spende/Imp: -3.57% (p-value = 0.0633)


--Tobias Schumann (WMDE) (Diskussion) 18:04, 27. Mai 2013 (CEST)Antworten[Beantworten]


Test 64 & 65: Aufruf Dr.Cueppers: 5€-Banner, Aufrufs-Banner & Non-Sticky[Quelltext bearbeiten]

Bevor wir den Startschuss gaben für die letzten fünf Tage der Kampagne mit Präsentation aller 15 persönlichen Aufrufe von Autoren, Spendern und Wikimedia-Mitarbeitern, ging es hier nocheinmal darum letzte Erkenntnisse zu gewinnen. Wir verglichen die Wirkung des Textes von Dr. Cueppers, jeweils dargestellt im 5€-Banner und im Aufrufs-Banner (Test 64). Im Prinzip sind die Ergebnisse identisch mit dem strukturell ähnlichen Test 53 (5€-Banner vs. Faktenbanner), allerdings nicht in konkreten Zahlen. Hatten in Test 53 nur 27% weniger Menschen auf das 5€-Banner geklickt, waren es nun 51%. Auch die Steigerung der Spendenrate fällt geringer aus (+64% vs. +26%). Unklar ist allerdings die Ursache für diese Unterschiede: handelt es sich um einen zeitlichen Abnutzungseffekt oder liegt die Begründung im Unterschied Fakten-/Aufrufsbanner.

Im zweiten Test (65) prüften wir erneut die Wirkung der Sticky-Funktion. Auch hier gleichen sich die Ergebnisse in der Grundaussage, aber nicht in konkreten Zahlen. Sicher ist, dass die Sticky-Funktion zu einer Verringerung der Klicks und zu einer beträchtlichen Steigerung der Spendenrate führt (Test 26: +128%, Test 65: +68%).


Test 64, Mittwoch, 26.12., 13:30 - 15:45 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
5€_Cueppers 5F 699000 7289 310 227 4424.60 19.49 0.010428 0.04253 0.0003247 0.03114 0.73226
pA_Cueppers 5F 670600 14355 227 173 4060.00 23.47 0.021406 0.01581 0.0002580 0.01205 0.76211
  • Spende/Imp: p-value = 0.02225


Test 65, Mittwoch, 26.12., 15:45 - Donnerstag, 27.12., 14:45 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
sticky 5F 4952600 98570 1853 1388 35532.50 25.60 0.019903 0.01880 0.0002803 0.01408 0.74906
non-sticky 5F 5669000 45621 1305 947 26481.50 27.96 0.008047 0.02861 0.0001670 0.02076 0.72567
  • Spende/Imp: p-value < 2.2e-16


--Tobias Schumann (WMDE) (Diskussion) 11:29, 28. Mai 2013 (CEST)Antworten[Beantworten]