Welke A/B-test eerst? Deze gratis sheet zet je ideeën op volgorde.
Een vraag die we vaak horen: hoe bepaal je welk experiment voorrang krijgt? Wordt de lijst met testideeën lang, dan wil je kiezen op iets anders dan wie het hardst roept.
Ons antwoord hebben we in een gratis Google Sheet gezet: The A/B Test Log. Daarin hou je elke test bij, van het eerste idee tot de uitslag.
Maak je eigen kopie van The A/B Test Log →
Hoe bepaal je welke test eerst gaat?
Wij gebruiken ICE. Elk idee krijgt drie scores van 1 tot 5. Impact gaat over hoeveel de wijziging kan opleveren. Confidence over hoe zeker je daarvan bent, op basis van data en eerdere ervaring. Ease over wat het bouwen kost aan tijd en geld: hoe minder, hoe hoger de score.
De sheet vermenigvuldigt de drie (Impact × Confidence × Ease) en geeft elk idee automatisch een plek in de rangorde. Het idee met de hoogste score krijgt plek 1, en dat is de test die je als eerste draait.
We werken met ICE omdat het snel gaat. Het nadeel is dat elke score een inschatting blijft. Daarom vraagt de backlog je om het idee te beschrijven en uit te leggen waarom je denkt dat het helpt, voordat iemand er een score aan geeft. Een vaag idee krijgt een vage score.
Kun je de criteria aanpassen?
Ja. Welke criteria ertoe doen, verschilt per bedrijf. Je kunt een criterium hernoemen of vervangen, of één score zwaarder laten meetellen dan de rest.
De formule in de kolom Score is =IF(COUNT(I2:K2)<3,"",I2*J2*K2). Maak daar =IF(COUNT(I2:K2)<3,"",I2*J2*K2^2) van en Ease telt dubbel mee. Dat past bij een team waar ontwikkeltijd de bottleneck is. Trek de nieuwe formule door tot onderaan de kolom, dan past de volgorde zich vanzelf aan.
Wat zit er nog meer in de sheet?
De sheet is gemaakt voor tests op je website: boekingsflows, formulieren, checkouts en landingspagina’s. Naast de backlog heeft hij zes tabbladen. De hele sheet is in het Engels, dus we noemen ze bij hun Engelse naam.
Start Here legt uit hoe het bestand werkt. Commandments geeft tien principes voor experimenten, zoals: leg vóór de start van een test je betrouwbaarheidsdrempel vast en hou je daaraan.
In Experiment Design schrijf je een test uit voordat hij live gaat. Voor de hypothese stelt de sheet deze vorm voor: als we [deze wijziging] toepassen, verwachten we dat [deze metrics veranderen] bij [deze groep gebruikers], vanwege [deze reden in hun gedrag]. Verder vul je in: de primaire en secundaire metric, de pagina of flow, het aantal bezoekers en conversies per week, de apparaten, en de eerste en laatste volle dag van de test.
Experiment Results legt vast hoe de test afliep (gewonnen, verloren of geen duidelijke uitslag) en wat je ervan leerde. De A/B Testing Significance Calculator rekent uit of een resultaat significant is, zodat je alles in één bestand houdt. In Settings zet je je eigen pagina’s of flows, de stappen daarin en de metrics waarop je test. Uit die lijsten komen de opties in de keuzemenu’s van de andere tabbladen.
Hoe kom je eraan?
Open de link. Google vraagt of je een kopie wilt maken, en die kopie komt in je eigen Drive terecht. Daar kun je hem aanpassen zoals je wilt. Je hebt er wel een Google-account voor nodig. Gaat er in je kopie iets stuk, maak dan een nieuwe via dezelfde link.
Maak je eigen kopie van The A/B Test Log →
Waar hebben we zo’n logboek gebruikt?
We hielden er een bij tijdens een testprogramma van twaalf maanden op de afspraakflows van een Europese optiekgroep. Daar ging elke uitslag in, en de verliezers schreven we met dezelfde zorg uit als de winnaars. In de case lees je hoe dat er in de praktijk uitziet.