Improve testing6 juni 2014

Oer Blond

Alweer een aantal jaar geleden was ik op vakantie in het mooie Limburg. Als bierliefhebber ging ik op bezoek bij de open dag van een bierbrouwerij in Arcen. Na een mooie rondleiding werden we uitgenodigd om deel te nemen aan een experiment. We kregen twee nieuwe speciaalbieren aangeboden: Hertog Jan X en Hertog Jan Y. Ons werd gevraagd beide biertjes te proeven en aan te geven welke van de twee wij het lekkerst vonden. Zo konden we invloed uitoefenen op de keuze welke van de twee speciaalbieren uiteindelijk in de winkel terecht zou komen. De meerderheid koos voor Hertog Jan X, ofwel Hertog Jan Oerblond.


Met een experiment wordt door middel van het verzamelen van informatie een ​​idee getoetst.


 

Elke dag lopen we tegen kleine experimenten aan. Experimenten die ons helpen bij het bepalen van een winnaar en ons helpen met het nemen van de juiste beslissingen. Bijvoorbeeld het proeven van een nieuwe speciaalbier of koffie, het passen van nieuwe kleding of het rijden van een nieuwe route naar het werk. Natuurlijk hebben we bij het uitvoeren van een experiment een verwachting, maar soms worden we toch verrast door de resultaten van onze experimenten. De route welke in eerste instantie niet optimaal leek, blijkt toch veel tijdwinst op te leveren, de nieuwe frisdrank blijkt toch lekkerder te zijn dan onze favoriete frisdrank, de maat van de kleding welke we al enige tijd hebben blijkt ons helaas toch niet goed te passen.

Misschien ken jij een experiment waarbij je verrast werd door een resultaat. Verras ons ook en deel het in de comments!

Wanneer je betrokken bent bij het ontwikkelen van commerciële websites ben je altijd op zoek naar verbeteringen, zodat de website nog waardevoller wordt. Een effectieve manier om er achter te komen welke wijzigingen de meeste waarde opleveren is het uitvoeren van gestructureerde en gecontroleerde experimenten. Leer van bedrijven als eBay, Amazon, Google en Netflix. Start ook met experimenteren!


Om de impact van een nieuw idee effectief te kunnen meten, wordt het gebruik van de website geobserveerd onder – idealiter – identieke condities met uitzondering van het aspect welke wordt getest.


 

 Waar begin ik? Enkele tips:

  1. Bouw mogelijkheden in de website om gegevens vast te leggen over de klant. Alleen als dit op orde is kunnen elementen van de website aangepast worden en de resultaten hiervan op de conversie gemeten worden.
  2. Leer de klant kennen. Bekijk voortdurend de verzamelde data. Nu de gegevens over de gebruiker wordt vastgelegd, doe er dan ook wat mee. Probeer te leren van het gedrag van de klant en neem die kennis mee met het uitvoeren van betere experimenten.
  3. Vermijd het maken van slechts één versie van de website of product. Creëer variaties. Ga er nooit vanuit dat je zojuist de ‘beste’ versie van de prototype hebt gevonden.
  4. Start met A/B testing. Hoe meer ervaren de organisatie wordt met het uitvoeren van experimenten, hoe meer er gebruik gemaakt kan worden van complexere testmethoden, zoals Multivariate testing.

 

A/B-Testen

is een techniek waarbij twee verschillende versies van een webpagina of website tegelijk worden voorgelegd aan verschillende gebruikers teneinde te meten welke van beide (A of B) het beste werkt.

plaatje-blog_1 


  

Multivariate Testen

werken volgens hetzelfde principe als A/B-testen, maar vergelijken meer varianten tegelijkertijd op een pagina en geven meer informatie over hoe deze combinaties van webelementen met elkaar interageren. Zoals in een A/B-test worden bezoekers willekeurig verdeeld tussen de verschillende versies van een ontwerp. Het doel van een multivariate test is om het effect na te gaan van elke ontwerpcombinatie op het uiteindelijke doel.

plaatje-blog2


Tips voor het uitvoeren van experimenten:

    1. Start klein en met een wijziging waarvan het overduidelijk is dat het resultaat zal opleveren. Focus op elementen welke een grote rol spelen in de conversie. Experimenteer met veel gebruikte elementen of features welke door de meeste bezoekers van de website worden geraakt en zodoende snel goede data zullen opleveren.
    2. Bepaal je doel en verwachting zodat je kunt aangeven of het experiment gelukt is of niet!
      Eric Ries, author of “The Lean Startup”: “Experimentation does not mean shipping something to see what happens. If we do that, we’re guaranteed to succeed – at seeing what happens. Something will always happen.”
    3. Presenteer de gemeten verbeteringen aan de stakeholders. Het zal je helpen om meer vertrouwen te krijgen van de stakeholders voor het uitvoeren van experimenten.

 Heb jij nog meer tips voor het uitvoeren van experimenten? Laat het weten in de comments!