Holdout Test eli kontrolliryhmätesti on menetelmä, jossa osa kohderyhmästä jätetään tarkoituksella pois mainoskampanjasta kontrolliryhmäksi. Vertaamalla kontrolliryhmän ja mainostetun ryhmän käyttäytymistä voidaan mitata mainonnan todellista vaikutusta.
Mikä on holdout test?
Holdout testissä kohderyhmä jaetaan satunnaisesti kahteen osaan: test group (90-95%) näkee mainokset normaalisti, kun taas holdout group (5-10%) pidetään ilman mainoksia koko kampanjan ajan.
Kampanjan päätteeksi verrataan ryhmien käyttäytymistä: ostoja, sivustovierailuja, latauksia tai muita tavoitteita. Ero ryhmien välillä kertoo mainonnan inkrementaalisen vaikutuksen.
Holdout test on erityisen arvokas mittaamaan pitkäaikaisten kampanjoiden ja always-on-mainonnan vaikutusta. Se vastaa kysymykseen: “Mitä tapahtuisi, jos lopettaisimme mainonnan kokonaan?”
Holdout testin toteutus
Holdout group valitaan satunnaisotannalla varmistamaan, että se edustaa samaa populaatiota kuin test group. Demografiset tekijät, ostohistoria ja käyttäytyminen tulee jakautua tasaisesti.
Holdout period eli testiajanjakso riippuu tuotteen ostosyklistä. Nopeasti ostettavilla tuotteilla 1-2 viikkoa voi riittää, kun taas pitkän ostopolun tuotteissa voidaan tarvita kuukausia luotettavien tulosten saamiseksi.
Tärkeää on varmistaa, että holdout-ryhmä todella pysyy mainoksettomana. Cross-device-tracking ja useamman kanavan koordinointi on haastavaa, mutta välttämätöntä puhtaan testin takaamiseksi.
Holdout testin tulkinta
Jos test groupissa konversioprosentti on 5% ja holdout groupissa 3%, inkrementaalinen vaikutus on 2 prosenttiyksikköä. Tämä tarkoittaa, että 40% kaikista konversioista johtui mainonnasta, 60% olisi tapahtunut ilman mainontaakin.
Tämä tieto on kriittinen ROI:n laskennassa. Jos kaikki konversiot attribuoidaan mainonnalle, ROI näyttää paremmalta kuin todellisuudessa. Holdout test paljastaa todellisen inkrementaalisen ROI:n.
Holdout test voi myös paljastaa, että mainonta ei tuota juurikaan inkrementaalista vaikutusta – asiakkaat olisivat ostaneet joka tapauksessa. Tämä on arvokas tieto budjetin uudelleenallo koimiseksi.
Merkitys yritykselle
Pk-yrityksille holdout test on arvokas työkalu, kun kampanjat ovat jatkuvia tai toistuvia. Se vastaa kysymykseen, kannattaako tiettyä kanava ta tai kampanjaa jatkaa.
Holdout test soveltuu erityisen hyvin retargeting-kampanjoihin, joissa on riski, että mainostetaan ihmisille jotka olisivat ostaneet joka tapauksessa. Holdout test paljastaa retargeting in todellisen arvon.
Meta, Google ja muut suuret mainosalusta t tarjoavat holdout test -toiminnallisuuden osana kampanjointityökalujaan, mikä tekee testistä saavutettavan myös pienille yrityksille ilman tutkimusbudjettia.