Ką pirmiausia testuoti cold email kampanijoje?

Pradėkite nuo temos, nes ji tiesiogiai lemia atidarymus, o be atidarymo niekas kitas nesvarbu. Po temos verta testuoti pirmąją eilutę ir CTA, nes jos labiausiai veikia atsakymus. Testuoti reikia iš eilės, pagal tai, kuris rodiklis silpniausias, o ne viską vienu metu, kad būtų aišku, kas realiai pakeitė rezultatą.

Kodėl A/B teste keisti tik vieną dalyką?

Nes keičiant kelis dalykus vienu metu neįmanoma žinoti, kuris pakeitimas suveikė. Jei tuo pačiu metu pakeisite temą, tekstą ir CTA, o rezultatas pagerės, liksite be atsakymo, ką palikti. Keičiant po vieną, kiekvienas testas duoda aiškią išvadą, kurią galima pritaikyti kitose kampanijose.

Kiek laiškų reikia patikimam A/B testui?

Reikia pakankamos apimties, kad rezultatas nebūtų atsitiktinumas, dažniausiai bent kelių šimtų laiškų kiekvienam variantui. Iš kelių dešimčių laiškų išvadų daryti negalima, nes vienas ar du atsitiktiniai atsakymai iškraipo viską. Todėl A/B testavimas prasmingas tik esant nuosekliam, pakankamos apimties srautui.

Kodėl temos testui reikia mažiau laiškų nei teksto testui?

Nes atidarymas yra dažnas įvykis, o atsakymas retas. Iš 400 laiškų atidarymų būna šimtais, todėl skirtumas tarp variantų matomas aiškiai. Atsakymų iš to paties kiekio būna keliolika, todėl vienas ar du atsitiktiniai atsakymai pakeičia visą išvadą, ir teksto testui reikia kelis kartus didesnės apimties arba to paties testo kartojimo per kelias kampanijas.

A/B testavimas cold email kampanijose: ką testuoti pirma

Q: Ką daryti, jei sąrašas per mažas patikimam A/B testui?

Testuokite tik didelius, aiškiai skirtingus variantus, nes tik jie duoda pakankamai stambų skirtumą. Rezultatus kaupkite per kelias kampanijas iš eilės ir vertinkite sudėtus skaičius, o ne pavienius. Nedidelius skirtumus tokiu atveju verta tiesiog ignoruoti, o dalį atsakymų ieškoti pokalbiuose su neatsakiusiais kontaktais.

„Pakeitėme laišką ir gauname daugiau atsakymų“: skamba gerai, bet nieko nesako, jei pakeitėte penkis dalykus vienu metu. A/B testavimas yra būdas sužinoti, kas realiai veikia, o ne spėlioti. Šis vadovas: ką testuoti, kokia tvarka ir kodėl disciplina svarbesnė už greitį.

Testuokite tai, kas silpniausia

Nėra prasmės testuoti visko iškart. Pradėkite nuo to rodiklio, kuris silpniausias:

Žemi atidarymai → testuokite temą.
Geri atidarymai, žemi atsakymai → testuokite pirmąją eilutę ir tekstą.
Atsakymai yra, bet ne susitikimai → testuokite CTA.

Rodikliai pasako, ką taisyti pirma. Testuoti stiprią vietą, kai silpna kita, yra laiko švaistymas.

Keiskite tik vieną dalyką

Svarbiausia A/B testavimo taisyklė: vienu metu tik vienas pakeitimas. Jei pakeisite temą, tekstą ir CTA kartu, o rezultatas pagerės, nežinosite, kuris pakeitimas suveikė. Keičiant po vieną, kiekvienas testas duoda aiškią išvadą, kurią galima pritaikyti toliau. Disciplina čia svarbesnė už greitį.

Apimtis lemia patikimumą

Testas patikimas tik su pakankama apimtimi. Iš kelių dešimčių laiškų išvadų daryti negalima: vienas ar du atsitiktiniai atsakymai iškraipo viską. Patikimam testui reikia bent kelių šimtų laiškų kiekvienam variantui. Todėl A/B testavimas prasmingas tik esant nuosekliam, pakankamos apimties srautui.

Ką matuoti kiekviename etape

Kiekvienas testas turi aiškų rodiklį:

Temos testas → atidarymų procentas.
Teksto testas → atsakymų procentas.
CTA testas → susitikimų skaičius.

Matuokite tik tą rodiklį, kurį testas turėtų paveikti. Kitaip lengva apsigauti atsitiktiniu svyravimu.

Skaičiavimo pavyzdys: kada skirtumas realus

Aritmetika čia svarbesnė už nuojautą, todėl paskaičiuokime.

Tarkime, siunčiate 800 laiškų: po 400 kiekvienam temos variantui. Variantas A atidaromas 35 procentų atvejų, tai yra 140 kartų. Variantas B atidaromas 44 procentų atvejų, tai yra 176 kartai. Skirtumas 36 atidarymai. Toks atotrūkis jau nėra atsitiktinumas, ir tema B verta perkelti į kitas kampanijas.

Dabar tas pats sąrašas, bet testuojate tekstą ir matuojate atsakymus. Variantas A duoda 2 procentus, tai yra 8 atsakymai iš 400. Variantas B duoda 3 procentus, tai yra 12 atsakymų. Skirtumas keturi atsakymai. Vienas žmogus, kuris tiesiog turėjo laisvą rytą, čia pakeičia visą išvadą.

Iš to seka praktinė taisyklė. Atidarymai yra dažnas įvykis, todėl temos testui dažnai pakanka kelių šimtų laiškų vienam variantui. Atsakymai yra retas įvykis, praktikoje matuojamas vos keliais procentais, todėl teksto ar CTA testui reikia kelis kartus daugiau apimties, dažnai kelių tūkstančių laiškų vienam variantui, arba to paties testo kartojimo per kelias kampanijas iš eilės.

Jei tiek apimties neturite, tai nereiškia, kad reikia mesti testavimą. Reiškia, kad išvadą darysite ne po vienos kampanijos, o po trijų, ir kad nedidelius skirtumus tiesiog ignoruosite.

Kaip paleisti vieną testą: žingsniai

Pasirinkite rodiklį, kurį taisote. Vienas testas, vienas rodiklis. Jei silpni atidarymai, teksto neliesite, kol jų nepataisysite.
Suformuluokite prielaidą sakiniu. Ne „pabandom kitą temą“, o „konkretesnė tema su įmonės situacija bus atidaroma dažniau nei bendra“. Prielaida be formuluotės po dviejų savaičių virsta interpretacija.
Padalykite sąrašą atsitiktinai. Ne pagal šalį, sritį ar įmonės dydį. Jei variantas A nuėjo gamybai, o B paslaugoms, testavote ne laišką, o segmentą. Kaip skaidyti sąrašą prasmingai, aprašome atskirai: sąrašo segmentavimas.
Siųskite abu variantus tuo pačiu metu. Savaitės diena ir mėnesio pradžia rezultatą paveikia labiau, nei norėtųsi. Nuoseklus siuntimas vienas po kito lygina nepalyginamus dalykus.
Nustatykite pabaigos tašką iš anksto. Kiek laiškų ir kiek dienų. Testas, stabdomas tada, kai rezultatas pradeda patikti, nėra testas.
Užsirašykite išvadą į vieną vietą. Data, kas buvo keičiama, apimtis, rezultatas. Po pusmečio tai bus vertingiausias jūsų kampanijų dokumentas.

Dažniausios A/B testavimo klaidos

Testas stabdomas per anksti. Antrą dieną variantas B pirmauja, ir jis paskelbiamas nugalėtoju. Pataisymas: pabaigos taškas nustatomas prieš paleidžiant, ne pagal tarpinį rezultatą.
Testuojami niekiniai skirtumai. Du beveik vienodi temos variantai duos beveik vienodą rezultatą, tik sugaišite mėnesį. Pataisymas: testuokite priešingybes, pavyzdžiui, klausimą prieš teiginį, o ne du sinonimus.
Neatsižvelgiama į pristatymą. Jei vienas variantas dažniau patenka į šlamštą, matuojate ne tekstą, o pristatomumą. Pataisymas: prieš teksto testus patikrinkite domeno ir siuntimo būklę.
Matuojamas ne tas rodiklis. Tema keičiama, o žiūrima į atsakymus. Tema veikia atidarymus, todėl atsakymų pokytis čia yra triukšmas. Pataisymas: vienas testas, vienas rodiklis, kaip aprašyta aukščiau.
Ignoruojamos sekos. Testuojamas tik pirmas laiškas, nors dalis atsakymų ateina po antro ir trečio. Pataisymas: matuokite sekos rezultatą kaip visumą, o šablono struktūrą aprašome atskirai: follow-up sekos šablonas.
Nefiksuojama, kas buvo testuota. Po trijų mėnesių niekas nebeprisimena, kodėl tema tokia, kokia yra, ir tas pats testas kartojamas iš naujo.

Ką daryti, kai apimties nepakanka

Daugumai Lietuvos B2B įmonių tikslinis sąrašas yra keli šimtai, o ne keli tūkstančiai įmonių. Statistiškai patikimo teksto testo tokiame sąraše nepadarysite, ir apsimesti kitaip nėra prasmės.

Praktikoje veikia trys apėjimai. Pirma, testuokite tik didelius, aiškiai skirtingus variantus, nes tik jie duoda pakankamai stambų skirtumą, kad jį pastebėtumėte. Antra, kaupkite rezultatus per kelias kampanijas iš eilės ir vertinkite sudėtus skaičius, o ne pavienius. Trečia, dalį atsakymo ieškokite kokybėje, o ne skaičiuose: penki pokalbiai su žmonėmis, kurie neatsakė, dažnai pasako daugiau nei dar vienas testas.

Šalia to atkreipkite dėmesį į kalbų klausimą. Lietuvoje ta pati kampanija dažnai eina lietuviškai ir angliškai, kartais ir rusiškai. Tai nėra A/B testas: tai du skirtingi sąrašai su skirtingais lūkesčiais, ir jų rezultatus reikia skaičiuoti atskirai. Angliškų laiškų specifiką aprašome atskirai: šaltas laiškas anglų kalba.

Prieštaravimai, kuriuos girdime

„Testavimas per lėtas, mums reikia rezultato dabar.“ Testavimas nesulėtina siuntimo, jis tik padalija tą patį srautą į dvi dalis. Lėta yra kita alternatyva: keisti viską kas savaitę ir po ketvirčio vis dar nežinoti, kas veikia.

„Rodikliai vis tiek svyruoja, tai beprasmiška.“ Svyruoja, todėl ir reikia disciplinos. Būtent dėl svyravimo nedidelius skirtumus reikia ignoruoti, o išvadas daryti tik tada, kai atotrūkis stambus arba pasikartoja kelis kartus.

„Neturime kam analizuoti.“ Vieno testo peržiūra užima apie pusvalandį per savaitę: du skaičiai ir viena eilutė užrašuose. Jei ir to nėra, tuomet verta testuoti rečiau, bet užrašyti visada, nes netestuojant rezultatas negerėja savaime.

Ko testuoti neverta

Dalis dalykų atrodo kaip testo objektas, bet realiai jais tik prarandamas laikas.

Siuntimo valanda. Skirtumai čia maži ir nestabilūs, o apimties, reikalingos juos patikimai išmatuoti, dauguma LT sąrašų tiesiog neturi.
Parašo ar šrifto detalės. Jos rezultato nejudina tiek, kad būtų verta atskiro ciklo.
Laiško ilgis, kai tekstas iš esmės blogas. Trumpesnis nereikalingas laiškas lieka nereikalingas. Pirmiausia taisykite pasiūlymo esmę, tik paskui formą.
Sąrašo kokybė. Tai ne testo objektas, o prielaida. Jei kontaktai netikslūs arba ne tie žmonės, jokia tema to neišspręs, o visi rodikliai bus iškreipti.

Paprasta taisyklė: testuokite tai, kas keičia laiško prasmę, o ne tai, kas keičia jo išvaizdą.

Testavimas yra nuolatinis

A/B testavimas nėra vienkartinis veiksmas. Rinka keičiasi, auditorijos pripranta, kas veikė vakar, gali nustoti veikti rytoj. Nuolatinis testavimas po vieną dalyką palaiko kampaniją gyvą ir gerėjančią. Tai ne projektas su pabaiga, o įprotis.

Nuoseklus testavimas reikalauja apimties, disciplinos ir laiko analizei, kurių pavienėms kampanijoms dažnai trūksta. Mes testuojame nuolat per savo pardavimų agentūrą Ripe Leads: keičiame po vieną dalyką, matuojame ir geriname, kad atsakymų rodiklis nuosekliai augtų. Jei norite kampanijos, kuri gerėja, o ne stovi vietoje, verta pasikalbėti.