A/B testavimas cold email kampanijose: ką testuoti pirma

Cold email kampanijoje testuokite po vieną dalyką vienu metu ir pradėkite nuo silpniausio rodiklio: žemi atidarymai rodo, kad reikia keisti temą, o geri atidarymai su žemais atsakymais rodo, kad reikia keisti pirmąją eilutę ir tekstą. Patikimam testui reikia bent kelių šimtų laiškų kiekvienam variantui. „Pakeitėme laišką ir gauname daugiau atsakymų“ nieko nesako, jei pakeitėte penkis dalykus vienu metu.

Testuokite tai, kas silpniausia

Nėra prasmės testuoti visko iškart. Pradėkite nuo to rodiklio, kuris silpniausias:

• Žemi atidarymai → testuokite temą.
• Geri atidarymai, žemi atsakymai → testuokite pirmąją eilutę ir tekstą.
• Atsakymai yra, bet ne susitikimai → testuokite CTA.

Rodikliai pasako, ką taisyti pirma. Testuoti stiprią vietą, kai silpna kita, yra laiko švaistymas.

Jei šį darbą norite patikėti kitiems, jį atlieka Ripe Leads, kitas Dovydo Liaudansko verslas. Kaip tai vyksta, aprašyta puslapyje „B2B klientų paieškos paslauga“.

Keiskite tik vieną dalyką

Svarbiausia A/B testavimo taisyklė: vienu metu tik vienas pakeitimas. Jei pakeisite temą, tekstą ir CTA kartu, o rezultatas pagerės, nežinosite, kuris pakeitimas suveikė. Keičiant po vieną, kiekvienas testas duoda aiškią išvadą, kurią galima pritaikyti toliau. Disciplina čia svarbesnė už greitį.

Apimtis lemia patikimumą

Testas patikimas tik su pakankama apimtimi. Iš kelių dešimčių laiškų išvadų daryti negalima: vienas ar du atsitiktiniai atsakymai iškraipo viską. Patikimam testui reikia bent kelių šimtų laiškų kiekvienam variantui. Todėl A/B testavimas prasmingas tik esant nuosekliam, pakankamos apimties srautui.

Ką matuoti kiekviename etape

Kiekvienas testas turi aiškų rodiklį:

• Temos testas → atidarymų procentas.
• Teksto testas → atsakymų procentas.
• CTA testas → susitikimų skaičius.

Matuokite tik tą rodiklį, kurį testas turėtų paveikti. Kitaip lengva apsigauti atsitiktiniu svyravimu.

Skaičiavimo pavyzdys: kada skirtumas realus

Aritmetika čia svarbesnė už nuojautą, todėl paskaičiuokime.

Tarkime, siunčiate 800 laiškų: po 400 kiekvienam temos variantui. Variantas A atidaromas 35 procentų atvejų, tai yra 140 kartų. Variantas B atidaromas 44 procentų atvejų, tai yra 176 kartai. Skirtumas 36 atidarymai. Toks atotrūkis jau nėra atsitiktinumas, ir tema B verta perkelti į kitas kampanijas.

Dabar tas pats sąrašas, bet testuojate tekstą ir matuojate atsakymus. Variantas A duoda 2 procentus, tai yra 8 atsakymai iš 400. Variantas B duoda 3 procentus, tai yra 12 atsakymų. Skirtumas keturi atsakymai. Vienas žmogus, kuris tiesiog turėjo laisvą rytą, čia pakeičia visą išvadą.

Iš to seka praktinė taisyklė. Atidarymai yra dažnas įvykis, todėl temos testui dažnai pakanka kelių šimtų laiškų vienam variantui. Atsakymai yra retas įvykis, praktikoje matuojamas vos keliais procentais, todėl teksto ar CTA testui reikia kelis kartus daugiau apimties, dažnai kelių tūkstančių laiškų vienam variantui, arba to paties testo kartojimo per kelias kampanijas iš eilės.

Jei tiek apimties neturite, tai nereiškia, kad reikia mesti testavimą. Reiškia, kad išvadą darysite ne po vienos kampanijos, o po trijų, ir kad nedidelius skirtumus tiesiog ignoruosite.

Kaip paleisti vieną testą: žingsniai

1. Pasirinkite rodiklį, kurį taisote. Vienas testas, vienas rodiklis. Jei silpni atidarymai, teksto neliesite, kol jų nepataisysite.
2. Suformuluokite prielaidą sakiniu. Ne „pabandom kitą temą“, o „konkretesnė tema su įmonės situacija bus atidaroma dažniau nei bendra“. Prielaida be formuluotės po dviejų savaičių virsta interpretacija.
3. Padalykite sąrašą atsitiktinai. Ne pagal šalį, sritį ar įmonės dydį. Jei variantas A nuėjo gamybai, o B paslaugoms, testavote ne laišką, o segmentą. Kaip skaidyti sąrašą prasmingai, aprašome atskirai: sąrašo segmentavimas.
4. Siųskite abu variantus tuo pačiu metu. Savaitės diena ir mėnesio pradžia rezultatą paveikia labiau, nei norėtųsi. Nuoseklus siuntimas vienas po kito lygina nepalyginamus dalykus.
5. Nustatykite pabaigos tašką iš anksto. Kiek laiškų ir kiek dienų. Testas, stabdomas tada, kai rezultatas pradeda patikti, nėra testas.
6. Užsirašykite išvadą į vieną vietą. Data, kas buvo keičiama, apimtis, rezultatas. Po pusmečio tai bus vertingiausias jūsų kampanijų dokumentas.

Dažniausios A/B testavimo klaidos

• Testas stabdomas per anksti. Antrą dieną variantas B pirmauja, ir jis paskelbiamas nugalėtoju. Pataisymas: pabaigos taškas nustatomas prieš paleidžiant, ne pagal tarpinį rezultatą.
• Testuojami niekiniai skirtumai. Du beveik vienodi temos variantai duos beveik vienodą rezultatą, tik sugaišite mėnesį. Pataisymas: testuokite priešingybes, pavyzdžiui, klausimą prieš teiginį, o ne du sinonimus.
• Neatsižvelgiama į pristatymą. Jei vienas variantas dažniau patenka į šlamštą, matuojate ne tekstą, o pristatomumą. Pataisymas: prieš teksto testus patikrinkite domeno ir siuntimo būklę.
• Matuojamas ne tas rodiklis. Tema keičiama, o žiūrima į atsakymus. Tema veikia atidarymus, todėl atsakymų pokytis čia yra triukšmas. Pataisymas: vienas testas, vienas rodiklis, kaip aprašyta aukščiau.
• Ignoruojamos sekos. Testuojamas tik pirmas laiškas, nors dalis atsakymų ateina po antro ir trečio. Pataisymas: matuokite sekos rezultatą kaip visumą. Šablono struktūrą aprašome atskirai, žr. follow-up sekos šablonas.
• Nefiksuojama, kas buvo testuota. Po trijų mėnesių niekas nebeprisimena, kodėl tema tokia, kokia yra, ir tas pats testas kartojamas iš naujo.

Ką daryti, kai apimties nepakanka

Daugumai Lietuvos B2B įmonių tikslinis sąrašas yra keli šimtai, o ne keli tūkstančiai įmonių. Statistiškai patikimo teksto testo tokiame sąraše nepadarysite, ir apsimesti kitaip nėra prasmės.

Praktikoje veikia trys apėjimai. Pirma, testuokite tik didelius, aiškiai skirtingus variantus, nes tik jie duoda pakankamai stambų skirtumą, kad jį pastebėtumėte. Antra, kaupkite rezultatus per kelias kampanijas iš eilės ir vertinkite sudėtus skaičius, o ne pavienius. Trečia, dalį atsakymo ieškokite kokybėje, o ne skaičiuose: penki pokalbiai su žmonėmis, kurie neatsakė, dažnai pasako daugiau nei dar vienas testas.

Šalia to atkreipkite dėmesį į kalbų klausimą. Lietuvoje ta pati kampanija dažnai eina lietuviškai ir angliškai, kartais ir rusiškai. Tai nėra A/B testas: tai du skirtingi sąrašai su skirtingais lūkesčiais, ir jų rezultatus reikia skaičiuoti atskirai. Angliškų laiškų specifiką aprašome atskirai: šaltas laiškas anglų kalba.

Prieštaravimai, kuriuos girdime

„Testavimas per lėtas, mums reikia rezultato dabar.“ Testavimas nesulėtina siuntimo, jis tik padalija tą patį srautą į dvi dalis. Lėta yra kita alternatyva: keisti viską kas savaitę ir po ketvirčio vis dar nežinoti, kas veikia.

„Rodikliai vis tiek svyruoja, tai beprasmiška.“ Svyruoja, todėl ir reikia disciplinos. Būtent dėl svyravimo nedidelius skirtumus reikia ignoruoti, o išvadas daryti tik tada, kai atotrūkis stambus arba pasikartoja kelis kartus.

„Neturime kam analizuoti.“ Vieno testo peržiūra užima apie pusvalandį per savaitę: du skaičiai ir viena eilutė užrašuose. Jei ir to nėra, tuomet verta testuoti rečiau, bet užrašyti visada, nes netestuojant rezultatas negerėja savaime.

Ko testuoti neverta

Dalis dalykų atrodo kaip testo objektas, bet realiai jais tik prarandamas laikas.

• Siuntimo valanda. Skirtumai čia maži ir nestabilūs, o apimties, reikalingos juos patikimai išmatuoti, dauguma LT sąrašų tiesiog neturi.
• Parašo ar šrifto detalės. Jos rezultato nejudina tiek, kad būtų verta atskiro ciklo.
• Laiško ilgis, kai tekstas iš esmės blogas. Trumpesnis nereikalingas laiškas lieka nereikalingas. Pirmiausia taisykite pasiūlymo esmę, tik paskui formą.
• Sąrašo kokybė. Tai ne testo objektas, o prielaida. Jei kontaktai netikslūs arba ne tie žmonės, jokia tema to neišspręs, o visi rodikliai bus iškreipti.

Paprasta taisyklė: testuokite tai, kas keičia laiško prasmę, o ne tai, kas keičia jo išvaizdą.

Testavimas yra nuolatinis

A/B testavimas nėra vienkartinis veiksmas. Rinka keičiasi, auditorijos pripranta, kas veikė vakar, gali nustoti veikti rytoj. Nuolatinis testavimas po vieną dalyką palaiko kampaniją gyvą ir gerėjančią. Tai ne projektas su pabaiga, o įprotis.

---

Testams reikia apimties ir švarių skaičių. Ripe Leads, kitas Dovydo Liaudansko verslas, siunčia kampanijas iš atskirų apšildytų domenų ir kiekvienai kampanijai teikia ataskaitą: kiek išsiųsta, pristatyta, atsakyta ir teigiamai. Susidomėjusių klientų atsakymai persiunčiami į jūsų pašto dėžutę.