Zdjęcie do artykułu Jak uczciwie przetestować treści twórców w kampanii
Fot. viarami / Pixabay

Wybór twórców

Jak uczciwie przetestować treści twórców w kampanii

Jak zaplanować test treści twórców: jedna decyzja, jedna główna miara, zdefiniowane warianty, termin odczytu ustalony przed emisją i granice wniosków.

To pseudonim redakcyjny używany przez wydawcę, a nie deklaracja niezależnie potwierdzonej tożsamości osoby. Pierwotny podpis redakcyjny: Redakcja Kampanii.

Zasady uczciwego testu

  • Test ma zmienić jedną konkretną decyzję. Jeśli żaden wynik nie wpłynie na plan następnej kampanii, nie wydawaj na niego budżetu.
  • Przed publikacją zapisz cztery rzeczypytanie, główną miarę, warianty i datę odczytu. Zmiana którejkolwiek po zobaczeniu wyników zamienia test w opowieść dopasowaną do liczb.
  • Zmieniaj jedną rzecz naraz. Dokumentacja testów podziału w Meta wprost zaleca testowanie jednej zmiennej naraz, żeby wiedzieć, co spowodowało różnicę.
  • Organiczne posty dwóch różnych twórców porównują całe układy współpracy: twórcę, widownię, termin i przekaz razem. To może być użyteczna obserwacja, ale nie dowód, że wygrał przekaz.
  • Sugestia redakcjimocniejszy wniosek daje test, w którym platforma rozdziela odbiorców na grupy, a nie test, w którym odbiorców wybiera algorytm lub sam twórca.
  • Wynik zapisz w granicach danychco zaobserwowano, czego nie da się rozstrzygnąć i co sprawdzić w następnej próbie.

Zacznij od decyzji, nie od wariantów

Pytanie „który influencer działa najlepiej” jest zbyt szerokie, bo nie wiadomo, jaką decyzję miałoby zmienić. Lepsze pytania mają postać „czy w następnej kampanii pokazać demonstrację produktu, czy osobistą rekomendację”, „czy ta sama oferta działa tak samo na dwóch grupach odbiorców” albo „czy drugi materiał u tej samej osoby przynosi mniej niż pierwszy”.

Zapisz możliwe decyzje: powtórzyć wariant, poprawić go, zebrać brakujące dane albo zakończyć próbę. Jeśli żaden wynik nie prowadzi do innej decyzji niż pozostałe, doprecyzuj pytanie, zanim ruszy budżet kampanii.

Główna miara musi odpowiadać decyzji. Dla demonstracji produktu może to być liczba wejść na stronę z oznaczonego linku, dla oferty liczba zamówień w systemie marki. Pozostałe liczby są dodatkowe i nie powinny rozstrzygać testu. Metody pomiaru opisano w tekście o pomiarze efektów influencer marketingu, więc tutaj ich nie powtarzamy.

Co mówi metodyka eksperymentów

Amerykański Narodowy Instytut Norm i Technologii (NIST) opisuje w swoim podręczniku projektowanie eksperymentów (DOE) jako sposób planowania prób tak, by dane pozwalały na obiektywne wnioski. Plan powstaje z wyprzedzeniem, a eksperyment polega na celowej zmianie czynników i obserwowaniu ich wpływu na mierzone odpowiedzi (NIST: Introduction to DOE). Podręcznik odróżnia czynniki kontrolowane, które badacz ustawia, od niekontrolowanych, na które nie ma wpływu.

W kampanii z twórcami czynnikiem kontrolowanym może być format materiału lub przekaz. Niekontrolowane są zwykle: widownia twórcy, pora publikacji, algorytm rekomendacji i to, co akurat dzieje się w otoczeniu marki. Zapisz je, żeby nie przypisać badanemu wariantowi zmian pochodzących skądinąd.

Ten sam podręcznik opisuje zasadę „blokuj, co możesz; losuj, czego nie możesz”. Blokowanie oznacza porównywanie wariantów w obrębie grup o podobnych warunkach, a losowanie rozprasza wpływ czynników, których nie da się utrzymać stałych (NIST: Randomized block designs). Przy organicznych publikacjach rzadko masz taką kontrolę. Dlatego nazywaj to, co robisz, porównaniem, a nie eksperymentem, jeśli nie możesz rozdzielić odbiorców.

Układ testu w czterech krokach

Sugestia redakcji, nie standard z dokumentacji:

  1. Pytanie i decyzja.Na przykład: „Który z dwóch przekazów powtórzyć w następnej kampanii”.
  2. Warianty.Dwa materiały różniące się tylko przekazem. Taki sam produkt, ta sama oferta, ten sam format i podobna długość. Każdy materiał dostaje własny identyfikator i własny oznaczony adres.
  3. Dystrybucja.Najpierw sprawdź, czy kanał pozwala rozdzielić odbiorców. Przy płatnej promocji platforma może to zrobić za Ciebie, przy organicznym poście zwykle nie.
  4. Odczyt.Data i godzina odczytu, ten sam odstęp od publikacji dla obu wariantów, definicja miary i lista okoliczności, które mogły wpłynąć na wynik.

W sprawie wielkości próby nie podajemy progów. Dokumentacja Meta mówi, że większy zasięg, dłuższy czas trwania i większy budżet zwykle dają bardziej wiarygodne wyniki, a rozmiary grup w teście powinny być porównywalne (Meta: split testing). Jeśli narzędzie podaje poziom ufności, wybierz go przed startem, a nie po obejrzeniu wyniku. Dla małych liczb zamówień lub zapytań nawet duża różnica procentowa może być przypadkiem.

Karta testu do wypełnienia przed emisją

Poniższy zapis to szablon, a nie opis rzeczywistej kampanii. Wypełnij go i zapisz w miejscu dostępnym dla zespołu przed publikacją, żeby nikt nie mógł go „poprawić” po zobaczeniu wyniku.

Pole / Co wpisać

Decyzja do podjęcia
Co zmienisz w następnej kampanii w zależności od wyniku
Pytanie
Jedno zdanie, jedna zmieniana cecha
Główna miara i jej definicja
Nazwa, źródło, sposób liczenia
Warianty
Czym dokładnie się różnią i co jest stałe
Sposób rozdziału odbiorców
Narzędzie płatne albo „brak rozdziału”
Data i godzina odczytu
Taki sam odstęp od publikacji dla obu wariantów
Znane zakłócenia
Promocje, premiery, święta, dostępność produktu
Dopuszczalne wnioski
Co wolno napisać po teście, a czego nie

Co pozwala rozdzielić odbiorców

Narzędzia reklamowe oferują to, czego nie ma w organicznym poście.

NarzędzieCo dokumentacja opisujeGranica
Meta, testy podziałuInterfejs dzieli odbiorców na grupy, które się nie nakładają, a testować można m.in. kreację, grupy odbiorców i budżetyDotyczy płatnej emisji, nie organicznego posta twórcy
Google Ads, Conversion LiftMierzy konwersje, które wystąpiły w związku z wyświetleniem reklam, porównując grupę, która reklamy zobaczyła, z grupą, która ich nie zobaczyłaNie jest dostępny dla wszystkich kont, dostęp przez przedstawiciela Google
Porównanie bez rozdziału odbiorcówObserwacja dwóch publikacjiNie rozdziela wpływu twórcy, przekazu i widowni

Źródła: Meta: split testing, Google Ads: About Conversion Lift. Pierwsze dwa narzędzia wymagają płatnej promocji materiału, więc przed testem trzeba mieć zgodę twórcy na płatne promowanie. Meta zaleca też ustalić model atrybucji przed testem i zwraca uwagę, że badanie przyrostu (lift) pokazuje przyczynowy wpływ marketingu, jeśli bieżący model budzi wątpliwości.

Granice wniosków

  • Nakładające się grupy.Dwie publikacje obserwowane przez te same osoby nie dają niezależnych wyników. Ta sama osoba może zobaczyć obie.
  • Termin.Post w poniedziałek i post w sobotę trafiają do innych odbiorców i konkurują z innymi treściami. Odstęp od publikacji ma być taki sam w odczycie.
  • Dane niepełne.GA4 stosuje progi danych i przy małych liczbach może ukrywać część wierszy (Google Analytics: progi danych). Brak wiersza nie oznacza zera.
  • Znakowanie ruchu.Parametry UTM trzeba zapisać spójnie, bo wartości rozróżniają wielkość liter, a brakujące parametry kończą jako „(not set)” (Google Analytics: URL builders). Długi okres od posta do zakupu opisuje tekst o oknie atrybucji.
  • Wyjaśnienie wyniku.Okoliczności zbieżne z wynikiem, takie jak dostępność produktu czy zmiana oferty, mogą wskazać następną próbę. Same nie ustalają przyczyny.

Gdy warianty różniły się więcej niż jedną rzeczą, wniosek ogranicz do zdania „ten układ zadziałał lepiej w tych warunkach”. Następną próbę zaplanuj tak, by rozdzielić zmiany.

Zanim opublikujesz warianty

Każdy materiał testowy jest nadal współpracą komercyjną i podlega takim samym zasadom oznaczania. UOKiK wskazuje, że oznaczanie reklamy jest obowiązkiem influencerów, agencji reklamowych i reklamodawców, i opublikował rekomendacje Prezesa Urzędu w tej sprawie (UOKiK: influencer marketing). Oznaczenie powinno być w obu wariantach takie samo i czytelne, także dlatego, że inaczej porównujesz już nie przekaz, tylko widoczność oznaczenia. Zasady opisano w tekście o oznaczaniu współprac i kontroli treści. To informacja ogólna, a w sprawach wątpliwych zapytaj prawnika lub UOKiK.

Po terminie odczytu zapisz pytanie, warianty, wynik, odstępstwa i następny krok. Wzór takiego zapisu znajdziesz w tekście o raportowaniu współpracy.

Źródła

Więcej z: Wybór twórców

Wybór twórców

Influencer marketing dla polskich marek

Jak zaplanować współpracę z twórcą: wybrać cel, ocenić dopasowanie, uzgodnić materiał i mierzyć wynik bez obietnic opartych na liczbie obserwujących.