Testowanie kampanii z influencerami

Zacznij od decyzji, którą ma zmienić wynik testu. Zapisz pytanie, główną miarę, porównywane warianty i termin odczytu przed publikacją.

Sprawdź, czy projekt pozwala przypisać różnicę badanemu wariantowi. Dwa posty różnych twórców mogą dać użyteczne obserwacje, ale zwykle nie izolują wpływu jednej zmiennej.

Wybierz jedno pytanie

Zamiast pytać, „który influencer działa najlepiej?”, określ, co chcesz zmienić w następnej kampanii. Możesz porównać reakcję dwóch grup na tę samą ofertę, demonstrację z osobistą rekomendacją albo kolejne materiały w tej samej współpracy. Każde z tych pytań wymaga innego układu próby.

Zapisz możliwe decyzje: powtórzyć wariant, poprawić go, zebrać brakujące dane lub zakończyć próbę. Jeśli żaden wynik nie wpłynie na plan, doprecyzuj pytanie przed wydaniem budżetu.

Zaplanuj porównanie

Wskaż badaną różnicę oraz warunki, które postarasz się utrzymać podobne: produkt, ofertę, materiał, okres emisji, płatną dystrybucję i sposób pomiaru. Dzięki temu łatwiej ocenisz, czy porównanie dotyczy jednej zmiany, czy całego układu współpracy.

Jeśli jednocześnie zmienią się twórca, przekaz i widownia, porównasz całe układy współpracy. Nie będzie podstaw, by przypisać przewagę jednego posta samej widowni lub treści.

Przy organicznych publikacjach zwykle nie kontrolujesz tego, kto zobaczy każdy wariant. Gdy kanał i sposób emisji pozwalają rozdzielić odbiorców oraz ograniczyć inne różnice, wniosek o badanej zmianie może być mocniejszy. Sprawdź rzeczywiste możliwości wybranego kanału przed nazwaniem porównania eksperymentem.

Przygotuj odczyt

Nadaj materiałom odrębne identyfikatory. Zapisz konto, datę, format, warunki oferty, udział płatnej promocji i źródło każdej metryki.

Poproś o dostępne wyniki konkretnych publikacji z zakresem dat i datą odczytu. Wyniku całego profilu nie podpisuj jako wyniku zamówionego posta.

Jeśli materiały prowadzą do witryny, osobne oznaczone adresy mogą pomóc rozpoznać ruch po kliknięciu. Zapytania i zakupy sprawdzaj w odpowiednio skonfigurowanych systemach analitycznych marki.

Porównuj tę samą definicję wyniku po podobnym czasie od publikacji. Wyświetlenia nie oznaczają liczby różnych osób.

Jeśli podział na ruch organiczny i płatny jest dostępny, pokaż go osobno. Brakującej metryki nie wpisuj jako zera.

Rozpisz czynniki i odpowiedzi

Podejście do projektowania eksperymentów, czyli Design of Experiments (DOE), zaczyna się od określenia celu, czynników, które można zmieniać, oraz odpowiedzi, które będą mierzone. W kampanii wskaż badaną cechę materiału lub emisji, jej porównywane warianty oraz wynik, który ma pokazać różnicę.

Oddziel czynniki kontrolowane od tych, na które nie masz wpływu. Wynik może zależeć także od niekontrolowanych warunków, zarówno jakościowych, jak i ciągłych. Zapisz ważne okoliczności emisji, by nie przypisać badanemu wariantowi zmian wynikających z innych warunków.

Jeśli zmieniasz jednocześnie więcej niż jeden czynnik, uwzględnij możliwość ich interakcji: wpływ jednego wariantu może zależeć od poziomu drugiego. Modele eksperymentalne mogą uwzględniać efekty poszczególnych czynników i ich interakcje. Bez tego rozróżnienia wynik łącznego układu nie odpowie, który element zadziałał samodzielnie.

Przed emisją ustal, czy porównanie da się powtórzyć w podobnych warunkach. Powtórzenie pomaga sprawdzić, czy obserwacja nie dotyczy wyłącznie pojedynczej publikacji.

Blokowanie pozwala ograniczyć wpływ wybranych czynników zakłócających. Twórz możliwie jednorodne bloki, w których zmienia się badany czynnik, a pozostałe warunki pozostają stałe; każdy poziom badanego czynnika powinien wystąpić w każdym bloku tyle samo razy.

Ogranicz zakłócenia i wnioski

Wybierz do blokowania tylko te zakłócenia, które można kontrolować i które są istotne dla wyniku. Przykładami takich czynników są operator przygotowujący próbę oraz pora dnia. Gdy nie da się utrzymać warunku na stałym poziomie, losowy przydział wariantów pomaga ograniczyć wpływ pozostałych zakłóceń.

Regułę „blokuj, co możesz; losuj, czego nie możesz” traktuj jako sposób planowania, a nie gwarancję identycznych warunków. Bloki pozwalają porównywać warianty przy uwzględnieniu wybranych zakłóceń, a losowanie ogranicza wpływ tych, których nie kontrolujesz. Zapisz, które czynniki udało się kontrolować, a które pozostały poza planem.

Projekt eksperymentu ma maksymalizować ilość informacji możliwej do uzyskania przy danym nakładzie pracy. Nie dodawaj więc wariantów bez decyzji, której mają służyć. Jeśli plan nie pozwala odróżnić wpływu badanego czynnika od innych zmian, ogranicz wniosek do obserwacji o całym porównanym układzie.

Siłę wniosku dopasuj do projektu i danych: zaplanowany eksperyment może wspierać obiektywne wnioski, ale tylko w zakresie, jaki umożliwia jego układ. W raporcie decyzji odróżnij wynik zaobserwowany od jego wyjaśnienia. Gdy warunki zmieniały się razem z wariantem, zaplanuj kolejną próbę, która rozdzieli te zmiany.

Podejmij decyzję w granicach danych

Po ustalonym terminie zapisz pytanie, warianty, zaobserwowany wynik, odstępstwa i następny krok. Sprawdź także, czy strona działała, produkt był dostępny, a oferta pozostała aktualna. Te okoliczności mogą pomóc wybrać kolejną próbę, lecz sama ich zbieżność z wynikiem nie ustala przyczyny.

Przed następną publikacją sprawdź jej przekaz i oznaczenie komercyjnego charakteru. Rekomendacje Prezesa UOKiK wskazują, że czytelne, jednoznaczne i zrozumiałe oznaczanie reklamy jest obowiązkiem influencera, agencji reklamowej i reklamodawcy. W przypadku ukrywania handlowego charakteru publikacji mogą mieć zastosowanie przepisy ustawy z 23 sierpnia 2007 r. o przeciwdziałaniu nieuczciwym praktykom rynkowym.

Wskazówki ekspertów z White Press i UOKiK