Blog

RSS
2015/04/07 19:15

Test skuteczności remarketingu

Niemal rok temu opublikowaliśmy wyniki jednego z pierwszych testów faktycznej skuteczności remarketingu, wykonanego przy pomocy zmiennych niestandardowych Google Analytics.

Przypomnijmy: użytkownicy serwisu www zostali podzieleni na dwie losowe, statystycznie identyczne grupy A/B. Każdej z tych grup przypisano zmienną niestandardową Google Analytics, a następnie kampanie remarketingowe zostały wyłączone dla jednej z tych grup, wykorzystując listy remarketingowe Google Analytics.

W ten sposób użytkownicy serwisu zostali podzieleni na dwie grupy: tych, którym były wyświetlane reklamy remarketingowe i tych, którzy tych reklam nie oglądali. Zaobserwowane różnice w liczbie transakcji w grupach użytkowników A/B pozwoliły odpowiedzieć na pytanie o faktyczną atrybucję remarketingu w procesie konwersji.

 

Retargeting AB

 

Nie wiemy, na ile reklama remarketingowa wspiera, a na ile kanibalizuje pozostałe działania marketingowe. Podejrzewamy, że obydwa te czynniki są wzajemnie się znoszą, pytanie jednak, który z nich przeważa i w jakim stopniu:

  1. Kampania remarketingowa nie może istnieć sama z siebie. Konieczna jest wcześniejsza inwestycja w pozyskanie użytkowników, którzy później mają być poddawani remarketingowi. Dlatego do kosztu remarketingu należy doliczyć również pewną część kosztu pozyskania pierwotnych użytkowników.
  2. Obserwowane konwersje po kliknięciu reklam remarketingowych nie są dowodem, że bez tych reklam nie doszłoby do transakcji. Nie wiemy, czy w reklamy remarketingowe nie klikają użytkownicy, którzy i tak kupiliby produkt, ani w jakiej części to zjawisko zachodzi (na przykład, czy powiedzmy 70% użytkowników poddawanych remarketingowi dokonałoby transakcji nawet wtedy, gdyby nie kliknęli / nie oglądali reklam remarketingowych). Pamiętajmy, że remarketing kierujemy do osób, które wcześniej odwiedziły stronę i rozpoczęły transakcję, a to, że od momentu pierwszej interakcji do zakupu upływa pewien czas, jest zjawiskiem naturalnym.
  3. Raportowane konwersje są zazwyczaj konwersjami po kliknięciu w reklamę. System Google AdWords raportuje również konwersje po wyświetleniu (które miały miejsce po wyświetleniu reklamy graficznej lub multimedialnej – nie dotyczy to więc reklam tekstowych w sieci reklamowej). Wiemy, że reklama nie musi być klikana, aby oddziaływała na użytkownika. Niemniej, podobnie jak w przypadku konwersji po kliknięciu, nie wiemy czy użytkownicy, którzy widzieli reklamę, nie dokonaliby transakcji również bez reklam remarketingowych. Ponadto nie wiemy, jaka część wyświetleń była faktycznie zauważona przez użytkownika i jaka była siła oddziaływania reklamy. Intuicyjnie traktujemy konwersje po wyświetleniu jako mniej znaczące, ale nie wiemy, czy konwersja po wyświetleniu jest warta 20% czy może 1% konwersji po kliknięciu.

Wykonany prawie rok temu test dla pewnego serwisu e-commerce wykazał, że czynnik wspierający ma znacznie większe znaczenie, a w grupie poddanej remarketingowi obserwowaliśmy o 18,5% więcej sprzedaży niż w grupie, która reklam remarketingowych nie oglądała (i w związku z tym również nie klikała). Było to prawie 11x więcej, niż wykazywały raporty konwersji po kliknięciu i prawie 3x więcej, jeśli uwzględnić również konwersje po wyświetleniu reklamy graficznej/multimedialnej (co wskazuje, że również reklamy tekstowe istotnie oddziaływały na użytkowników przez samo wyświetlenie).

 

Remarketing - podsumowanie wyników

 

Prezentując wyniki tego eksperymentu (m. in. na Forum IAB 2014) podkreślaliśmy, że wyniku tego nie można uznać za generalną konkluzję. Efekty mogą się różnić w zależności od branży, serwisu i sposobu prowadzenia remarketingu. Znacznie ma konkurencja na rynku i na ile agresywnie prowadzą kampanie nasi konkurenci, a zachowanie użytkowników może się zmieniać w czasie.

 

Grupy użytkowników Google Analytics

Od czasu prezentacji wyników eksperymentu z zastosowaniem zmiennych niestandardowych, w Google Analytics wprowadzono możliwość przeprowadzenia takiego eksperymentu przy pomocy standardowych funkcji Google Analytics, bez konieczności jakichkolwiek prac programistycznych, co znacznie ułatwia wykonanie takiego testu. Wykorzystuje się do tego funkcjonalność grup użytkowników, a zastosowana przez nas metoda jest obecnie rekomendowana przez Google do testowania kampanii remarketingowych.

 

Wyniki kolejnych eksperymentów

Prowadzone przez nas testy z użyciem tej metody zazwyczaj nie potwierdzały wyników pierwszego eksperymentu. Skuteczność reklam remarketingowych była często zbliżona do skuteczności wykazywanej konwersjami po kliknięciu, zazwyczaj ze wskazaniem na lekką kanibalizację, choć w granicach błędu statystycznego.

Poniżej przedstawiamy dane z wyników innego eksperymentu. Dotyczą one również serwisu e-commerce. Dane zostały przekształcone celem zapewnienia ich poufności, co jednak nie ma wpływu na ich ważność dla celów case study.

W Google Analytics zdefiniowano grupy użytkowników A i B, dzieląc użytkowników na osoby z grup 1…50 oraz 51…100.  Następnie na podstawie tych grup stworzono listy remarketingowe, z których jedną („A”) zastosowano jako wykluczającą.

 

user bucket

 

Po wyłączeniu remarketingu w grupie użytkowników „A”, w grupie tej odnotowano znaczny spadek wizyt z tego źródła.

 

remarketing test 1

 

Dlaczego jednak wciąż mamy wizyty z remarketingu w grupie, która była wyłączona? Google Analytics przypisuje źródło wizyty do ostatniego źródła niebezpośredniego. Faktycznie były to wizyty bezpośrednie osób, które wcześniej weszły z remarketingu. Podobny efekt miał miejsce w innych podobnych testach.

W liczbach statystyki wizyt z remarketingu dla grup A/B w okresie testu wyglądały następująco:

 

remarketing statystyki

 

Zobaczmy jednak, jak wyglądały konwersje dla całego serwisu (wszystkie wizyty), gdyż to odpowie nam, na ile wyłączenie remarketingu wpłynęło na sprzedaż:

 

caly ruch na stronie www

 

Faktycznie widzimy, że grupa poddawana remarketingowi miała nieznacznie wyższe przychody (+0,32%), ale liczba transakcji była nawet mniejsza (-0,91%).

Jak to możliwe? Czyżby remarketing nie dość, że kanibalizował konwersje z innych źródeł, to jeszcze faktycznie zniechęcał do zakupu? Taka teza wydaje się absurdalna.

Zwróćmy uwagę przede wszystkim, że odchylenie jest bardzo niewielkie. Całkowity współczynnik konwersji w grupie A i B różni się jedynie o 3% (3,14% vs 3,06%). Mimo że wiele narzędzi wskaże, że różnica ta ma istotność statystyczną, to należy podchodzić z rezerwą do takich wyników (polecamy przykład, w którym narzędzia testu A/B wskazywały na istotność statystyczną różnic, których faktycznie nie było).

Zwróćmy uwagę, że w całym serwisie w grupie bez remarketingu mieliśmy o 17 109 mniej wizyt (różnica 1,65%). Tymczasem kampanie remarketingowe wskazywały na różnicę 23 363 wizyt. Wiemy też, że wiele z wizyt raportowanych jako remarketingowe faktycznie było wizytami bezpośrednimi. Jeśli spojrzeć na pozostałe źródła, to różnice ruchu miedzy grupami A/B wykazują odchylenia rzędu 1% w obie strony (na przykład ruch bezpośredni wykazywał odchylenie 1,03%):

wizyty bezposrednie statystyki

Biorąc to pod uwagę widzimy, że różnica w liczbie konwersji w grupach A/B rzędu 1% jest na granicy błędu statystycznego i nie można z niej wyciągać wniosków.

Z systemu raportowania Google AdWords wynikało, że konwersji po wyświetleniu jest około 25 razy więcej, niż konwersji po kliknięciu. Nawet gdyby przyjąć, że faktycznie wpływ ten jest nawet 5-10 razy mniejszy, to i tak powinniśmy zaobserwować kilkuprocentowe różnice.

 

Wnioski, a właściwie ich brak

Z całą pewnością, efekt podobny jak w przeprowadzonym rok temu eksperymencie, nie miał miejsca. To, czy remarketing faktycznie dostarcza więcej, czy mniej konwersji niż wskazują na to konwersje po kliknięciu (czyli czy mamy do czynienia z kanibalizacją, czy ze wzmacnianiem) pozostaje nierozstrzygnięte. Różnica jest na poziomie błędu statystycznego.

nie ma uniwersalnej odpowiedzi na pytanie o atrybuchje remarketinguKonkluzją z eksperymentu było zastosowanie konserwatywnego podejścia do atrybucji remarketingu i przypisywanie mu wartości na poziomie konwersji po kliknięciu.

Warto też zwrócić uwagę, że nie mamy możliwości oceny wpływu remarketingu na konwersje między urządzeniami. Użytkownicy, którzy pod wpływem reklamy remarketingowej oglądanej na jednym urządzeniu, skonwertują na innym urządzeniu, znajdują się w równym stopniu w grupach A/B.

Tak różne wyniki testów wskazują, że nie ma uniwersalnej odpowiedzi na pytanie o atrybucję remarketingu i każdy reklamodawca powinien przeprowadzić własne testy, a także od czasu do czasu je powtarzać.

Niewykluczone, że podobnie jak w opisywanym przypadku, testy nie wykażą statystycznie istotnego wpływu remarketingu. Wtedy przynajmniej dowiemy się, że występują utracone możliwości i że należy stosować konserwatywne podejście do oceny efektywności kampanii remarketingowych, w szczególności w odniesieniu do konwersji po wyświetleniu reklamy.



Autor

Witold Wrodarczyk

Dyrektor Operacyjny Adequate Interactive Boutique Google Analytics & AdWords Qualified Professional

Adequate - Agencja interaktywna

Adres:
ul. Okopowa 47/23
01-059 Warszawa
Telefon:
(+48) 22 299 50 28

Nasza strona korzysta z plików cookie w celu realizacji usługi zgodnie z Polityką Prywatności.