Nie byłbym sobą gdybym nie wykorzystał kolejnego Harvard Business Review jako inspiracji do wpisu. W numerze lipiec – sierpień 2011 znalazłem doskonały tekst „Praktyczny poradnik: Eksperymenty w biznesie”. Cały numer poświęcony jest innowacjom, zatem tekst znalazł się tam jako jeden z kluczowych.

Autorzy tekstu (Eric T. Anderson, Duncan Simester) skupiają się na wykazaniu różnic pomiędzy analityką a eksperymentem. Większość firm posiada narzędzia analityczne a każda większa firma posiada osoby zajmujące się tą dziedziną. Analiza ma jednakowoż jedną wielką wadę – skupia się na badaniu i ocenie zdarzeń z przeszłości. Oczywiście im bardziej powtarzalne sytuacje badamy tym taka ocena będzie bardziej wartościowa, jako wkład w zarządzanie. Niestety w Sieci nie ma czegoś takiego jak powtarzalna sytuacja. Każdy, kto raz przeprowadził udaną kampanię on-line i próbował powtórzyć ja w niezmienionej formie w roku kolejnym, boleśnie przekona się, iż to już nie działa. Wiem coś o tym – próbowałem :)

Rozbudowane narzędzia analityczne są bardzo drogie a wyciąganie wniosków w obliczu zmian rynkowych jest trudne. Dużo efektywniejszym podejściem byłoby stworzenie narzędzi umożliwiających eksperymentowanie. Eksperyment zawsze odnosi się do aktualnej sytuacji a postawione odpowiednio hipotezy dają klarowną odpowiedź. Odpowiedź o dużo większej pewności niż analiza danych historycznych.

Najprostszy eksperyment to stworzenie różniących się ofert i przedstawienie ich podobnym klientom. Szybko uzyskamy informację, która cieszy się większym powodzeniem i jest korzystniejsza z naszego punktu widzenia. Co najlepsze – eksperymenty są metodologicznie prostsze do przeprowadzenia niż zaawansowane analizy i może je realizować każdy z nas.

W artykule opisano eksperyment jednej z sieci handlu detalicznego. Sieć handlowa zastanawiała się jak nie tracić sprzedaży produktów marek własnych podczas odbywających się akcji promocyjnych marek ogólnokrajowych. Podczas takiej promocji – przykładowo – markowy cukier kosztował tyle co cukier sprzedawany pod marką sieci handlowej. By odpowiedzieć na to pytanie przygotowano eksperyment składający się z sześciu kombinacji warunków doświadczalnych oraz grupy kontrolnej.
Na kombinacje warunków doświadczalnych składały się obniżki ceny marki własnej sieci od 0 do 35%. Eksperyment wykazał, że reagując na promocje krajowych marek umiarkowaną obniżką cen marek własnych, sieć może liczyć na zysk o 10% większy niż w wypadku braku takiej reakcji.

Przeprowadzenie takiego eksperymentu w wielu sklepach rozległej sieci detalicznej może wydawać się skomplikowane i kosztowne ale w Sieci tego rodzaju eksperymenty prowadzić można bardzo sprawnie. Na bazie szybkich testów A/B ustaliliśmy między innym optymalne metody przedstawienia funkcji oprogramowania Video CMS. Badaliśmy wersje strony głównej z video, slajdami, opisem tekstowym. Okazało się, że układ z nie-interaktywnymi slajdami powoduje najwięcej przejść do etapu zamawiania demo – dla nas kluczowego. Opinie ekspertów wykazywały wcześniej inne rozwiązania jako optymalne. Eksperymenty przynoszą czasem zaskakujące wyniki ale to właśnie pozwala wypracowywać przewagę konkurencyjną. Rosnąca ilość eksperymentów uaktualnia i buduje także wewnętrzną wiedzę organizacji i jej intuicję.