17 kwietnia uruchomiony zostanie nowy serwis internetowy Pekao24. Aktualna wersja obecna jest na rynku już kilka lat, nadszedł więc czas na gruntowne zmiany. Według banku, nowa witryna ma być łatwiejsza w obsłudze, m.in. dzięki poprawionej nawigacji i ułatwionemu dostępowi do najważniejszych funkcji. My zapytaliśmy specjalistów od użyteczności, czy tak faktycznie jest.
45 sekund szybciej będziemy przelewać w nowym Pekao24
Interaktywnie.com postanowiło sprawdzić, jak nowy serwis wypada w konfrontacji z samymi użytkownikami. Dzięki pomocy firmy Ideaco, zajmującej się m.in. budowaniem użyteczności na potrzeby sieci, wiemy, że – mimo pewnych niedociągnięć – serwis spełnił wymagania internautów korzystających z bankowości online.
Anna Radyno (fot.: Ideacto)
- Chcieliśmy spojrzeć na nowy system Pekao24 oczami użytkownika, nie tylko eksperta. Dlatego postanowiliśmy przetestować go na grupie 13 użytkowników, aby prześledzić ścieżkę nawigacji w obydwóch systemach, jak i porównać reakcje i opinie uczestników badania – mówią Joanna Kotala iAnna Radyno, autorki badania serwisu Pekao24 z firmy Ideacto.
Na jego potrzeby poproszono użytkowników o wyobrażenie sobie, że kupili produkt w internecie, za który muszą dokonać pilnego przelewu na wskazany rachunek. W pierwszej kolejności uczestnicy wykonywali to zadanie na koncie demo starego systemu Pekao24, następnie podobne zadanie realizowali w nowym serwisie Pekao24.
Jak się okazało, w tym drugim przypadku wykonanie przelewu jednorazowego było o około 45 sekund szybsze. Użytkownicy zadanie wykonywali znacznie sprawniej niż w systemie starym, poświęcając na nie średnio 1 minutę i 39 sekund. Natomiast w poprzedniej wersji serwisu zajmowało im to średnio 2 minuty i 24 sekundy.
Wady starego systemu wg badanych przez Ideacto użytkowników:
Nieczytelne menu górne, w którym ciężko cokolwiek odnaleźć. Użytkownicy nie korzystali z tego elementu – w większości kierowali się do menu bocznego. Jak podsumowała jedna z uczestniczek: „Kojarzy się ze spamerską stroną z tysiącami linków”.
„Przytłaczająca grafika”, „straszny interfejs” który odciąga uwagę od głównych celów systemu – strona ogólnie budziła skojarzenia z pierwszymi stronami z lat 90.
W formularzu zlecania przelewu użytkownicy narzekali na brak możliwości wpisywania numeru rachunku ze spacjami. Przyczyniało się to także do popełniania przez nich błędów.
Niezrozumiały przycisk „Zachowaj” na zakończenie formularza zlecenia przelewu – interpretowali go jako „zachowywanie czegoś na później, np. odbiorcy stałego”. Z dużym wahaniem klikali jednak zastanawiając się, co tak naprawdę spowoduje.
Zalety nowego systemu wg badanych przez Ideacto użytkowników:
Operacje przy rachunkach bankowych – większości użytkowników podobała się opcja menu rozwijanego z najważniejszymi funkcjami. Często nie była od razu widziana, ale gdy użytkownicy ją zauważali, szybko potrafili z niej skorzystać i znaleźć „Przelew jednorazowy”. Twierdzili nawet, że „…obejmuje wszystkie opcje, które są potrzebne.”
Wizualnie bardziej przejrzysty – przy pytaniu, który system wybiorę zdecydowana większość wskazywała nową wersję, uzasadniając to stwierdzeniami: jest ładniejszy, jest przejrzysty, jest czytelny, wygląda lepiej, podoba mi się układ, więcej miejsca, wrażenie oddechu, lekki, nieinwazyjny design.
Na zakończenie zlecania przelewu większość zauważyła korzystną zmianę przycisku „zachowaj” na „dalej”, komentując: „tutaj jest już normalnie.. teraz wiem, że przechodzę do autoryzacji”.
Joanna Kotala (fot.: Ideacto)
- Ogólne wrażenie, jakie nowy system zrobił na badanych było bardzo pozytywne. Efektywność przy wykonywaniu zadania została znacząco poprawiona. Jednak przed nowym Pekao24 stoi jeszcze jedno, największe wyzwanie – przekonać do siebie swoich dotychczasowych użytkowników, którzy nie znajdą w nim wielu podobieństw do poprzedniej wersji – komentują autorki badania.
Gdy Interaktywnie.com poprosiło nas o zdanie na temat nowego serwisu transkacyjnego Pekao SA postanowiliśmy nie poprzestawać na naszej intuicji ” i oprzeć naszą ocenę serwisu na badaniach z użytkownikami. Dwie osoby, jeden dzień, sporo intensywnej pracy. Wynik – wiemy czy nowy system jest lepszy czy gorszy.
45 sekund szybciej będziemy przelewać w nowym Pekao24
Chcieliśmy spojrzeć na nowy system Pekao24 oczami użytkownika, nie tylko eksperta. Dlatego postanowiliśmy przetestować go na grupie 13 użytkowników, aby prześledzić ścieżkę nawigacji w obydwóch systemach, jak i porównać reakcje i opinie uczestników badania – mówią Joanna Kotala i Anna Radyno, autorki badania serwisu Pekao24 z firmy Ideacto.
Na potrzeby badania poproszono użytkowników o wyobrażenie sobie, że kupili produkt w internecie, za który muszą dokonać pilnego przelewu na wskazany rachunek. W pierwszej kolejności uczestnicy wykonywali to zadanie na koncie demo starego systemu Pekao24, następnie podobne zadanie realizowali w nowym serwisie Pekao24.
Jak się okazało, w tym drugim przypadku wykonanie przelewu jednorazowego było o około 45 sekund szybsze. Użytkownicy zadanie wykonywali znacznie sprawniej niż w systemie starym, poświęcając na nie średnio 1 minutę i 39 sekund. Natomiast w poprzedniej wersji serwisu zajmowało im to średnio 2 minuty i 24 sekundy.
Wady starego systemu wg badanych przez Ideacto użytkowników:
- Nieczytelne menu górne, w którym ciężko cokolwiek odnaleźć. Użytkownicy nie korzystali z tego elementu – w większości kierowali się do menu bocznego. Jak podsumowała jedna z uczestniczek: „Kojarzy się ze spamerską stroną z tysiącami linków”.
- „Przytłaczająca grafika”, „straszny interfejs” który odciąga uwagę od głównych celów systemu – strona ogólnie budziła skojarzenia z pierwszymi stronami z lat 90.
- W formularzu zlecania przelewu użytkownicy narzekali na brak możliwości wpisywania numeru rachunku ze spacjami. Przyczyniało się to także do popełniania przez nich błędów.
- Niezrozumiały przycisk „Zachowaj” na zakończenie formularza zlecenia przelewu – interpretowali go jako „zachowywanie czegoś na później, np. odbiorcy stałego”. Z dużym wahaniem klikali jednak zastanawiając się, co tak naprawdę spowoduje.
Zalety nowego systemu wg badanych przez Ideacto użytkowników:
- Operacje przy rachunkach bankowych – większości użytkowników podobała się opcja menu rozwijanego z najważniejszymi funkcjami. Często nie była od razu widziana, ale gdy użytkownicy ją zauważali, szybko potrafili z niej skorzystać i znaleźć „Przelew jednorazowy”. Twierdzili nawet, że „…obejmuje wszystkie opcje, które są potrzebne.”
- Wizualnie bardziej przejrzysty – przy pytaniu, który system wybiorę zdecydowana większość wskazywała nową wersję, uzasadniając to stwierdzeniami: jest ładniejszy, jest przejrzysty, jest czytelny, wygląda lepiej, podoba mi się układ, więcej miejsca, wrażenie oddechu, lekki, nieinwazyjny design.
- Na zakończenie zlecania przelewu większość zauważyła korzystną zmianę przycisku „zachowaj” na „dalej”, komentując: „tutaj jest już normalnie.. teraz wiem, że przechodzę do autoryzacji”.
Ogólne wrażenie, jakie nowy system zrobił na badanych było bardzo pozytywne. Efektywność przy wykonywaniu zadania została znacząco poprawiona. Jednak przed nowym Pekao24 stoi jeszcze jedno, największe wyzwanie – przekonać do siebie swoich dotychczasowych użytkowników, którzy nie znajdą w nim wielu podobieństw do poprzedniej wersji – komentują autorki badania.
Testy z użytkownikami Pekao24.pl – Część 2
Grzegorz Aksamit
Mam wrażenie, że to tylko 1/3 artykułu, który miał powstać. Gdzie są pozostałe 2/3? Skoro są wady starego systemu, to dlaczego nie ma zalet? Za to nowego systemu wymienione zostały tylko dostrzeżone zalety. Gdzie są dostrzeżone wady? I przede wszystkim, gdzie jest metodologia badania? Nie było czasem tak, że w nowym systemie użytkownicy wykonywali przelew znacznie szybciej bo znali już dokładnie wszystkie dane przelewu z testu ze starym systemem i tylko musieli je wklepać do innego formularza?
orzech
1. To na co zwrócił uwagę Grzegorz – czy uczestnicy biorący udział w doświadczeniu byli podzieleni na 2 grupy, gdzie jedna zaczynała od starego systemu, a druga od nowego? Jeśli nie, to wyniki takiego badania są bezwartościowe.
2. Czas przejścia przez system (czy też tylko przez jedną ścieżkę) w takim wypadku to jedynie miara względna. Bardziej spodziewałbym się wyników procentowych ;) I to też z informacją z jakiego typu (poziomu) użytkowników składała się grupa testerów.
Tomek Karwatka
Panowie, poczekam na odpowiedzi Asi, ktora prowadzila badania ale tymczasem odniose sie tak ogolnie :) To jest system transakcyjny. Ulepszanie takiego systemu musi brac pod uwage przyzwyczajenia jego uzytkownikow. Zatem jak najbardziej uzasadnione jest kolejne testowania najpierw starej a potem nowej wersji. Uzytkownicy nowego systemu nie wezma sie przeciez z powietrza – beda to uzytkownicy starego systemu a glowne pytanie nie brzmi ktory system jest lepszy obiektywnie ale ktory system jest lepszy dla klientow Banku. Nikt nie chcialby przeciez sytuacji iz po zmiane systemu na „lepszy” klienci rezygnuja z niego. Takie przypadki juz mialy miejce – chocby nieslawna zmiana smaku CocaColi na taki ktory w slepych testach byl lepszy. Okazalo sie ze firma musiala sie z tej zmiany wycofac bo nie zawsze lepszy znaczy to samo dla wszystkich :)
Grzegorz Aksamit
Słuszne argumenty. Faktycznie przy takich założeniach taki test mógł mieć sens. Ale zakładam, że wyciągnęliście też wnioski na temat zalet starego systemu i wad nowego. Dużo ciekawszy byłby dla mnie taki artykuł gdyby zawierał komplet wniosków. Nie tylko te w pełni potwierdzające założoną tezę („nowy system jest lepszy”) :)
Przy okazji gratuluję bardzo ciekawego bloga – jest w moim czytniku od dawna.
Pozdrawiam
Tomek Karwatka
Juz Ania pracuje nad wpisem rozbudowanym z większą ilością wniosków na temat starego systemu :)
Joanna Kotala
Chodziło głównie o sprawdzenie wrażenie jakie robi nowa wersja. Tutaj trochę więcej o wykonywanym badaniu : Testy z użytkownikami Pekao24 – część 2 .
Trudno powiedzieć czy to wpływ nowego systemu, ale na pytanie o pozytywne cechy starej wersji wszyscy zaczynali mówić o jej wadach :) Właściwie można wyróżnić tylko jedna pozytywną cechę, którą wskazały zaledwie dwie osoby: Bezpośredni link do przelewów zewnętrznych. Jeden z badanych znał tę opcję, bo jest użytkownikiem Pekao24 i w nowej wersji nie mógł jej znaleźć, co wskazał jako wadę. Stąd też w naszym podsumowaniu zaznaczyliśmy, że przed nowym Pekao24 stoi duże wyzwanie, aby przekonać do siebie dotychczasowych klientów.
Oczywiście, jeśli miałabym podejmować biznesowe decyzje to zleciłabym obszerniejsze badania :)
Paweł Haltof
Bardzo ciekawe badanie, podoba mi się praktyczne podejście. Chciałbym jednak zaznaczyć pewne błędy w metodologii badań.
Po pierwsze metoda to nie „wywiady indywidualne”, tylko badania eksperymentalne w schemacie prób zależnych. Zmienną był czas wykonania zadań. Zdania, które wykonywali badani były przygotowane, a sytuacja eksperymentalna obserwowana przez badaczy. Domyślam się, że dodatkowo została przeprowadzona procedura głośnego myślenia czy pytań po zadaniach – czyli jako dodatek te „wywiady”.
Oczywiście prostym błędem jest brak kontroli zmiennej uczenia się wykonania tego samego zadania. Jak sami wiecie, ludzie wykonując te same zadanie uczą się ich. Poziom wykonania zadań wzrasta, a czas maleje. W przypadku interfejsu PEKAO24 nie widać w ogóle zmian w mechanizmie „core bankowym”. Oznacza to, że nawet w nowym systemie funkcja będzie działać bardzo podobnie, łatwo się jej nauczyć, tylko nowy układ i nawigacja mogą wpływać na wyniki.
Prosty sposób to sprawdzić jak uczestnik radzi sobie z uczeniem się przelewów w obu systemach, wykonując po 3-4 przelewy po sobie.
Jak rozumiem badania robiliście na użytkownikach nowych, nie znających wcześniej żadnego z systemów transakcyjnych? Jeśli tak to faktycznie teza „..najbardziej uzasadnione jest kolejne testowania najpierw starej a potem nowej wersji”, nie jest do końca uzasadniona.
Jeśli robimy faktycznie testy prób zależnych to to co zbadaliście jest efektem uczenia się nowego interfejsu po starym. Czyli jeśli ktoś „nowy” założy sobie konto w PEKAO24 zrobi przelew to jest wielce prawdopodobne, że po przełączeniu na nowy system zrobi to szybciej. Nie oznacza to jednak, że nowy system jest szybszy! Tylko, że po starym na nowym zrobię to szybciej. Faktycznie podzielam fakt, że lepsze byłoby porównanie dwóch grup niezależnie lub z grupą kontrolną. Minimalnie wystarczyło by losować kolejność systemów.
Podsumowując sam eksperyment, wykazał tylko i wyłącznie (!) umiejętność uczenia się, w czasie zmieniania interfejsu. Wcale nie to, że ludzi się szybciej uczą nowego systemu!
No i sprawdziłem, że faktycznie wyniki różnią się od siebie w zakresie tendencji (duży wpływ odchyleń) statystycznej p<0,05. Tak więc nie należy twierdzić, że teza jest potwierdzona, raczej – istnieje taka tendencja.
PS: swoją drogą uważam, że jak na zmiany to system jest skostniały we wnętrzu, projektanci mimo ograniczeń odwalili super pracę. Z to ludzi z banku powinni się wstydzić braku postępu funkcjonalności w "nowym" systemie transakcyjnym.
Życzę więcej udanych testów;)
Pawel
Tomek Karwatka
Pawle – wszystko co opisales dokladnie obrazuje to jak latwo jest ludzi wystraszyc testami usability :)
Ja patrze na to inaczej – w ciagu jednego dnia zrobilismy test w ktorym sie sporo dowiedzielismy o tym JAK ludzie rozumieja tego rodzaju systemy. Wyciaganie wnioskow – bardziej lub mniej ryzykowne ale przyznasz chyba, ze przeprowadzenie turbo-dymo-testu :) nie zawsze wiele wnosi do meritum.
Dla mnie celem nie jest badanie ale produkt. Moze troche przesadzam ale Twoja wypowiedz jest dokladnie po drugiej stronie tego jak ja pojmuje testy usability :)
Asia i Ania, ktore robily testy pewnie bardziej by sie z Toba zgodzily dlatego tez nie bede drazyl juz tematu bo zaraz sie zaczna swiete wojny tu :)
Bartłomiej Kozieł
Tomaszu, tylko że tu nie promujemy, tylko rozmawiamy środowiskowo, więc o straszeniu nie ma mowy :) Zgadzam się, klientom trzeba jak udowodniłeś tym testem pokazać to inaczej, ale pod maską muszą kryć się badania w ujęciu Pawła, w innym razie klient wcześniej czy później się zorientuje, że dostał mercedesa z silnikiem malucha, a „p” musi być mniejsze od „0,05″ i już ;) i co gorsza nie twierdzą tak ortodoksi badań, ponieważ dla nich dopiero 0,01 jest okej :)
Tomek Karwatka
Tak. Mysle, ze prawda jak zwykle lezy gdzies pomiedzy skrajnymi opiniami :)
lucida console
Witam!
jak najbardziej zgadzam się z Pawłem! Badanie ciekawe, jednak błędne podejście metodologiczne. I nie cjhodzi tu o żadną woję Tomaszu. Wszystkim nam, specjalistom od usability zależy na tym, aby ta dziedzina była rozpoznana i szanowana w Polsce, dlatego uważam, że to co napisał Paweł – i gdyby on tego nie napisał, to ja bym to zrobiła – powinno zostać przyjęte jako konstruktywna krytyka.
Użyteczność, czy tego chcemy czy nie bazuje na metodologiach innych nauk i aby sama byla powanie traktowana, my musimy korzystac z tych metodologii umiejętnie, bo jest w czym wybierac. Zdeydowanie Wasz projekt byl typowym materialem do skostruowania badania AB-BA, w rekrutacji z zachowaniem proporcji miedzy obecnymi użytkownikami jak i ‘nowicjuszami’, o różnym stopniu umijętnosci użytkowania komputera, o rożnej sprawności np. osoby starsze lub mające problemy z użytkowaniem myszy komp., itd.
I jeszcze jedno mierzenie czasu nie uważam za miernik użyteczności, zwlaszcza na 13 osobach i po tym jak wszyscy zdążyli nauczc sie jak wykonać transakcje na ‘starym’ systemie.
nie zgadzam sie rownież z wypowiedzia orzecha o obliczaniu ‘procentów’ na podstawie badań robionych na 13 osobach.
Fajne są takie dyskusje i przy okazji: każdy sie może pomylić!
dziekuje i pozdrawiam,
L.
Maciej Lipiec
A ja polecam case’a, który zrobiliśmy z tego projektu :) http://uxdesign.pl/case-study-z-przebudowy-pekao24/