Problem replikowalności. Czy zagadnienie, z którym od lat mierzy się środowisko naukowe dotyka także badania doświadczeń użytkowników?
Kryzys replikowalności w badaniach społecznych to popularne zagadnienie, które w ostatnich dekadach poruszane jest coraz częściej. Okazuje się, że odtwarzanie wielu badań psychologicznych z zachowaniem odpowiedniej metodologii nie zawsze prowadzi do otrzymania podobnych wyników. Często działanie takie prowadzą nawet do ustalenia sprzecznych wniosków, mimo że wszystkie eksperymenty przeprowadzane były w taki sam sposób i z wykorzystaniem identycznych bądź tożsamych narzędzi. Z czego wynika taka sytuacja oraz czy dotyka ona również badań przeprowadzanych w obszarach związanych z doświadczeniami użytkowników?
Replikowalność oznacza powtarzalność rezultatów otrzymywanych przez różnych naukowców i instytuty badawcze. Jeśli jakiś efekt został zauważony przez naukowca A to powinien on zostać dostrzeżony również przez naukowców B, C i D. Nawet jeśli działają oni w różnych krajach i pracują dla odmiennych instytucji. Nie należy uznawać wniosków za rzetelne i wiarygodne tylko na podstawie jednego projektu badawczego. By potwierdzić stawiane hipotezy należy sprawdzić je wielokrotnie – tylko w ten sposób możemy nabrać większej pewności, co do ich poprawności.
Na wstępie warto podkreślić, że badania przeprowadzane w obszarach społecznych takich jak psychologia, socjologia, ekonomia czy antropologia zawsze związane będą z tworzeniem pewnych uogólnień. Niemożliwym jest utworzenie zestawu praw, którymi rządzą się ludzkie zachowania. Konieczne jest również wzięcie pod uwagę wielu przeróżnych zmiennych takich jak kultura, pokolenie, do którego należą badani oraz innych danych demograficznych (m.i.n. wykształcenie, miejsce zamieszkania, płeć). Co więcej, efekty i korelacje zauważalne w badaniach laboratoryjnych nie muszą być przekładalne na codzienne zachowania ludzi. Związane jest to z różnicami w otoczeniu, a więc również w sposobie w jaki oddziałuje ono na emocje czy zdolności poznawcze badanych grup społecznych. W związku z tym nawet hipotezy, które zostały kilkukrotnie potwierdzone należałoby sprawdzać w jak najszerszym kontekście.
Okazało się, że próby odwzorowania najsłynniejszych eksperymentów psychologicznych XX wieku – jak chociażby eksperymentu więziennego Zimbardo czy eksperymentu Milgrama związanego z posłuszeństwem wobec autorytetów – wskazują na to, że głośne efekty, na których opierała się psychologia albo są o wiele słabsze niż pierwotnie zakładano, albo w ogóle nie są istotne statystycznie. Wstrząsnęło to światem naukowym i zmusiło do głębszego zastanowienia się nad przyczyną problemu z powtarzalnością rezultatów badań społecznych oraz zwiększyło poparcie dla przeprowadzania badań, które sprawdzają wcześniej otrzymane rezultaty. Wcześniej zakładano, że działania takie nie są konieczne a nawet, że prowadzą do marnowania czasu oraz funduszy
Jednakże co z naukami biologicznymi i medycyną? Zauważono, że one również stanowią dziedziny nauki, w których napotyka się na kryzys replikowalności. Okazuje się, że leki, które przeszły wiele prób klinicznych mogą nie być skuteczniejsze niż placebo. W lipcu 2022 roku w Nature opublikowano metaanalizę badań związanych z depresją, która jasno wskazuje, że zaburzenie to nie jest związane z brakiem równowagi neurotransmiterów w mózgu – dokładnie pokazano, że choroba ta nie ma podłoża w zaburzeniach poziomów serotoniny. Warto zaznaczyć, że teoria głosząca, że przyczyną depresji są odchylenia w ilości neuroprzekaźnika jakim jest serotonina, istniała w nauce od dziesięcioleci i stanowi jedną z podstaw dla uzasadnienia stosowania leków typu SSRI (selektywnych inhibitorów zwrotnego wychwytu serotoniny). Problem jest poważny, gdyż to właśnie w ten sposób najczęściej leczyło się pacjentów z diagnozą depresji.
W tym miejscu należy postawić pytanie o przyczyny takiego stanu nauki. Skąd biorą się problemy tego typu i dlaczego zostaną one zauważone dopiero po dekadach od pierwotnego pojawienia się teorii naukowych? Jednakże najważniejsze jest to czy i jak możemy zapobiec takim pomyłkom w przyszłości.
Pierwszym problemem, z którym nauka ma do czynienia jest tak zwane naginanie wyników (ang. p-hacking) lub nawet jawne oszustwa na temat otrzymanych danych. Ma to na celu dopasowanie otrzymanych wyników pod postawione wcześniej hipotezy. Udowodniono, że działania tego typu podejmuje wielu naukowców, włączając w to osoby ze stopniem profesorskim.
Kolejną kwestią jest niepublikowanie badań, w których wykryte efekty okazały się nieistotne statystycznie. Bardzo często czasopisma naukowe nie są zainteresowane publikacją artykułów, w których otrzymane wyniki falsyfikują hipotezy. Zakłada się, że należy mówić tylko o efektach, które udało się potwierdzić. W związku z tym mnóstwo badań, których autorzy nie otrzymali wyników istotnych statystycznie trafia do tzw. „szuflady” i nigdy nie zostaje opublikowane.
Innym bardzo ważnym zagadnieniem jest podejście publish or perish. Zakłada się, że naukowcy powinni publikować rocznie kilka bądź nawet kilkanaście artykułów w znanych miejscach, co ma prowadzić do osiągnięcia sukcesu w karierze naukowej. Zdarza się, że instytuty badawcze kładą nacisk na to ile publikuje dany naukowiec, co tylko zwiększa presję na tworzenie badań, które potwierdzają hipotezy oraz wnoszą do świata nauki nowe informacje. Wyżej wymienione działania najsilniej wpływają na problem replikowalności, ale nie są one jedynymi. Poza nimi pojawiają się takie zabiegi jak badanie dużej ilości zmiennych i informowanie tylko o tych, między którymi występuje korelacja czy zmiany w wielkości próby, czyli usuwanie jednostek, które wpływają na to, że otrzymane wyniki nie są istotne statystycznie tak długo aż osiągnie się odpowiednie wyniki (w nauce to najczęściej p < 0,05, co oznacza, że prawdopodobieństwo, iż wynik jest przypadkowy lub wynika z losowych fluktuacji jest mniejsze niż pięć setnych). Inną powszechną praktyką jest przeprowadzenie wielu analiz statystycznych i informowanie jedynie o tych, które popierają postawione w badaniu hipotezy.
Popełnianie błędów tego typu prowadzi do uznawania hipotez, które nie są poprawne oraz rozwoju nauki w nieodpowiednich kierunkach. Pierwszym krokiem ku zmianie podejścia byłoby częstsze publikowanie prac, które odrzucają stawiane hipotezy i wskazują na brak związków między zmiennymi. Poza tym należałoby wprowadzić bardziej rygorystyczne podejście w przestrzeganiu odpowiedniej metodologii badań podczas każdej ich fazy (od projektowania, przez wykonanie oraz późniejsze analizy, wnioski i dyskusje).
Jednakże czy problemy, które zostały tutaj opisane związane są również z badaniami doświadczeń użytkowników? Można spotkać się z założeniem, że każdy produkt bądź usługa powinna zostać poddana odpowiednim testom, gdyż różne grupy docelowe czy odmienne funkcjonalności uniemożliwiają tworzenie uogólnień i standardowych zasad. Z drugiej strony pojawiają się liczne głosy zwracające uwagę na istotność dzielenia się swoimi badaniami oraz ich wynikami. Podejmowane są również próby tworzenia standardów projektowych. Oznacza to, że również w dziedzinie jaką jest user experience research, możemy spotkać się z problemem powtarzalności wyników. Może on jednak wynikać z trochę innych przyczyn.
Należy pamiętać, że choć tworzone rozwiązania są różne to mają wspólny cel – zapewnienie użytkownikom spełnienia ich potrzeb oraz rozwiązania problemów, z jakimi mają do czynienia. W związku z tym projekty muszą opierać się na tym co ludzie czują i w jaki sposób myślą. Prawdą jest, że występują różnice pomiędzy odmiennymi grupami docelowymi. Jednakże warto jednocześnie pamiętać, że jesteśmy ludźmi i pewne oczekiwania oraz schematy myślenia łączą nas wszystkich. Oznacza to, że choć research jest koniecznym etapem każdego procesu projektowego to powinniśmy interesować się z wynikami innych badań związanych z dziedziną, którą się zajmujemy.
Najprostszym rozwiązaniem jest dzielenie się swoimi odkryciami i wnioskami na konferencjach naukowych, webinarach czy dzięki rozwijaniu swojej obecności w internecie. Zamykanie się na odmienne podejścia bądź nieakceptowanie wyników przeczących naszym własnym jest najprostszą drogą do ograniczenia swoich horyzontów i odcięcia się od wprowadzania zmian. Należy wprowadzić kulturę opartą na otwartej komunikacji oraz dyskusji, gdyż jest to podstawa do falsyfikowania niepoprawnych hipotez oraz stawiania nowych, które mogą okazać się lepsze z perspektywy potrzeb użytkowników i klientów.
Widać więc, że w obszarze związanym z UXR napotkać możemy podobny problem z replikowalnością jak w badaniach naukowych. Przyczyną nie są tutaj presja na publikowanie czy nieodpowiednie wykorzystywanie metod związanych z analizą statystyczną, ale raczej zamknięcie się na inne perspektywy i możliwości oraz ciągle rozwijająca się kultura dzielenia się wynikami. Choć przyczyny są lekko odmienne to skutek często jest ten sam i polega na rozwoju w nieodpowiednich kierunkach.
Warto mieć na uwadze, że problem replikowalności, choć poważny, nie dotyczy każdego opublikowanego badania. Co więcej, w ostatnich latach kładzie się coraz większy nacisk na stosowanie odpowiedniej metodologii, dzielenie się dokładnymi opisami procedur czy udostępnianiem pełnych danych. Są hipotezy oraz efekty psychologiczne, które dzięki powtarzaniu badań ulegają wzmocnieniu i potwierdzeniu. Przykładami mogą być tutaj wpływ primingu (nastawienie na sposób myślenia bądź zachowanie poprzez przedstawienie badanej osobie bodźców nakierowujących) czy efekt świeżości oraz efekt pierwszeństwa (najlepiej zapamiętujemy elementy znajdujące się na początku i na końcu listy). Nie należy więc zakładać, że wszystkie odkryte dotychczas prawidłowości i korelacje są błędne bądź niemożliwe do sprawdzenia. Replikowalność badań działa w dwie strony – może wykluczyć niepoprawne hipotezy, ale także wzmocnić dowody na rzetelność innych założeń.
User experience research ma więcej wspólnego z naukowymi badaniami społecznymi niż kiedyś zakładano. W końcu korzysta z metodologii opartej na doborze odpowiedniej grupy badawczej, pomaga falsyfikować lub potwierdzać stawiane hipotezy oraz umożliwia rozwój wielu dziedzin związanych z życiem codziennym ludzi. Podchodźmy więc do niego w sposób w jaki w ostatnich dekadach podchodzimy do nauki i pilnujmy by nie powtarzać błędów, które można uniknąć, jeśli tylko podejdziemy do tematu w otwarty sposób. Dzielmy się swoimi wynikami oraz bądźmy gotowi na dyskusję oraz zmiany podejścia, jeśli dowody będą wskazywać na to, że byliśmy w błędzie.
