Interfejsy nowej generacji. Wykorzystywanie haptyki w produktach cyfrowych na miarę XXI wieku.

Odkąd koniec dwudziestego wieku zaczął traktować dzieła sztuki jako doświadczenie poznawcze, dotyczące otaczającego nas świata, artyści zaczęli wykorzystywać możliwości taktylnego (czyli dotykowego) odbioru rzeczywistości i naturalne stało się zaangażowanie zmysłu dotyku w ich fizyczny odbiór. Dotychczas funkcję tę pełniły wyłącznie audiowizualne reprezentacje, które traktowane były jako całkowite doświadczenie odbiorcy. W artykule chciałabym przybliżyć historię związaną z rozwijającym się interfejsem dotykowym, odnosząc się do prekursorów, których odnajduję w świecie sztuki, a także opowiedzieć o tym, jak ważna jest praca artystów w kreowaniu świata projektowego, w tym doświadczeń użytkownika, oraz jaką rolę pełni sam interfejs dotykowy w naszym życiu.

Sztuka interaktywna a początki interfejsu dotykowego

Jednym z rewolucyjnych dzieł świata sztuki końca XX wieku jest praca pary artystów: Christy Sommerer & Laurenta Mignonneau. Stworzyli oni w 1992 roku instalację „Interactive Plant Growing”. To dzieło sztuki zbiera informacje na temat zmysłu dotyku – odbiorcy mogą dotykać rośliny i wygenerować ich mimetyczne odbicie poprzez program komputerowy. Dzięki możliwościom interfejsu generowanego cyfrowo zmiany zachodzące w roślinach wirtualnych oddają zmiany ruchu podczas dotyku w prawdziwym świecie. Innowacyjny interfejs końca XX wieku pozwolił, by przy pomocy skomplikowanych algorytmów wygenerować interakcję między człowiekiem a żywą rośliną, oddając informację zwrotną na cyfrowym ekranie, poprzez ich trójwymiarową reprezentację. Przez dotykanie prawdziwych roślin widzowie mogą wpływać i kontrolować w czasie rzeczywistym ich wirtualny wzrost. Tworząc interakcję z prawdziwymi roślinami, odbiorcy stają się częścią instalacji, pogłębiając swoje doświadczenie zmysłowe. Wirtualna uprawa jest oparta na specjalnie opracowanych algorytmach, zgodnie z cechami morfologicznymi roślin, i daje możliwość kreacji świata 3D poprzez ich taktylny odbiór. Interakcja pomiędzy generatorem obrazu a algorytmem zapewnia, że ​​każda wartość danych, przychodząca z oddzielnych roślin, jest interpretowana synchronicznie w czasie rzeczywistym i daje realną informację zwrotną wirtualnych roślin na ekranie. Wszystkie wartości danych pochodzą z wcześniej przygotowanych przez artystów bibliotek interakcji, a dotyk roślin jest interpretowany jako zmienne w programie wzrostu, rotacji, skalowania, lokalizacji lub koloru wirtualnych organizmów.

Haptyczność, czyli dotykowe wrażenia zmysłowe

Haptyczność to technologia tworząca cyfrową komunikację z odbiorcą, za pomocą bodźców dotykowych, przy wykorzystaniu zmieniających się sił fizycznych i wibracji. Pozwala ona w pełni zanurzyć się w cyfrowo wykreowanym świecie poprzez doświadczenie immersji. Sensor taktylny, czyli inaczej mówiąc bodziec, dochodzący do naszego ciała w formie dotyku, pozwala odbiorcy zbierać informacje na temat wrażeń percepcyjnych, dochodzących do niego z zewnątrz.
Ciekawym przykładem jest prężnie rozwijający się na polskim rynku startup Haptology. Praca interdyscyplinarnego zespołu odpowiada na pytanie o to, jak stworzyć wirtualną fizyczność, czyniąc jej doświadczenie intuicyjnym i wielowymiarowym. Zespół inżynierów buduje technologię interaktywnego pierścienia, który – poprzez wrażenia zmysłu dotyku oraz nieograniczoną formę interakcji – ma za zadanie odmienić świat nauki. Firma pozyskała finansowanie z Funduszy Europejskich, którego celem jest stworzenie systemu przeznaczonego do haptycznej interakcji w grach. Obejmuje on warstwę sprzętową i programistyczną, zapewnia zarówno symulację złożonych wrażeń dotykowych w obszarze dłoni, jak również rozpoznawanie szerokiego spektrum gestów przy wykorzystaniu sensora ruchu. Interaktywny pierścień, zakładany na palec, pozwala na haptyczną interakcję z przestrzeniami wirtualnej i rozszerzonej rzeczywistości poprzez chwytanie, przesuwanie, dotykanie i wyczuwanie tekstur cyfrowych obiektów. Rozwiązania proponowane przez Haptology pogłębiają doświadczenie spontanicznej interakcji z maszyną, eliminując dystanse oraz ograniczenia, jakie są związane z mechaniką interfejsów fizycznych, wizualnych czy głosowych. Krawędzie, tekstury i głębia detali pozwalają efektywniej i szybciej realizować zadania w wirtualnej przestrzeni poprzez fizyczne reakcje. W połączeniu z sygnałami, które pochodzą z innych zmysłów, np. wzroku czy słuchu, całokształt doznań sensorycznych kształtuje percepcję obecności świata fizycznego w świecie cyfrowym. Firma tworzy biblioteki sensoryczne, dzięki mapowaniu receptorów ciała oraz algorytmom śledzenia ruchów dłoni, uzupełniając cyfrowe wrażenia audiowizualne o spektrum interaktywnych doznań dotykowych w przestrzeni 3D. Haptology ma na celu przedefiniowanie sposobu, w jaki ludzie rozumieją dotychczasowe treści cyfrowe, oraz interfejsu dotykowego, tworząc możliwości wykraczające poza nawigowanie ekranem smartfona. Wyjątkowość w tym przypadku polega na integracji kontrolera kinetycznego (sczytującego ruch) z dotykowym sprzężeniem zwrotnym (wibracje, faktury, krawędzie). Te dwa komponenty pozwalają użytkownikowi nie tylko na interakcję z graficznymi treściami cyfrowymi na płaskim ekranie 2D, ale na rozszerzenie percepcji o świat trójwymiarowy, w naturalny sposób tworząc wrażenia dotykowe w przestrzeni wirtualnej i rozszerzonej rzeczywistości.

Nie tylko dotyk, ale i dźwięk

Ultraleap to kolejne rozwiązanie technologiczne, które wykorzystuje fale ultradźwiękowe do nawigowania trójwymiarowym interfejsem, który użytkownicy mogą dosłownie i fizycznie poczuć – nie tylko poprzez wibracje ekranu 2D. Firma wykorzystuje technologię ultradźwięków do tworzenia czuciowych, można powiedzieć niewidocznych, bezdotykowych interfejsów, które wykraczają poza konwencjonalne rozumienie śledzenia dłoni. Haptyczny interfejs jest oparty nie tylko na czujnikach śledzenia ruchu w przestrzeni, ale łączy się również z szeregiem przetworników ultradźwiękowych. Technologia ta wykorzystuje fale ultradźwiękowe do tworzenia niewidocznych ludzkim okiem form, kształtów i tekstur, które można wyczuć na skórze dosłownie jako dotyk. Ultradźwięki to takie fale dźwiękowe, których częstotliwość jest zbyt wysoka, aby je zobaczyć gołym okiem lub usłyszeć jako tradycyjny dźwięk. Przetworniki generujące fale ultradźwiękowe jednocześnie generują punkty niewidocznej turbulencji w powietrzu, której można doświadczyć w trójwymiarze w pustej przestrzeni, odczuwając niewidoczne, ale czuciowe sprzężenie zwrotne na skórze. We współpracy z Accessible Olli projektanci Ultraleap połączyli swoją technologię śledzenia gestów, aby stworzyć niewidzialny przycisk zatrzymania pojazdu. Fale ultradźwiękowe docierają do dłoni pasażera z odległości większej niż przyciski umiejscowione przy wyjściu, pozwalając na ich przyciśnięcie ze znacznej odległości. Przycisk wymaga mniejszej siły oraz precyzji niż tradycyjnie. Możemy fizycznie poczuć prawdziwą gałkę sterującą pojazdu, przesuwając dłoń nad układem przetworników ultradźwiękowych. Twórcy rozwiązania opisują przycisk jako przypominający niewidzialnego, cichego trzmiela tuż pod dłonią lub opuszkami palców. Według nich system można porównać do delikatnej, dotykowej eksplozji na dłoni, będącej dotykowym odpowiednikiem kliknięcia. Jeśli wykonasz gest szczypania palcem i kciukiem, system go rozpozna i poczujesz delikatne brzęczenie. Angielska firma z Bristolu do tej pory zebrała 23 miliony dolarów (dzięki udziałom Dolby Family Ventures, Woodford Investment Management, Cornes i IP Group) na rozwój tak rewolucyjnego haptycznego rozwiązania. Gdyby Isaac Newton, odkrywca trzech zasad dynamiki i prawa powszechnego ciążenia, uznawany za jednego z najwybitniejszych uczonych, znalazł inspirację dla swoich praw ruchu i grawitacji spadającego jabłka w wirtualnym świecie, potrzebowałby kontrolera takiego, jak Microsoft Haptic PIVOT. Umieszczając urządzenie na nadgarstku, jesteśmy w stanie renderować pęd i przeciąganie rzucanych i łapanych obiektów, które podlegają prawu grawitacji Newtona, i symulować prędkość obiektów, które docierają do dłoni. Zrobotyzowany uchwyt dotykowy otwiera się i zbliża, wywołując uczucie bezpośredniego kontaktu z trójwymiarowym obiektem. To narzędzie pozwala na interakcję pustej ręki z doświadczeniem chwytania wirtualnego przedmiotu, naśladując naszą naturalną interakcję z obiektami fizycznymi. Kiedy wyciągasz pustą dłoń, aby zerwać jabłko z drzewa, napotykasz na różne doznania: twardość jabłka, opór gałęzi, ciężar po zerwaniu – urządzenie w pełni je odwzorowuje.

Na czym polega magia technologii feedbacku dotykowego?

Haptyczność to technologia tworząca cyfrową komunikację z odbiorcą, za pomocą bodźców dotykowych, przy wykorzystaniu zmieniających się sił fizycznych i wibracji. Pozwala ona w pełni zanurzyć się w cyfrowo wykreowanym świecie poprzez doświadczenie immersji. Sensor taktylny, czyli inaczej mówiąc bodziec, dochodzący do naszego ciała w formie dotyku, pozwala odbiorcy zbierać informacje na temat wrażeń percepcyjnych, dochodzących do niego z zewnątrz.

Na czym polega magia technologii feedbacku dotykowego?

Pandemia COVID-19 jeszcze bardziej przyspieszyła rozwój technologii haptycznych i rozwiązań dotykowych, wykorzystywanych w codziennym życiu. Coraz częściej spotykamy się z tym, że narzędzia te integrują się z naszym ciałem i skórą poprzez taktylny odbiór, jako technologiczne rozwiązania ubieralne (ang. wearable). Możemy porównać je do kombinezonów, kamizelek i rękawic wprost wyjętych z filmów science fiction. Musimy uświadomić sobie, że interfejsy haptyczne, które jeszcze w latach 90. ubiegłego wieku były jedynie wytworami wyobraźni, dziś pojawiają się na rynku i działają na w pełni zintegrowanych systemach komputerowych. Ciekawymi przykładami urządzeń, które wzmacniają wrażenia zmysłu słuchu poprzez haptyczność, są Subpac i Woojer. Magia Subpaca polega na tym, że tłumaczy on niesłyszalne częstotliwości, niższe niż 40 Hz, na wibrujące haptyczne sprzężenie zwrotne, które zapewnia wciągające wrażenia zmysłowe poprzez dotyk. Rozwiązania tego typu to teraźniejszość projektowania dźwięku immersyjnego i wykorzystywanie odczuć dźwiękowych wtórnie w przestrzennych dźwiękowych środowiskach wirtualnych. Wciągające wrażenia wirtualne to najlepsza opcja, aby uzyskać pełną przestrzenność dźwięku, zorientowanego obiektowo i zintegrowanego z naszym ruchem. Natomiast Woojer to kamizelka, którą przypinasz do siebie, aby wzbogacić doświadczenia muzyczne o energię i reakcję ciała na dźwięki, a także interaktywne media. Pomysł polega na tym, że wbudowane przetworniki generują niskie częstotliwości, zapewniając hipnotyzujące doznania sensoryczne. Można to porównać do stania przy głośniku na koncercie. Dźwięk odbierany jest nie tylko przez wrażenie słuchowe, ale również przez haptyczność – w reakcji na basy pompuje je jako wrażenia czuciowe w klatce piersiowej.

Równie ciekawym rozwiązaniem są kombinezony haptyczne. Reprezentują je takie rozwiązania startupowe, jak bHaptic czy Valkyrie. bHaptic, czyli kamizelka wibrotaktylna, jest wyposażona w 40 wibrodotykowych silników, aby zapewnić jak najlepsze wrażenia dotykowe podczas doświadczeń w przestrzeni wirtualnej. Oprogramowanie konwertuje dźwięk wyjściowy wygenerowanych treści na dotykowe sprzężenie zwrotne w czasie rzeczywistym, co pozwala użytkownikom odbierać oparte na dźwięku haptyki (odczucia fizyczne) podczas słuchania muzyki, oglądania filmów lub grania w gry. Startup Valkyrie Industries sam przewrotnie określa swój kombinezon haptyczny jako „Iron Man v.1”. Prototyp odwzorowuje wyobrażenia prezentowane w filmach o superbohaterach. Wszędzie widać odsłonięte przewody i duże, nieporęczne wydrukowane elementy 3D, które przyczepiają się do różnych części ciała i już na tym poziomie w pełni spełnia swoją funkcję, wykorzystując system impulsów elektrycznych do stymulacji mięśni. Ponieważ produkt ten jest wciąż na bardzo wczesnym etapie rozwoju, możemy przypuszczać, że w ostatecznej wersji prawdopodobnie będzie wyglądać jak coś bardziej zbliżonego do kostiumu z materiału niż do zbroi Iron Mana. Na razie jednak haptyczny produkt do noszenia wygląda trochę tak, jak kostium cosplayowy.

Jesteśmy świadkami ogromnych przemian wynikających między innymi z epidemii koronawirusa, która ma bezpośredni wpływ na zmiany w komunikacji międzyludzkiej, ale również w komunikacji człowiek–maszyna. Nasze życie uległo scyfryzowaniu. Wykorzystujemy wielozmysłowe narzędzia technologiczne podczas codziennych czynności – zarówno w pracy, jak i w szkole. Pandemia bezpośrednio wpłynęła na zwiększenie świadomości na temat roli narzędzi cyfrowych w codziennym życiu oraz rozwinęła ich funkcjonalności, m.in. haptyczne (czuciowe) sposoby nawigowania. Rozwiązania te odnajdują coraz to nowsze zastosowania, np. w obsłudze skomplikowanych urządzeń IoT (ang. Internet of Things). Jesteśmy świadkami metamorfozy godnej XXI wieku, gdzie niewidzialne przyciski są fizycznie odczuwalne.