Oculus Quest ( zarówno oryginalny, jak i drugi model^{(second model)} ) ma interesującą historię funkcji dodawanych długo po tym, jak sprzęt jest na wolności. Najbardziej znanym z nich jest Oculus Link , który skutecznie zamienia Quest w Oculus Rift . Ta funkcja okazała się tak skuteczna, że ​​Oculus zdecydował się na wycofanie wszystkich swoich zestawów słuchawkowych oprócz Questa^(Quest) . 

Śledzenie rąk^(Hand) nie zrobiło wielkiego plusu, jaki zrobił Oculus Link , ale wciąż jest to niesamowita funkcja o dużym potencjale. Dzięki funkcji śledzenia dłoni w ogóle nie potrzebujesz kontrolerów. Twoje własne ręce zostają zdigitalizowane do świata VR! 

Jeśli masz Quest lub myślisz o zakupie, warto wiedzieć, jak działa śledzenie rąk i co może wnieść do doświadczenia VR.

Jak Quest śledzi świat

Oculus Quest wykorzystuje innowacyjne podejście do śledzenia ruchu, które jest powszechnie określane jako śledzenie „od wewnątrz”, co bardzo różni się od tego, jak śledzenie ruchu działało w przeszłości  .

Kiedy w połowie 2010 roku pojawiły się pierwsze zestawy słuchawkowe nowej generacji, korzystały one z jednej lub więcej zewnętrznych kamer śledzących. Specjalne światła śledzące ruch na zestawie słuchawkowym informowały kamerę dokładnie, gdzie znajduje się zestaw słuchawkowy. Przy odrobinie sprytnej matematyki dane te można następnie przekonwertować na bardzo dokładne śledzenie ruchu w przestrzeni 3D. W ten sposób zestawy słuchawkowe VR premium oferują „sześć stopni swobody”, znane również jako 6DoF. 

Quest przenosi czujnik kamery na sam zestaw słuchawkowy, w tym przypadku umieszczając go w strategicznych miejscach urządzenia. Inne zestawy słuchawkowe mogą używać jeszcze większej liczby kamer, aby poprawić dokładność. Te cztery kamery pozwalają Questowi^(Quest) spojrzeć na otaczający Cię rzeczywisty świat i określić, jaka jest Twoja pozycja w tej przestrzeni. 

To właśnie sprawia, że ​​Quest jest samowystarczalny i przenośny. Jest to również funkcja, która umożliwia przede wszystkim śledzenie dłoni za pomocą Oculus .

Standardowe kontrolery dotykowe Oculus^{(Standard Oculus Touch Controllers)}

Aby zrozumieć, co sprawia, że ​​śledzenie dłoni Oculus jest tak imponujące, musimy zacząć od raczej przyziemnych kontrolerów fizycznych, które są dostarczane z Oculus Quest . Każdy z nich jest w pełni śledzony przez wewnętrzne czujniki i specjalne znaczniki śledzenia ruchu, które informują wbudowane kamery Quest, gdzie znajdują się kontrolery w stosunku do zestawu słuchawkowego.

Gdy trzymasz kontrolery dotykowe w VR, są one śledzone z niesamowitą dokładnością. Używając uchwytu i przycisków spustowych na kontrolerze, oprogramowanie VR może stworzyć przekonujące wrażenia z chwytania i manipulowania przedmiotami. Jest to wykorzystywane ze świetnym skutkiem w grach takich jak Half-Life Alyx i The Climb , gdzie chwytanie przedmiotów w świecie VR jest centralną częścią rozgrywki. 

Kontrolery dotykowe^{(Touch Controllers)} oferują również dotykowe sprzężenie zwrotne dzięki urządzeniom zwanym „siłownikami liniowymi”, które mogą powodować fizyczne odczucia wpadania na przedmioty, wibracje i inne wrażenia dotykowe. Drążki i przyciski oferują również znajomy sposób poruszania się po przestrzeni VR, gdy nie możesz fizycznie poruszać się w swojej prawdziwej przestrzeni.

Główną wadą tego w porównaniu do śledzenia dłoni jest to, że masz haczyki na dłonie. Możesz wykonywać proste ruchy szczypania wirtualnymi rękami, ale to wszystko. Nie wydaje się to poważnym ograniczeniem, gdy gry są projektowane wokół kontrolerów, ale śledzenie dłoni otwiera spektrum nowych możliwości w VR.

Co robi śledzenie ręczne Oculus

Gdy włączone jest śledzenie rąk, zobaczysz dokładną reprezentację swoich prawdziwych rąk w świecie VR. Każdy ruch palców lub nadgarstka będzie odzwierciedlony w ich wirtualnych sobowtórach.

Śledzenie rąk^{(Hand Tracking)} nie jest już funkcją beta Questa^(Quest) . Jest teraz zintegrowany z systemem operacyjnym i wieloma aplikacjami firmy Quest . Pierwszą ważną korzyścią jest to, że jeśli chcesz po prostu szybko założyć Quest i obejrzeć film w VR lub przeglądać sklep z aplikacjami, nie musisz męczyć się z przypinaniem kontrolerów dotykowych. Używając tylko rąk, możesz uzyskać dostęp do menu systemowych i z łatwością poruszać się po nim.

Teraz, gdy śledzenie rąk jest oficjalną funkcją Quest , zewnętrzni programiści aplikacji mogą dodawać je do swoich aplikacji. Istnieje już wiele aplikacji, które doskonale wykorzystują funkcję śledzenia dłoni Oculus , ale jesteśmy pewni, że programiści znajdą wiele bardziej ekscytujących sposobów, dzięki którym bezpośrednie śledzenie dłoni może zmienić wrażenia w VR

Jak działa śledzenie dłoni Oculus

Wyniki śledzenia dłoni są niesamowite, ale jak to właściwie działa? Oczywiście Oculus nie zamierza publikować dokładnych szczegółów swojego zastrzeżonego rozwiązania, ale znamy związane z tym technologie i zasady.

Po pierwsze, kamery pokładowe są niezbędne do wykonywania prac związanych ze śledzeniem dłoni. Dostarczają one nie tylko informacji o głębokości stereoskopowej, ale także danych wizualnych do przetwarzania przez widzenie maszynowe. Co to jest wizja maszynowa? To gałąź sztucznej inteligencji^{(artificial intelligence)} , a konkretnie dziedzina znana jako uczenie maszynowe. Jest to ta sama technologia, która pozwala aplikacji aparatu w telefonie szybko identyfikować twarze na zdjęciu.

Zasadniczo oprogramowanie musi dowiedzieć się, co w danych obrazu dostarczonych przez aparat jest ręką, a co nie. Prawdopodobnie zrobiono to, pokazując programowi tysiące rozdań w różnych środowiskach, dopóki nie będzie w stanie wiarygodnie znaleźć szybkiego i skutecznego sposobu na odróżnienie ich od wszystkiego innego w twoim pokoju.

Gdy oprogramowanie może tworzyć dokładne, wirtualne modele rąk w czasie rzeczywistym, twórcy aplikacji mogą ich używać do wszystkiego, o czym mogą pomyśleć. Możesz teraz precyzyjnie manipulować obiektami w VR!

Ręcznie śledzone doświadczenia warte wypróbowania

Jeśli posiadasz urządzenie Oculus Quest , możesz wypróbować funkcję śledzenia rąk Oculus bez konieczności kupowania konkretnej aplikacji. Jak wspomniano powyżej, działa w głównym środowisku Quest , a także w kilku aplikacjach własnych. Jeśli chodzi o doświadczenia osób trzecich, jest kilka wartych podkreślenia.

The Line to narracyjne doświadczenie za 4,99 USD, które służy również jako idealne demo techniczne do śledzenia rąk. Opowiada historię miasta makiety, które działa na mechanizmie zegarowym i gąsienicach. 

Nasz bohater Pedro jest zakochany w Rosie^(Rosa) , ale nie może uciec przed swoim losem. Aż pewnego dnia wydarzy się coś nowego. Wchodzisz w interakcję z ich światem modeli w skali, używając dłoni do obracania pokręteł, pociągania dźwigni i majstrowania przy wszystkim, co tylko możesz. To proste, krótkie doświadczenie, ale może pochwalić się śledzeniem dłoni w bardzo zabawny sposób w około 15 minut.

Waltz of the Wizard (9,99 USD) to kolejna doskonała prezentacja tej technologii. Możesz używać rąk do rzucania zaklęć i interakcji z niemal wszystkim w otaczającym Cię świecie VR. Jeśli kiedykolwiek chciałeś urzeczywistnić fantazję bycia czarodziejem, który potrafi wystrzeliwać błyskawice z ich rąk, ta gra jest dla Ciebie!

Co sądzisz o śledzeniu rąk w Quest ? Próbowałeś tego? Jakie gry polecasz? Podziel^(Share) się swoimi spostrzeżeniami w komentarzach.

How Oculus Quest Hand Tracking Technology Works

The Oculus Quest (both the original and second model) have an interesting history of features being added long after the hardware is out in the wild. The most famous of these is Oculus Link, which effectively turns the Quest into an Oculus Rift. This feature was so successful that Oculus decided to discontinue all their headsets but the Quest. 

Hand tracking hasn’t made quite the splash Oculus Link did, but it’s still an amazing feature with lots of potential. With hand-tracking you don’t need controllers at all. Your own hands are digitized into the VR world! 

If you have a Quest or are thinking of buying one, it’s worth knowing how hand tracking works and what it can bring to the VR experience.

How Quest Tracks the World

The Oculus Quest uses an innovative approach towards motion tracking that’s commonly referred to as “inside-out” tracking, which is very different from how motion tracking worked in the past. 

When the first next-generation headsets were released in the mid-2010s, they made use of one or more external tracking cameras. Special motion tracking lights on the headset told the camera exactly where the headset was in relation to it. With some clever math, that data could then be converted to very accurate motion tracking in 3D space. This is how premium VR headsets offer “six degrees of freedom”, also known as 6DoF. 

Quest moves the camera sensor onto the headset itself, in this case placing them in strategic spots on the device. Other headsets may use even more cameras to improve accuracy. These four cameras let the Quest look at the real world around you and determine what your position is within that space. 

That’s what allows the Quest to be self-contained and portable. It’s also the feature that allows for hand-tracking with the Oculus to be possible in the first place..

The Standard Oculus Touch Controllers

To understand what makes Oculus hand tracking so impressive, we have to start with the rather mundane physical controllers that come with the Oculus Quest. Each one is fully motion-tracked by internal sensors and special motion tracking markers that tell the Quest’s onboard cameras where the controllers are relative to the headset.

When you’re holding the touch controllers in VR, they’re tracked with uncanny accuracy. Using the grip and trigger buttons on the controller, VR software can create a convincing experience of grabbing and manipulating items. This is used to great effect in games such as Half-Life Alyx and The Climb, where gripping items in the VR world is a central part of gameplay. 

The Touch Controllers also offer haptic feedback thanks to devices called “linear actuators”, which can create physical feelings of bumping into things, vibration and other touch sensations. Thumbsticks and buttons also offer a familiar way to move around a VR space when you can’t physically move about in your real space.

The main disadvantage of this compared to hand-tracking is that you have hooks for hands. You can perform simple pinching movements with your virtual hands, but that’s the extent of it. It doesn’t feel like a major limitation when games are designed around the controllers, but hand tracking opens a spectrum of new possibilities in VR.

What Oculus Hand-Tracking Does

When hand tracking is enabled, you’ll see an accurate representation of your real hands within the VR world. Each movement of your fingers or wrist will be reflected in their virtual doppelgangers.

Hand Tracking is no longer a beta feature of Quest. It’s now integrated into the operating system and many first party Quest applications. The first major benefit here is that if you just quickly want to put on your Quest and watch a movie in VR or browse around the app store, you don’t have to go through the effort of strapping on the touch controllers. Using just your hands, you can access system menus and navigate around with ease.

Now that hand-tracking is an official feature of Quest, third-party app developers can add it to their apps. There are already a number of apps that make excellent use of the Oculus hand-tracking feature, but we’re sure developers will find many more exciting ways in which direct hand-tracking can transform the VR experience

How Oculus Hand-tracking Works

The results of hand-tracking are pretty amazing, but how does it actually work? Obviously Oculus isn’t going to publish the exact details of their proprietary solution, but we do know the technologies and principles involved.

First, the on-board cameras are essential to making hand-tracking work. Not only do they provide stereoscopic depth information, but also visual data for processing by machine vision. What’s machine vision? It’s a branch of artificial intelligence, specifically a field known as machine learning. It’s the same technology that lets your phone’s camera app quickly identify faces in a photo.

Essentially, the software has to learn what in the image data provided by the camera is a hand and what isn’t a hand. This was probably done by showing the software thousands and thousands of hands in different environments until it could reliably figure out a fast and effective way of telling them apart from everything else in your room.

Once the software can create accurate, real-time virtual models of your hands, app developers can use them for anything they can think of. You can now precisely manipulate objects in VR!

Hand-tracked Experiences Worth Trying

If you own an Oculus Quest you can try out the Oculus hand-tracking feature without having to buy any particular app. As mentioned above, it works in the main Quest environment as well as a few first-party apps. When it comes to 3rd-party experiences, there are a few worth highlighting.

The Line is a $4.99 narrative experience that also serves as a perfect tech-demo for hand tracking. It tells the tale of a scale model town that runs on clockwork and tracks. 

Our hero Pedro is in love with Rosa, but he can’t escape his fate. Until something new happens one day. You interact with their scale model world by using your hand to turn knobs, pull levers and fiddle with everything that you can. It’s a linear, short experience, but can show off hand-tracking in a very entertaining way in about 15 minutes.

Waltz of the Wizard ($9.99) is another excellent showcase of the technology. You can use your hands to cast spells and interact with just about everything in the VR world around you. If you’ve ever wanted to live out the fantasy of being a wizard who can shoot bolts of lighting from their hands, this is the game for you!

What do you think of hand tracking on Quest? Have you tried it? Which games would you recommend? Share your insights in the comments.

Related posts

• Jak grać w bezprzewodowe gry VR na PC na Oculus Quest za pomocą wirtualnego pulpitu?

• Jak działa przesyłanie strumieniowe Xbox na PC

• Jak grać w gry SteamVR na Oculus Quest 2?

• 8 najlepszych darmowych gier na Oculus Quest 2

• Jak skonfigurować Air Link w Oculus Quest 2?

• Co to są kody znajomych Steam i jak ich używać

• 8 gier na PC ze wspaniałymi historiami

• Czy jednoręczne klawiatury do gier są tego warte?

• Jak udostępniać gry na Steam

• 6 porad i wskazówek dla nowych właścicieli Oculus Quest 2

• 5 najlepszych kontrolerów do gier na PC

• Laptop HP OMEN 15 do wydajnych i wciągających gier

• Jak podłączyć kontroler PS4 do komputera?

• Recenzja pamięci do gier Crucial Ballistix DDR4-3600 32 GB —

• Gry na PC kontra konsole: zalety i wady

• 8 darmowych gier MMORPG w 2021 r.

• 14 sposobów na obniżenie pingu i poprawę gry online

• Jak tworzyć filmy z YouTube dotyczące gier jak profesjonalista

• Monitor czy telewizor do gier? Czy jest najlepszy wybór?

• 8 najlepszych gier przeglądarkowych FPS, w które możesz teraz grać online