Virtuelle Realität – ein Blick auf die Technologie und ihr Potential

Ich wurde zuerst vor ungefähr zweieinhalb Jahren auf Virtuelle Realität aufmerksam. Damals lief gerade der Verkauf des zweiten Development Kits der Oculus Rift, die eine Welle der Virtuellen Realität auslöste, die zu einer ganzen Industrie und mit mehreren Produkten und vielen Innovationen führte. Ich war fasziniert von den Möglichkeiten die VR zu bieten hatte, aber als Informatiker interessierten mich vor allem auch die Technologien, die hinter den ersten VR-Headsets steckten. Ich bestellte mir das Oculus DK2 (Development Kit 2), nicht um selber etwas zu entwickeln, sondern um diese neue Technologie einmal aus erster Hand zu erleben. Über ein Jahr später kamen dann die ersten beiden Headsets für den Endbenutzer, Oculus Rift und HTC Vive auf den Markt. Ich habe mir sofort eine HTC Vive vorbestellt und versucht, so vielen Leuten wie möglich VR ein wenig näher zu bringen, denn mit Erzählen kommt man schnell an die Grenzen. Wenn man jemandem jedoch das Headset aufsetzt kommen viele Leute ins Staunen und ich wurde nicht selten gefragt wie teuer es ungefähr wäre, ein VR Headset sowie den geeigneten Computer zu kaufen.

Die Entwicklung des Trackings

Einer der wichtigsten Aspekte von Virtueller Realität ist die Information, wo der Benutzer des Headsets gerade hinschaut. Mit dieser Information kann berechnet werden, was dieser sehen sollte.

Im ersten Development Kit der Oculus wurden nur Beschleunigungssensoren, Magnetometer und Gyroskope verwendet um die Bewegungen des Kopfes zu erfassen. Mit ihrer Hilfe wurde die Beschleunigung so wie die relative Ausrichtung des Headsets in Bezug auf das Magnetfeld der Erde ermittelt. Kombiniert sind diese Informationen gut genug um die simple Rotation des Kopfes zu erfassen, z.B. Kopf Schütteln oder Nicken. Sobald der Träger des Headsets jedoch seinen Oberkörper bewegt stimmt das Bild des Headsets nicht mehr mit dem Gleichgewichtssinn des Trägers überein, was Übelkeit zur Folge haben kann.

Im DK2 der Oculus Rift wurde zusätzlich zum Headset noch eine Infrarot Kamera mitgeliefert. Zusätzlich war das Headset mit Infrarot LED’s ausgestattet. Mit Hilfe dieser beiden Hardware-Erweiterungen konnte nun die genaue Position des Headsets im Raum ermittelt werden. Diese Tracking-Methode wird bis heute von Oculus verwendet, lediglich werden nun zwei bis drei Kameras für das Tracking eingesetzt.

Oculus Tracking

Mit einer Infrarot-Kamera sind die Leds auf der Oculus klar sichtbar. Quelle Bild: https://ifixit.org/blog/6625/oculus-rift-dk2/

Parallel zu Oculus entwickelte noch eine andere Firma ein VR-Headset mit alternativem Tracking. Valve arbeitete auch an einem Prototyp für ein VR-Headset, das eine Komplett andere Art von Tracking verfolge: Als «Prove of Concept» tapezierten die Entwickler bei Valve einen Raum mit QR-Tags. Diese Tags erlaubten es der Kamera am Headset seine eigene Position zu bestimmen.

Tagged Room

Der Raum bei Valve, der als POC für das Tracking ihres VR-Headsets diente. Quelle Bild: https://medium.com/@rtpvr/foveated-rendering-clearer-vr-with-less-fully-rendered-pixels-168352080ccb

Natürlich war es keine Option für zukünftige Benutzer eines VR-Headsets ihr Zimmer mit Markierungen zu Tapezieren. Die Lösung für dieses Problem war eine Laser-basierte Technologie, die heute in der HTC Vive zu finden ist: Lighthouse (en. für Leuchtturm). Die beiden Lighthouse-Stationen, die in gegenüberliegenden Ecken des Raumes platziert werden senden abwechslungsweise Laser-Impulse aus, welche von Fotodioden auf dem Headset registriert werden. Durch die gemessenen Zeitabstände der Laserimpulse und der Geometrie der Fotodioden auf dem Headset kann eine genaue Position im Raum ermittelt werden. Dieser Prozess findet ca. 120 Mal pro Sekunde statt, mit einer Genauigkeit von ungefähr einem Drittel Millimeter.

Abgesehen von der hohen Genauigkeit ist einer der grössten Vorteiler dieser Methode die Anzahl an Geräten, die in einem Raum verfolgt werden können. Da jedes Gerät für seine eigene Position verantwortlich ist können beliebig viele Geräte gleichzeitig in einem Raum verfolgt werden (natürlich wird es früher oder später ein Problem mit dem Platz geben und die Geräte werden sich gegenseitig Schatten werfen und so die Laserimpulse nicht mehr erhalten).

Meiner Meinung nach wird die Lighthouse Technologie in Zukunft für weit mehr gebraucht als nur für VR. Dank der hohen Genauigkeit des Systems und die relativ tiefen Kosten der Hardware ist es perfekt für andere Anwendungsbereiche. Lighthouse wurde zum Beispiel schon getestet als Motion Capture Methode. Da der PC sofort die Koordinaten des gefolgten Punktes erhält kann dieser Punkt direkt einem 3D Model «angelegt» werden. Sobald genügend dieser Punkte vorhanden sind können die Modelle ohne weiteren Aufwand animiert werden.

Möglichkeiten zur Qualität-Verbesserung der VR-Headsets

Wer ein Virtuelle Realität schon einmal ausprobiert hat, sei es mit Google Cardboard oder einem teuren Headset, weiss, dass die Auflösung sowie das Sichtfeld noch nicht optimal sind. Die Vive sowie die Oculus Rift haben zwei 1080×1200 Displays eingebaut. Jedoch reicht es nicht einfach ein besseres Display mit höherer Auflösung und einer grösseren Pixeldichte zu entwickeln. Die Rechenleistung reicht mit der Hardware von heute einfach noch nicht aus, eine solche Auflösung mit 90 Bildern pro Sekunde darzustellen.

Foveated Rendering

Ein Beispiel für Foveated Rendering. Nur der innerste Kreis wird mit der höchstmöglichen Auflösung gerendert. Quelle Bild: https://www.vrfocus.com/2015/06/htc-vive-the-story-so-far/

Eine mögliche Lösung für dieses Problem wäre Foveated Rendering. Bei dieser Methode wird nur der Teil des Bildes, das der Benutzer gerade betrachtet mit der vollen Auflösung gerendert. Der Rest eines Bildes kann verschwommen sein, da auch das menschliche Auge Details am Rande seines Sichtfeldes ausblendet. Diese Optimierung passiert grösstenteils auf Softwareebene, das einzige was zusätzlich an Hardware benötig wird ist eine kleine Kamera die das Auge aufnimmt um festzustellen wo es hinschaut.

Interessante Möglichkeiten mit Virtual Reality

Es ist nicht schwer sich Anwendungsfälle vorzustellen wo VR eingesetzt werden könnte. Eine virtuelle Tour in einem Museum? Besser Vorstellung von der Farbe eines neuen Autos erhalten? Eine neues Kleid designen? Einen Vortrag vor einer grossen Menschenmenge üben? Alle diese Beispiele wurden bereits mit Virtual Reality ausprobiert.

Besonders in der Medizin wird VR in Zukunft wahrscheinlich öfters eingesetzt. Einerseits kann VR dazu verwendet werden zukünftige Ärzte auszubilden indem sie eine Operation virtuell durchführen könne oder sich selbst in die Strukturen eines Organs begeben können um deren Aufbau und Funktionsweise zu verstehen. Andererseits kann Virtual Reality dazu benutzt werden um  Menschen mit Posttraumatischer Belastungsstörung (PTSD) zu helfen.

Wieso jetzt?

Viele fragen sich jetzt vielleicht: Wieso ist VR gerade in den letzten paar Jahren so weit vorangeschritten? Wieso nicht schon vor 15 Jahren? Der wohl grösste Grund wieso gutes VR erst in den letzten paar Jahren verfügbar wurde ist die Mobiltelefon-Industrie. Dank dieser sind nicht nur die Preise für hochauflösende Displays stark gesunken, es wurde auch viel Geld in besser Auflösung und höhere Pixeldichte investiert.

Ein weiterer Grund ist auch das Grafikkarten leistungsstärker geworden sind und einen bestimmten Grenzwert überschritten haben.

Genau diese Fragen und die Antworten darauf finde ich einer der faszinierendsten Aspekte von VR. Nicht wegen Virtual Reality selbst, sondern weil Technologien sich fortlaufend verbessern und es nur eine Frage der Zeit ist bis der technologische Grenzwert für etwas Interessantes, vielleicht sogar Weltbewegendes überschritten wird.

Christian Rothen
Software Engineer

0 Responses to “Virtuelle Realität – ein Blick auf die Technologie und ihr Potential”



  1. Schreibe einen Kommentar

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s





%d Bloggern gefällt das: