CES 2024: Sony Corporation arbeitet an einem XR-Head-Mounted Display für Kreative

Wird das räumliche Arbeiten tatsächlich der nächste große Trend? Auch Sony arbeitet an einem Mixed Reality-Head-Mounted-Headset!

Sony X Mixed Reality

Die Sony Corporation hat die Entwicklung eines Systems zur Erstellung immersiver räumlicher Inhalte bekannt gegeben. Das System umfasst ein XR Head-Mounted Display mit hochwertigen 4K-OLED-Mikrodisplays und Video-See-Through-Funktion sowie zwei Controller, die für die intuitive Interaktion mit 3D-Objekten und präzises Zeigen optimiert sind. Das neue System soll Kreative bei der Erstellung anspruchsvoller 3D-Inhalte unterstützen. Sony plant Kooperationen mit Entwicklern von 3D-Produktionssoftware in Bereichen wie etwa Unterhaltung und Industriedesign. Zum Launch arbeitet Sony exklusiv mit Siemens zusammen, einem führenden Anbieter von Industrietechnik, um eine neue Lösung für immersives Design und kollaborative Produktentwicklung einzuführen, bei der Software aus der offenen digitalen Business-Plattform Siemens Xcelerator zum Einsatz kommt.

Ausgestattet mit einem XR Head-Mounted Display mit 4K-OLED-Mikrodisplays und der proprietären Rendering-Technologie von Sony ermöglicht es das neue System, Texturen von 3D-Objekten und menschliche Mimik in Echtzeit hochauflösend und realistisch zu rendern. Neben einer Video-See-Through-Funktion und räumlicher Erkennung mit insgesamt sechs Kameras und Sensoren verfügt das System über einen Ring-Controller, mit dem die Benutzer:innen Objekte im virtuellen Raum intuitiv bewegen können, sowie einen Pointing-Controller, der präzises Zeigen ermöglicht. So können Kreative mit Controllern und Tastaturen im virtuellen Raum arbeiten, während sie das Head-Mounted Display tragen. Dabei können sie nicht nur auf dem Display 3D-Modelle in einer Extended Reality (XR)-Umgebung in realem Maßstab sehen, sondern auch 3D-Modelle erstellen und verändern.

Die Technik und der Nutzen

Dank Integration mit Drittanbieter-Anwendungen zur 3D-Erstellung unterstützt das System auch Echtzeit-Fernüberprüfungen zwischen verschiedenen Standorten. Kreativen steht damit ein intuitives und immersives Tool zur Verfügung, das den gesamten Prozess der Erstellung räumlicher Inhalte abdeckt. Das System arbeitet mit dem neuesten Qualcomm Snapdragon® XR2+ Gen 2. Dieser Prozessor schöpft die Leistung der 4K-OLED-Mikrodisplays aus, um eine atemberaubende Bildqualität zu gewährleisten, ermöglicht Benutzer- und räumliches Tracking für nahtlose XR-Erlebnisse und bietet damit eine leistungsstarke Plattform für den kreativen Workflow. Sony hat bereits eine Reihe von Technologien eingeführt, die die Arbeitsabläufe und Ergebnisse bei der Erstellung räumlicher Inhalte verbessern und den Einsatz von 3D-Computergrafik in verschiedenen kreativen Bereichen erleichtern.

Das mobile Motion-Capture-System „mocopi“, das hauseigene Technologien von Sony nutzt, ermöglicht mithilfe kleiner, leichter Sensoren und einer speziellen Smartphone-App eine vollständige Erfassung von Körperbewegungen. Spatial Reality-Displays liefern bei der Content-Erstellung und -Überprüfung hochrealistische, dreidimensionale Inhalte, ohne spezielle Brillen oder Virtual Reality (VR)-Headsets zu erfordern. Mit der Einführung des neuen Systems und der Zusammenarbeit mit Anbietern von 3D-Design-Software möchte Sony den Entwickler:innen räumlicher Inhalte zusätzlich helfen, die Grenzen zwischen der physischen und der virtuellen Welt zu überwinden, um noch intensivere kreative Erlebnisse zu schaffen.

Herausragendes XR-Erlebnis für kreative Anwendungen

Das Head-Mounted Display verfügt über große 1,3-Zoll OLED-Mikrodisplays mit 4K-Auflösung und einem großen Farbbereich, der bis zu 96 % des DCI-P3-Farbraums abdeckt. Dank detailliertem, realistischem Rendering von Texturen von 3D-Objekten und menschlicher Mimik können Entwickler:innen mit dem Head-Mounted-Display den gesamten Prozess von der Modellierung bis zur Überprüfung durchlaufen. Das System unterstützt Split-Rendering, bei dem die Rendering-Last auf Computer und Head-Mounted-Display verteilt wird. Dadurch können auch große 3D-Modelle stabil und hochauflösend gerendert werden.

Dank seiner Kooperation mit Qualcomm Technologies, Inc. ist Sony eines der ersten Unternehmen, die die neueste Snapdragon XR2+ Gen 2 Platform einsetzen. Dieser Prozessor schöpft die Leistung der 4K-OLED-Mikrodisplays aus, um eine atemberaubende Bildqualität sicherzustellen. Zudem ermöglicht die On-Chip-KI ein verbessertes Benutzer- und räumliches Tracking für nahtlose XR-Erlebnisse, bei denen physische und digitale Räume verschmelzen, um eine einfache Navigation und intuitive Interaktion innerhalb der XR-Kreativräume zu gewährleisten.

Controller zur intuitiven Erstellung räumlicher Inhalte

Zum System gehört ein Ring-Controller, mit dem die Benutzer:innen Objekte im virtuellen Raum intuitiv bewegen können. Außerdem ist ein Pointing-Controller vorhanden, der stabiles, genaues Zeigen im virtuellen Raum ermöglicht und hinsichtlich Form und Tastenlayout für eine effiziente und präzise Bedienung optimiert ist. Wenn die Benutzer:innen das Head-Mounted Display tragen, den Pointing-Controller in der Führungshand halten und den Ring-Controller an den Fingern der anderen Hand anbringen, können sie mit den beiden Controllern und einer Tastatur 3D-Objekte modellieren.

Komfortables Design für nahtlose XR-Kreativ-Erlebnisse 

Bei der Gestaltung des Head-Mounted Displays wurden sein Schwerpunkt sowie das Design und Material der direkt am Kopf anliegenden Polster exakt abgestimmt, um den Komfort und die Stabilität zu gewährleisten, die für eine längere kreative Nutzung erforderlich sind. Darüber hinaus ermöglicht der Mechanismus zum Hochklappen des Display-Teils ein leichtes und nahtloses Wechseln zwischen physischen und virtuellen Räumen, ohne dass das Gerät immer wieder abgenommen und anschließend neu kalibriert werden muss.

Immersives kreatives Erlebnis dank Integration mit 3D-Design-Software 

Sony strebt Kollaborationen mit verschiedenen Entwicklern von 3D-Produktionssoftware an, sowohl im Entertainment-Bereich als auch im Industriedesign. Zum Launch wird Sony exklusiv mit Siemens zusammenarbeiten, um durch Integration mit der neuen NX Immersive Designer-Software – einer Produktentwicklungslösung aus dem Siemens Xcelerator-Portfolio für Industriesoftware – innovative immersive Engineering-Funktionen für die Fertigungsindustrie bieten zu können. Die Integration von leistungsfähiger Hardware und Software ermöglicht die Bereitstellung immersiver Tools für Design, Prüfvorgänge und Kollaboration, um Entwickler:innen in den Bereichen Industriedesign und Produktengineering wirksam zu unterstützen.