TVN präsentiert XR-Studio mit Ghostframe Tracking

TVN präsentiert mit einem Studio für Extended Reality das unsichtbare Tracking mit GhostFrame-Technologie in Kombination mit Systemkamera- und Mischertechnik von Sony. 

Das TVN XR+ Studio soll neue Bildgestaltungsmöglichkeiten für Corporate Streamings, Produktpräsentationen, Commercials, Studiomoderationen und szenische Produktionen eröffnen. Dabei können im Studio andere Bildinhalte angezeigt werden als im Sendesignal. Während die Akteure vor den Kameras redaktionell unterstützt werden und Hintergrundmaterial oder Zusatztexte sehen, könnten für das Publikum beispielsweise Produktinformationen angezeigt werden.

„Es handelt sich in der aktuellen Ausbaustufe um ein voll virtuelles Studio mit bis zu drei getrackten Kameraperspektiven“, fasst TVN-Projektleiter Julian Rössig zusammen. „Die Grafikengine kann in Echtzeit virtuelle Studiokulissen (VR) oder beispielsweise Datenintegrationen (XR) rechnen und abbilden. Wir können das Studio für szenische Produktionen, mit der LED-Wall aber auch als klassische LED-Backdrop Produktion nutzen.“

Bei bisherigen Produktionen im Studio konnten bereits verschiedene Anwendungsszenarien umgesetzt werden. So bewegten sich Protagonist:innen im Realset nur im Green, mit der LED-Wall als Backdrop. Durch Live-Grafik- Rendering wurden links- und rechtsseitig Wände angesetzt (Set Extension) und mit der LED-Wall synchronisiert. Für die Zuschauenden schienen sich die Personen in einem Würfel aus LED-Walls zu befinden. Bei eingespielten Hintergrundbildern auf der LED-Wall wurden Overlay-Grafiken in Echtzeit eingespielt – ohne weitere Postproduktion. Bei einem rein virtuellen Set wurden die Hintergründe in Echtzeit Grafik gerendert und während des Livestreams individuell angepasst. AR- Grafiken, beispielsweise Diagramme, wurden als Live-Daten-Integration im Programmbild eingespielt.

Aktuell bestehen folgende Möglichkeiten: Der:die Protagonist:in steht vor der LED-Wall, die in diesem Fall parallel bis zu sechs unterschiedliche Inhalte gleichzeitig erzeugt. Fünf davon werden mit GhostFrame erzeugt: GhostFrame Chroma fügt zum Standard Video-Feed in Echtzeit einen vollständigen Chromakey-Subframe hinzu – dies erlaubt vielfältige Postproduktions-Möglichkeiten. GhostTrack fügt der LED-Wand ein verstecktes Muster hinzu – dies ermöglicht ein integriertes Kameratracking ohne physische Tracking-Marker. GhostFrame MultiSource fügt der Content-Quelle bis zu drei verschiedene versteckte Video-Feeds hinzu, die teilweise oder komplett von jeder Kamera erfasst werden können. Dieses Verfahren macht es möglich, mehrere volldynamische Bilder während eines Produktionsframes auf einem LED-Bildschirm zu zeigen. Eine oder mehrere Kameras können nun diese Bildsätze erfassen und visualisieren. Das menschliche Auge sieht jeweils nur einen der Inhalte.

Die GhostFrame Anwendung bietet außerdem die Möglichkeit, innerhalb eines Produktionsframes der Kamera mehrere Bilder abzubilden und anzuzeigen. Um nicht wie bisher eine Kamera pro Inhalt einsetzen zu müssen, setzt TVN im neuen Studio die Systemkameras HDC-5500 von Sony ein. Sie verfügen nicht nur über erstklassige UHF/HD/HDR- Bildqualität (2/3-4K-CMOS-Sensor mit Global-Shutter-Technologie), sondern sie bieten die besondere Möglichkeit, alle angezeigten Bildinhalte mit einer einzigen Kamera aufzuzeichnen. Zudem erlaubt der Global-Shutter Sensor eine exakte Anpassung der Bildabtastung der Signale auf der GhostFrame LED Wall.

Für XR+ Liveproduktionen nutzt TVN den neuen XVS-G1 Bildmischer, ebenfalls von Sony. „Das System bietet neben garantierter Signalqualität und minimalen Durchlaufzeiten Neuerungen wie zum Beispiel zusätzliche Clip-Player oder die Möglichkeit, BRC-Kamera-Positionen direkt über das Panel aufzurufen. Zudem bietet der Prozessor ein in diesem Segment einzigartiges Potential der Signalverarbeitung für Ein- und Ausgänge – mit diversen Wandler- und Synchronisations-Funktionen – inklusive integrierter SDR/HDR Format- Konverter. All diese Funktionen optimieren die Produktionsabläufe im Studio und geben TVN die notwendige Flexibilität, um dynamisch und sehr schnell auf alle Produktionsanforderungen reagieren zu können“, so Andreas Berghaus, Produkt-Spezialist Live-Produktion von Sony.