NGA-1 | Broadcast / Tri-medial Production / NGA | R 3 | 2023-11-09 | 12:00 - 13:00
curated by Wolfgang Rein, Daniela Rieger —
moderated by Daniela Rieger
Binaural production techniques and tools - Multiformat production versus native binaural approaches
NGA-1-1 | Start 12:00 | Duration 60 min. | Frank Melchior | Tutorial (English)
This tutorial will present the different approaches of binaural production, distribution, and consumption. Signal processing fundamentals as well as strength and weaknesses of native binaural production versus next generation audio (NGA) systems will be discussed.
The tutorial will be presented from a practical perspective with a focus on production technique and tools. The different concepts, workflows and options will be illustrated with real world examples to enable the participants to make informed decisions on the system selection for their projects.
Topics of this tutorial will include:
* Dynamic binaural synthesis versus static binaural reproduction
* Production tools and methods (Including non commercial options for signal processing and headtracking)
* Multiformat mixing (NGA Systems) versus binaural specific production techniques (e.g. systems based on Ambisonics or direct native binaural mixing and recording).
* Workflows and system setups
NGA-2 | Broadcast / Tri-medial Production / NGA | R 13 | 2023-11-09 | 14:30 - 16:00
curated by Wolfgang Rein, Daniela Rieger —
moderated by Wolfgang Rein
Loudness for Cinematic Content - supplement 4 to EBU R 128, the 10th document of PLOUD
A dedicated small group of PLOUD-veterans has worked for several years on the subject how to treat/process highly dynamic Cinematic Content for TV. In order to gather more data on which to base the recommended processing scheme, the chairman Florian Camerer has conducted an extensive analysis of 44 German dubbed (and already processed) feature films as well as 16 english Originals (from Bluray). The original objective was to compare automatic dialogue detection with a manual extraction method. After the initial analysis, further investigations were encouraged and performed by two other members of the subgroup (Richard van Everdingen and Thomas Lund), mainly manually extracting "normal" voice loudness, as the automatic method as well as the original manual method measured "average" loudness. The study was thus extended to check if there is a significant difference on the processing result if either "average" or "normal" dialogue was used. In any case, the main parameter which is recommended in supplement 4 to EBU R 128 is a certain maximum value for the "Loudness-to-Voice-Difference" (LVD). The study as well as the supplement will be presented which is yet another milestone of the work of the EBU-group PLOUD.
Metadatenbasierte Lautheits- und Dynamikanpassung im Player mit xHE-AAC
Seit Jahren warten Akteure in der AV- und Audio-only-Onlinedistribution auf die playerbasierte Lautheits- und Dynamikanpassung. Sie gilt als Lösung für das Dilemma, dass bezüglich der passenden Lautheit und Dynamikbearbeitung kein sinnvoller Kompromiss für alle Wiedergabeszenarien vom Handy in der U-Bahn bis zum Heimkino möglich ist.
Dies umzusetzen ist heute dringlicher denn je. Praktisch realisierbar ist diese Anpassung heute beispielsweise mit Hilfe der Metadaten, die der Audiocodec xHE-AAC von Fraunhofer IIS bietet. Dieser ist schon auf vielen gängigen Endgeräten verfügbar und verbreitet sich weiter. Deswegen arbeiten auch ARD und ZDF an der Einführung von xHE-AAC in der Online-Distribution.
Dieser Beitrag soll Antworten auf folgende aktuelle Fragen geben und sie zur Diskussion stellen:
In welchen Wiedergabeszenarien werden welche Arten von Online-Inhalten vorwiegend genutzt und welche Lautheits- und Dynamikanpassung ist dafür notwendig? Wie funktioniert die playerbasierte Lautheits- und Dynamikanpassung nach ANSI/CTA 2075? Was sind die Besonderheiten bei ihrer Umsetzung im Codec xHE-AAC? Wie kann die playerbasierte Lautheits- und Dynamikanpassung die Hauptprobleme bei der Onlinedistribution bezüglich der Lautheit lösen? Welche Probleme kann sie nicht lösen? Was ist bei ihrer Einführung voraussichtlich zu beachten?
The Future is Meta: Metadata, Formats and Perspectives towards Interactive and Personalized AV Content
NGA-2-3 | Start 15:30 | Duration 30 min. | Alexander Weller |
Werner Bleisteiner, Christian Hufnagel, Michael Iber | Talk (English)
The production of media content has undergone tremendous changes in recent years, not only in quantitative terms. Multiple daily content updates are just as common for some platforms as processing the provided content specifically for their target audiences. Such features are made possible through so-called metadata, which categorize information needed for the respective purpose thus making it accessible. In conjunction with AI-supported tools, metadata are shaping the future of audio-visual content production, distribution and consumption. It allows editors to effectively search through archives like in the Tailored Media Project, broadcasters to provide content that is adapted to users' surroundings like in the Drive By Bayern project or give users the ability to experience audio-visual content from different perspectives like in Mermaid’s Tears.
Although these projects provide comprehensive insight into the potential of metadata, their integration in existing infrastructures meets several limitations. For example, content-related metadata may initially be generated at some point during the production process but will then be lost at later stages due to current standards and incomplete software implementations.
In our contribution, we will discuss requirements and potential approaches and give an outlook on possible fields of application and use-cases.
NGA-3 | Broadcast / Tri-medial Production / NGA | R 13 | 2023-11-10 | 10:30 - 12:30
curated by Wolfgang Rein, Daniela Rieger —
moderated by Wolfgang Rein
ADM and NGA: Now and Next – An EBU expert briefing
NGA-3-1 | Start 10:30 | Duration 60 min. | Werner Bleisteiner |
Simon Tuff, Paola Sunna, David Marston | Workshop (English)
The EBU has always been a central hub for coordination and communication for broadcast AV development and standardisation efforts. Early on, ADM has been defined as a generic format of Metadata Guided Audio (MGA), and under EBU's auspices driven by their members BBC R&D and IRT. By now, ADM has found its way into audio production and workflows. Due to the fact, that its open concept has been also adapted in the major NGA delivery formats AC-4 (Dolby) and MPEG-H (Fraunhofer IIS). With ADM gradually being built-in all major audio workstations, it becomes a 'lingua franca" for audio production.
In this briefing, EBU's experts working on ADM development and standardisation will outline the concepts, advantages and solutions of this format in all domains of audio production and delivery- and provide good reasons, why the time for a move to ADM is now.
29 Gute Gründe für NGA - Wie und warum sich Brasilien für MPEG-H als zukünftiges Rundfunksystem entschieden hat
Die heutige Medienlandschaft steht vor zahlreichen Herausforderungen, die zu einer Aktualisierung der bestehenden Rundfunksysteme führen. Hochwertige Filmproduktionen adressieren längst nicht mehr nur das Kino sondern auch Streaming-Dienste. Gleichzeitig bieten Unterhaltungssysteme im Wohnzimmer eine bisher unerreichte Audio- und Videoqualität. Zusätzlich werden dieselben Inhalte auf unterschiedlichen Geräteklassen und in verschiedenen Wiedergabesituationen konsumiert, wie zum Beispiel mit dem Mobiltelefon im Bus, zu Hause mit dem Fernseher mit oder ohne zusätzliche Lautsprecher oder mit der Soundbar. Darüber hinaus ergeben sich aus der Bevölkerungsstruktur verschiedene Bedürfnisse der unterschiedlichen Verbrauchergruppen.
Als Antwort auf diese Herausforderungen erweist sich Next Generation Audio (NGA) als passende Lösung, die in verschiedenen Bereichen immer mehr Verwendung findet. Brasilien beispielsweise stellt sich dieser Aufgabe und treibt aktiv den Prozess der Aufrüstung seines Fernsehsystems voran. Zunächst wurde dafür sorgfältig ein Anforderungskatalog definiert. Daraufhin wurde eine neutrale und transparente Testmethodik entwickelt. Damit wurde festgestellt, welche der verfügbaren Technologien tatsächlich zu den gewünschten Ergebnisse führen können.
In diesem Vortrag wird dieser Prozess beleuchtet und es werden die Ergebnisse zusammengefasst. Dabei wird gezeigt, wie die Eigenschaften von NGA effektiv mit den beschriebenen Herausforderungen in der heutigen Medienlandschaft umgehen können.
Dann mach deinen Mix doch selbst! - Dialogue Enhancement und Personalisierung mit MPEG-H Audio
NGA-3-3 | Start 12:00 | Duration 30 min. | Christian Simon | Talk (German)
Sprachverständlichkeit im Fernsehen ist ein Thema, zu dem bei den Sendern viele Zuschauerbeschwerden eingehen. Persönliche Hör-Vorlieben und Bedürfnisse sind sehr individuell und die eine, perfekte Mischung scheint es nicht zu geben. Bietet die Möglichkeit der Personalisierung im Endgerät hier einen Ausweg?
Der Vortrag bietet einen Einblick in die Möglichkeiten von Dialogue Enhancement und Personalisierung mit objektbasierten Audiosystemen wie MPEG-H Audio, einschließlich der Deep Neural Network-basierten Technologie MPEG-H Dialog+. Als praktische Beispiele dienen die objektbasierte Übertragung der Fußball-WM 2022 in Brasilien und Süd-Korea, sowie das kanalbasierte „Klare Sprache“-Angebot in der ARD Mediathek.
NGA-4 | Broadcast / Tri-medial Production / NGA | R 13 | 2023-11-10 | 14:00 - 16:00
curated by Wolfgang Rein, Daniela Rieger —
moderated by Daniela Rieger
Sprachverständlichkeit im Fernsehen - Empfehlungen für Programm und Technik
NGA-4-1 | Start 14:00 | Duration 30 min. | André Klar |
Max Kiefer | Talk (German)
Dieses Jahr wurden die aktualisierten Empfehlungen für Programm und Technik bei der Sprachverständlichkeit im Fernsehen veröffentlicht. Die Aktualisierung ist eine Kooperation der ad hoc AG Audio mit dem Verband Deutscher Tonmeister e.V. welche bereits bei der Tonmeistertagung 2021 vorgestellt wurde.
Ziel der Kooperation mit dem VDT ist es, die auf das Jahr 2012 zurückgehende Production Guideline von ARD und ZDF gezielt um Erfahrungswerte zur Sprachverständlichkeit aus der Praxis zu erweitern und nachhaltig zu schärfen. Vor dem Hintergrund, dass viele Beiträge und Formate im öffentlich-rechtlichen Fernsehen mittlerweile vermehrt durch externe Dienstleister wie freie Produktionsfirmen produziert werden, kommt der Suche nach gemeinsamen und verlässlichen Standards ein besonderer Stellenwert zu.
In der aktuellen Ausgabe wird gezeigt, welche Stellschrauben es in Programm und Technik gibt, um eine gute Sprachverständlichkeit abzuliefern. Die Broschüre verfolgt nicht das Ziel, Regelungen vorzugeben. Ziel ist es vielmehr, die branchenübliche Praxis abzubilden, Trends aufzuzeigen, Hinweise und Anregungen für Qualität zu geben.
NGA: Der lange Weg vom Studio zum Publikum
NGA-4-2 | Start 14:30 | Duration 60 min. | Hendrik Jurich |
Werner Bleisteiner | Workshop (German)
Auch wenn es bisher kaum auffällt: ARD-Anstalten haben schon damit begonnen, NGA zu produzieren. So wurden zum Beispiel bereits einige Musik-Produktionen der Orchester von BR und HR von Plattenfirmen und externen Streaming-Portalen veröffentlicht. Aber auch Spielfilme und Dokumentationen wurden in NGA gemischt. Denn klar: Wenn Audio Workstations schon NGA-Produktionstools an Bord haben – wer möchte das dann nicht auch ausprobieren?
2021 hat der HR zwei Tonmischstudios für für 7.1.4 aufgerüstet. Angefangen mit „Murot und das Prinzip Hoffnung“ wurden seitdem dort (fast?) alle Tatort-Produktionen immersiv gemischt. Zudem die preisgekrönte Dokumentation“Dichtung und Wahrheit“, die Serie „Schleudergang“ und einiges mehr.
Damit aber neben dem üblichen Stereo weitere Tonformate und -optionen wie „Klare Sprache“, Audiodeskription, Surround, vorgerendertes Binaural oder NGA ausgeliefert werden können, müssen die Mediatheken auf „Multi-Audio“ erweitert werden. Dieser Umbau findet gerade statt.
Der Workshop zeichnet diesen langen Weg vom Studio zum Publikum nach:
Hendrik Jurich (HR) demonstriert, wie er Immersive Audio für Fernsehfilme, Dokumentationen und Musikproduktionen nutzt. Andreas Menze (HR) gibt Einblicke in Mechanismen bei Encoding und Packaging für HLS- und DASH-Streaming in der komplizierten Infrastruktur der Provisioning-Prozesse. Werner Bleisteiner erläutert, wie „legacy“ und NGA-Funktionalitäten künftig für das Musikangebot von ARD-Klassik genutzt werden sollen.
Durch das Audio Definition Model (ADM) sollen mehrere Problemstellungen bei der Bereitstellung von Audiodaten adressiert werden. Die Kombination von (Mono-)Audiokanälen und zusätzlich abgespeicherten Metadaten, die den Inhalt dieser Kanäle beschreiben, erlaubt eine freie Zuordnung von Surroundkanälen auf gewünschte Lautsprecher (bzw. einen Up-/Downmix auf andere Formate) oder einen dynamischen Pegelverlauf einzelner Audioquellen. Die resultierenden Dateien dienen zum einen als objektbasiertes Produktionsformat, zum anderen als Basis für die Konvertierung in proprietäre Formate wie Dolby Atmos oder Fraunhofer MPEG-H. Die Abbildung dieses neuen Standards in DAWs ist elementar und essentiell für dessen Verbreitung. Durch die strikte Trennung von Format und Inhalt im Standard bietet sich dabei eine analoge Trennung in DAWs an.
Innerhalb des Beitrags zeigen wir exemplarisch den Arbeitsablauf, der die Audiodaten eines Projektes mit ADM-Metadaten kombiniert. Die wichtigsten Punkte sind dabei die Erstellung eines ADM-Dokumentes, die Bearbeitung der Metadaten und das Exportieren in eine ITU-R BS.2076-2-konforme PCM Datei.