Into Music

Into Music

VR Musikvisualisierung

Zurück zu den Projekten
Zurück zu den Projekten

Into Music

Wenn Klang zu Bild wird – der malerischen Schönheit klassischer Musik auf der Spur

Mit funkenschlagenden Pauken und Trompeten lädt INTO MUSIC in einen virtuellen Konzertsaal ein. Die 360°-Visualisierung von George Bizets „Les Toréadors“ verknüpft das räumliche Hörvergnügen klassischer Musik mit ihrer simultanen Übersetzung in dynamische Klangbilder. In zwei verschiedenen Erlebniswelten können Besucher die audiovisuelle Fülle der Carmen-Ouvertüre genießen und eigenhändig erforschen.

Die Aufnahme durch das Sinfonieorchester des Mitteldeutschen Rundfunks liefert dreißig Audiospuren, in denen die einzelnen Instrumente dominant hervortreten. Höhe, Lautstärke, Tempo und Intensität beschreiben die Parameter für ihre visuelle Übersetzung. Im virtuellen Raum miteinander verschmolzen, bilden sie zusammen mit Bizets Komposition, je nach Modus, zwei verschiedene Klangmuster aus.

Im Genießermodus findet sich der Besucher inmitten eines frenetischen Feuerwerks der Musik wieder. Der Erforschermodus entführt ihn hingegen in einen Klanggarten von stalagmitartigen Gewächsen. Sie sprießen auf nebeneinander gelagerten Tonspuren empor und erstrahlen in gleißend hellem Licht. Per Handsteuerung lassen sich die einzelnen Audiospuren isolieren oder das gesamte Stück vor- und zurückspulen. Ein kurzer Applaus reicht aus, um zwischen beiden Modi hin- und herzupendeln.

Das mobile Set-Up besteht aus einem VR-Headset und hochwertigen Kopfhörern. Es wird ergänzt durch eine Tiefenkamera mit einem Sensor zur digitalen Erfassung der Hände, da natürliche Gesten den Controller ersetzen. Spatial Audio – Raumklang – vollzieht schließlich die Bewegung des Besuchers im virtuellen Setting nach und simuliert seine räumliche Entfernung zu den einzelnen Klangquellen.

Hervorgegangen aus einer Kooperation mit der Drefabrik und Prof. Anette Scholz von der Burg Giebichenstein Kunsthochschule Halle, erschließen wir mit INTO MUSIC neue Anwendungsfelder für VR-Konzepte. Das Pilotprojekt erweist sich als vielversprechendes Intermezzo zwischen analogem und digitalem Kulturgenuss, das dem Generationswechsel von Konzertbesuchern Vorschub leisten dürfte, vor allem aber die sinnliche Wahrnehmung klassischer Musik intensiviert und bereichert.

Tools HTC Vive, Leap Motion, Unity3D

ZeitraumJuli 2017 - November 2018

KundeDREFA Media Holding GmbH

KooperationProf. Anette Scholz, Drefabrik, mdr KLASSIK