SoundSculpt: Klang als interaktive Skulptur erleben

Innovativer Musik-Synthesizer verbindet Bewegung, Klang und visuelle Kunst

Die Verschmelzung von Kunst und Technologie hat in den letzten Jahren zahlreiche innovative Projekte hervorgebracht. SoundSculpt, entworfen von Yiqi Zhao, setzt neue Maßstäbe im Bereich der interaktiven Musikgestaltung. Inspiriert von der haptischen Kunst des Bildhauens, verwandelt dieses Projekt die Bewegung des Körpers in ein multisensorisches Erlebnis, das Musik, Raumklang und visuelle Elemente miteinander vereint. Zhao beschreibt SoundSculpt als eine Hommage an die uralte Tradition des Töpferns, bei der die Hände das Material formen – nur dass hier der eigene Körper zum Werkzeug wird, um Klang und visuelle Kunst zu erschaffen.

Im Zentrum von SoundSculpt steht die innovative Nutzung der Bose AR Frames. Diese smarten Brillen erfassen mit ihren Gyrosensoren die Kopfbewegungen der Nutzer:innen und übertragen sie in Echtzeit auf eine virtuelle Klangskulptur. Über eine speziell entwickelte MIDI-Schnittstelle werden Neigungswinkel und Bewegungen in Tonhöhe und Lautstärke übersetzt, während Touch-Eingaben die Oberfläche einer virtuellen Blase verändern. Die Kombination aus räumlichem Klang, generativer Musik und dynamischer Visualisierung schafft eine immersive Umgebung, die sowohl künstlerische Exploration als auch emotionale Regulation ermöglicht.

Die technische Umsetzung basiert auf Extended Reality (XR) und wurde mit der Unity-Engine und C#-Skripten realisiert. Mesh-Deformation und Vertex-Manipulation sorgen dafür, dass die virtuelle Blase auf jede Bewegung reagiert und so ein unmittelbares Feedback erzeugt. Die Integration von Synästhesie-Prinzipien – also die Verbindung verschiedener Sinneseindrücke – intensiviert das Erlebnis und fördert eine ganzheitliche Wahrnehmung. Mit einer Größe von 18,3 x 7,9 x 7,4 cm, einem Gewicht von 350 g und einer Akkulaufzeit von bis zu 5,5 Stunden ist SoundSculpt zudem alltagstauglich und mobil einsetzbar.

Die Forschung hinter SoundSculpt zielte darauf ab, ein Werkzeug zur Emotionsregulation zu entwickeln. In Nutzerstudien mit Designer:innen und Laien zeigte sich, dass die immersive Interaktion mit Klang und Bewegung nicht nur die Wahrnehmung von Raum und Musik schärft, sondern auch zu einer stabileren emotionalen Verfassung beiträgt. Die Ergebnisse deuten darauf hin, dass SoundSculpt auch in der Kunsttherapie und Psychiatrie Anwendung finden könnte – ein Ansatz, der durch die spielerische Gestaltung und die Förderung kreativer Selbstwirksamkeit gesellschaftliche Relevanz gewinnt.

Die größten Herausforderungen bei der Entwicklung lagen in der nahtlosen Integration multisensorischer Rückmeldungen und der Synchronisation von Audio- und visuellen Elementen in Echtzeit. Technische Hürden wie die Präzision der Sensorik und die Datenverarbeitung wurden durch iterative Tests und den Einsatz modernster XR-Technologien überwunden. Das Ergebnis ist ein System, das nicht nur technisch überzeugt, sondern auch emotional berührt.

SoundSculpt wurde erstmals im MIT Media Lab in Cambridge, MA, entwickelt und später dem Bose Frame AR Team präsentiert. Für seine innovative Verbindung von Kunst, Technologie und emotionalem Mehrwert wurde das Projekt 2025 mit dem Iron A' Digital Art Award ausgezeichnet. SoundSculpt steht damit exemplarisch für eine neue Generation von Wearables, die Kreativität, Wohlbefinden und technologische Innovation miteinander verbinden.