Ein Duett mit dem Geist in der Maschine

Die Technische Hochschule Nürnberg und die Hochschule für Musik Nürnberg kooperieren mit Steinway & Sons in dem interdisziplinären Forschungsprojekt „Spirio Sessions“ zu Künstlicher Intelligenz – konkreter: zu Künstlicher Kreativität. Als erste akademische Institution europaweit wird LEONARDO – Zentrum für Kreativität und Innovation, an dem unter anderem die TH Nürnberg und die HfM Nürnberg beteiligt sind, mittels des neuartigen Steinway & Sons-Flügels, Modell Spirio R, die Interaktion zwischen Musikerinnen und Musikern mit intelligenten Maschinen erforschen.

„Ein klassischer Konzertflügel auf höchstem Exzellenzniveau und ein hochinnovatives robotisches Digitalinstrument: Der Spirio R ist beides in einem“, erklärt Prof. Dr. Martin Ullrich, Professor für interdisziplinäre Musikforschung an der HfM Nürnberg. „Damit ist er für uns das ideale Werkzeug, um neue Welten der künstlichen Kreativität zu erschließen.“ Das analog-digitale Hybrid-Instrument des weltweit führenden Herstellers für Konzertflügel Steinway & Sons bildet den Mittelpunkt des interdisziplinären Forschungsprojekts. Dank der erarbeiteten Expertise in Forschungsprojekten zur Co-Kreation von Mensch und Maschine war es möglich, eine Entwicklungspartnerschaft zwischen LEONARDO und Steinway & Sons zu schließen und so den neuartigen Spirio R Flügel bereits mehrere Monate vor Markteinführung zu erhalten.
Die Sensorik des Instruments erlaubt es nicht nur, Tastenbewegungen in einer bisher unübertroffenen Präzision und Komplexität zu erfassen und wiederzugeben – der Flügel bietet auch digitale Analysewerkzeuge sowie eine Schnittstelle, anhand derer der Flügel mit einer Künstlichen Intelligenz erweitert werden kann. Ursprünglich wurde das Instrument entwickelt, um Live-Konzerte aus der Ferne zu geben, nun beschreitet ein Forschungsteam aus Professoren der TH Nürnberg und der HfM Nürnberg neue Wege und versucht stattdessen, die Potentiale der Schnittstelle zwischen dem Flügel und Künstlicher Intelligenz auszuloten.
Dabei kooperieren die Fachgebiete der Interdisziplinären Musikforschung der HfM Nürnberg – welche erst kürzlich im KI-Wettbewerb des Bayerischen Staatsministeriums für Wissenschaft und Kunst mit einer Professur für „Künstliche Kreativität und musikalische Interaktion“ erfolgreich war – mit Wissenschaftler*innen für Maschinelles Lernen an der Fakultät Informatik der TH Nürnberg.

Das durch das Bundesministerium für Bildung und Forschung geförderte und finanzierte LEONARDO – Zentrum für Innovation und Kreativität ist ein Kooperationsprojekt von drei Nürnberger Hochschulen: der Technischen Hochschule Nürnberg, der Hochschule für Musik und der Akademie der Bildenden Künste. Der Fokus des Innovationszentrums liegt in diesem Jahr auf dem Themenfeld „Künstliche Intelligenz und Mensch-Maschine-Interaktion“. Genau darum dreht sich das Forschungsprojekt „Spirio Sessions“.
Die Wissenschaftlerinnen und Wissenschaftler entwickeln innovative technologische Lösungen für ein Zusammenspiel zwischen Mensch und Maschine. In der jüngsten Vergangenheit gab es wiederholt Bestrebungen, eine KI auf Basis von Datenmaterial neue Kompositionen erschaffen zu lassen. Auch der Einsatz von KI als Werkzeug in der Musikproduktion wird stetig vorangetrieben. Doch klassische Herangehensweisen des maschinellen Lernens stießen dabei schnell an ihre Grenzen. „Die Ergebnisse konnte man bestenfalls als 'interessant' bezeichnen", so Prof. Dr. Korbinian Riedhammer, Professor für Softwarearchitektur und Maschinelles Lernen an der TH Nürnberg. Ein Treffen auf Augenhöhe, wie es etwa beim Schach schon lange problemlos möglich ist, hielt man in der Musik bisher noch für Science Fiction. „Darum wollen wir uns in diesem gemeinsamen Forschungsprojekt einen Schritt weiter bewegen", erläutert Prof. Dr. Korbinian Riedhammer die Kooperation zwischen LEONARDO und Steinway & Sons. „Im Mittelpunkt wird die Entwicklung künstlicher Kreativität in der Interaktion zwischen menschlichen Musizierenden, innovativen Musikinstrumenten und Künstlichen Intelligenzen stehen. Bisher konzentrierte sich die Forschung auf eine symbolische Repräsentation der Musik wie etwa MIDI, eine Art Notenschrift für Computer. Mit dem Spirio können wir nun mit der tatsächlichen Interpretation der Musik arbeiten.”

Die Wissenschaftlerinnen und Wissenschaftler widmen sich komplexen Fragen: Kann eine Künstliche Intelligenz auf gleichem Niveau mit einem Menschen in einem kreativen Schöpfungsprozess in Echtzeit zusammenarbeiten – und wie kann eine solche Kooperation aussehen? Kann der Flügel in einem Jazz-Quartett improvisieren? Gar seine persönliche Note hinzufügen? Und welche Erkenntnisse erlangen wir dadurch über den vermeintlich exklusiv menschlichen Kreativprozess? Die Antworten auf diese Fragen sind dabei nicht nur für die Musik interessant: Erkenntnisse auf dem Gebiet maschinellen Klang- und Sprachverständnisses könnten langfristig auch auf andere Anwendungsszenarien wie beispielsweise die Medizin übertragen werden, so die Hoffnung des Projektteams.

Text: Technische Hochschule Nürnberg

Kontakt:
Hochschulkommunikation der TH Nürnberg, Tel. 0911/5880-4101, E-Mail: presse@th-nuernberg.de
Presse- und Öffentlichkeitsarbeit der HfM Nürnberg, Tel. 0911/215 22-121, E-Mail: lucas.jubl@hfm-nuernberg.de