KI & Musik/Klangkunst Teil 1: Fruhe Formen von Kunstlicher Intelligenz (KI)

 

Sollte das nächste eigene musikalische bzw. künstlerische Projekte nicht besser mit Künstlicher Intelligenz zu tun haben? 2021 entsteht der Eindruck, dass dies für ein Projekt förderlich sein könnte, kritische Stimmen reden sogar von einem Hype. Ein Gedanke dazu direkt vorab - um so häufiger künstlerische Projekte KI integrieren, um so sinnvoller erscheint es mir, zwischen diesen zu unterscheiden. Handelt es sich um Anwendung von KI, einem (bald schon) allgemeinen Werkzeug? Oder erfahren wir anhand einer formal bzw. ästhetisch oder inhaltlich kritischen Auseinandersetzung vielmehr eine Entwendung von KI, sprich eine eigenständige künstlerische Position mit und zu KI? Dazu mehr im Teil 3 der kurzen Serie an Texten zu KI & Musik/Klangkunst.

Der Schwerpunkt des ersten Teils ist ein anderer. Wenn Projekte unter Einsatz von neuronalen Netzen und maschinellem Lernen auch in der Musik und Kunst wegen ihres Innovationspotentials gefördert und vermarktet werden, bleibt oft unerwähnt, dass es Künstliche Intelligenz nicht erst seit den 2000er Jahren gibt. Mehr noch, offenbar ist der Kontext früher KI in einigen Kontexten nicht einmal bekannt: angefangen mit dem propagierten Beginn der Kybernetik im Jahr 1943, als sich Norbert Wiener mit John von Neumann, Ingenieuren und Neurowissenschaftlern zusammenschloss, um sich mit den Gemeinsamkeiten zwischen dem Gehirn und Computern zu beschäftigen. (siehe Anm.1) 1948 erschien Wieners Buch „Cybernetics: Or Control and Communication in the Animal and the Machine” (Wiener, 1948). Es ist die erste öffentliche Verwendung des Begriffs Kybernetik. Nach Wiener ist Kybernetik die Wissenschaft der Steuerung und Regelung von Maschinen und deren Analogie zur Handlungsweise von lebenden Organismen (aufgrund der Rückkopplung durch Sinnesorgane) und sozialen Organisationen (aufgrund der Rückkopplung durch Kommunikation und Beobachtung). Dies ist auch von Bedeutung für Künstliche Intelligenz. 1950 formulierte Alan Turing mit dem später sogenannten Turing-Test eine Idee, wie man feststellen könnte, ob ein Computer ein dem Menschen gleichwertiges Denkvermögen hätte. Er selber nannte diesen Test ursprünglich imitation game. Im Kontext früher KI könnten darüber hinaus ebenso eine Vielzahl regelbasierter Systeme genannt werden wie nur z.B. Markov-Ketten (Markov, 1906), bei denen mittels eines stochastischen Prozess Wahrscheinlichkeiten für das Eintreten zukünftiger Ereignisse ermittelt werden oder auch der Cellular Automaton (von Neumann, 1951), das Lindenmayer-System (Lindenmayer, 1968) usw.  

Bild 1: Markov-Kette mit drei Zustanden und unvollstandigen Verbindungen
Bild 2: elementarer Cellular Automaton mit den ersten 20 Generationen der Regel 30, beginnend mit einer einzelnen schwarzen Zelle, Wolfram MathWorld
Bild 3: „Weeds“, erzeugt mit einem Lindenmayer-System (L-System) in 3D

Die historische Einordnung unterschiedlichster Strange einer fruhen KI kann nur als Versuch verstanden werden. Eine Erzahlweise ist, dass dem in den 1950er Jahren offentlich gemachten, formallogisch basierten Ansatz (vertreten von den Grundungsvatern der Kybernetik in den USA) der von England ausgehende alternative Ansatz gegenuberstand, bei dem die Ubertragung biologischer Konzepte in Experimentalanordnungen aller Art erprobt wurden. Wahrend der erstgenannte, technomathematische Zugang die Rede vom „Elektronengehirn“, die Entwicklung des Digitalcomputers bzw. der von-Neumann-Architektur und viele Paradigmen der Informatik beforderte, stellten bei Zweiterem prominente Vertreter wie Ross Ashby, Stafford Beer und Gordon Pask Beobachtungen zum Verhaltnis von System und Umwelt in den Mittelpunkt. (Donner, 2010) Alternative Einordnungsversuche dazu bietet u.a. die Autorin Katherine Hayles, deren Vorschlag in einer Einteilung der Kybernetik in drei Phasen besteht. (Hayles, 1999)

Doch was hat das alles mit Musik und Klang/Kunst zu tun?
Werfen wir diesbezuglich einen Blick auf die Zeit ab den 50er Jahren, verstarkt auf die fruhen 80er Jahre, man konnte auch die These aufstellen: auf die zweite Welle von KI.

Wieder sind es die USA, wo sich interessante Entwicklungen abzeichnen. Beteiligt daran ist eine Vielzahl von Personlichkeiten aus dem Bereich der Musik. Zugegebener Maßen handelt es sich um eine zwar inhaltlich heterogen ausgerichtete, ansonsten aber erneut bemerkenswert homogene Gruppe, quasi alle Protagonisten sind oder waren mannlich, so gut wie alle weiß. (Mehr zu einer kritischen Reflexion dieser Homogenitat in Teil 2 und Teil 3 der kurzen Serie an Texten.) Was waren die inhaltlichen Ansatze und Zugange, worin bestehen die Errungenschaften all derer, von denen wohl viele heutzutage noch nie gehort haben?

Zu ihnen gehoren Forscher, Komponisten und Musiker wie Marvin Minsky, David Cope, John Chowning, George E. Lewis, Curtis Roads, John Bischoff und viele mehr.

Als pragend fur die sich entwickelnde Szene jener Zeit beschreibt George E. Lewis den amerikanischen Kognitions- und Computerwissenschaftler Marvin Lee Minsky (1927 - 2016). Gemeinsam mit John McCarthy (dem Erfinder von Lisp, siehe Anm.2), Nathaniel Rochester und Claude Shannon begrundete er 1956 im Rahmen der Dartmouth Conference den Begriff der Kunstlichen Intelligenz. Spater waren er und Seymour Papert auch Grunder des Labors fur Kunstliche Intelligenz (AI-Lab) am MIT (Massachusetts Institute of Technology in Cambridge). Gemeinsam mit Edward Friedkin realisierte Minsky 1972 den Triadex-Muse-Synthesizer (vgl. cdm, 2014). Bereits deutlich fruher (1951) entwickelte er mit Dean Edmonds einen neuronalen Netzcomputer namens SNARC (Stochastic Neural Analog Reinforcement Calculator), der das Verhalten einer Maus in einem Labyrinth simulierte:

What magical trick makes us intelligent? The trick is that there is no trick. The power of intelligence stems from our vast diversity, not from any single, perfect principle. (Minsky, 1987)

1964 erstellte John Chowning (geb. 1934) mit Hilfe von Max Mathews von den Bell Telephone Laboratories und David Poole von der Stanford University ein Computermusikprogramm, dass das Computersystem des Stanford Artificial Intelligence Laboratory nutzte. Im selben Jahr begann er mit Forschungen zur Simulation von sich bewegenden synthetischen Klangquellen in einem illusionaren akustischen Raum. (vgl. Chowning 2010) 1967 entdeckte Chowning den Algorithmus der Frequenzmodulationssynthese (FM). (vgl. Chowning, 2021)

Es ist in der Kurze des Beitrages nicht moglich, allen Protagonisten den angemessenen Respekt zu zollen, erwahnen mochte ich kurz noch David Cope (geb. 1941), fruher Professor of Music an der University of California, Santa Cruz. Auch Copes Interesse gilt dem Verhaltnis von Kunstlicher Intelligenz und Musik. Seine EMI-Software (Experiments in Musical Intelligence, vgl. Cope, 1996) hat Werke im Stil von Bach wie auch in den Stilen von Bartok, Brahms, Chopin, Gershwin, Joplin, Mozart, Prokofjew und sogar David Cope produziert, von denen einige kommerziell aufgenommen wurden (Cockrell 2001) - von kurzen Stucken bis hin zu Opern in voller Lange.

Bemerkenswert waren zudem die Entwicklungen seinerzeit am Mills College in Oakland. Hier grundeten 1977 Jim Horton, John Bischoff und Rich Gold die League of Automatic Music Composers, gemeinsam spielten sie Konzerte mit Computern, die untereinander vernetzt waren. Fruhe Formen von KI sollten wohl vor dem Hintergrund der Moglichkeiten damaliger Soft- und Hardware betrachtet werden, es war die Zeit des Commodore, des ersten Personal Computers auf dem Markt:

Erstmals zeigte sich durch die Vernetzung mehrerer geregelter Computer die Moglichkeit, die Interaktionen zwischen den Spielern nicht auf Signale zu beschranken, sondern durch einen Datenaustausch zwischen drei Rechnern direkt in das Spiel der einzelnen Benutzer einzugreifen oder sogar aus allen gesammelten Aktionen ein musikalisches Produkt abzuleiten. (Medienkunstnetz, 2021)

1983 loste sich die League of Automatic Music Composers auf, auch das Nachfolgeprojekt The Hub, bei dem John Bischoff mit Tim Perkis, Scott Gresham-Lancaster, Chris Brown, Phil Stone und Mark Trayle kooperierte, widmete sich dem Potential des Computers als musikalischem Live- Instrument. Das klassische The Hub Stand-Alone-Maschinenstuck hieß Waxlips. (Boundary Layer, 2008) Scott Gresham-Lancaster beschreibt die Zusammenarbeit untereinander wie folgt:

We were all completely autonomous, we all had different instruments, one had an Atari, another one a Commodore Amiga, [...] or Oberheim xpander with pitch to midi converter. We had a set of rules for the transition networks, if you get a c you have to change the pitch, so you give out a b flat to someone else. Mark Trayle was a professional coder but we others were just composers, not really programmers. The systems crashed during the concerts. (Gresham-Lancaster, 2020)

Es handelte sich um eine vollig neue Art, Musik zu spielen. Die Verbindung zwischen Input und Output, die Ableitung neuer Informationen aus den eingehenden Informationen ruckte ins Zentrum. Genutzt haben sie zum Beispiel Schreibmaschinentastaturen, um Befehle einzugeben, ohne das Wissen, wann genau ein Klangerzeuger diese dann umwandelt. Wie Scott Gresham- Lancaster es ausdruckt: [everything was] happening in the timescale of the moment, happening in the NOW. (Gresham-Lancaster, 2020)

Auch George E. Lewis bekannteste Komposition Voyager konnte laut Lewis nicht einmal 5 Minuten vorausschauen, sie beruht auf dem Konzept eines unmittelbaren Dialoges mit der Umgebung. Lewis (geb. 1952), Posaunist aus dem Bereich des Avantgarde-Jazz und Edwin-H.- Case-Professor fur Musik an der Columbia University in New York, komponierte 1984 wahrend eines Aufenthalts am IRCAM in Paris ein neues Stuck mit dem Titel Rainbow Family. Wie sein beruhmter Nachfolger Voyager, war Rainbow Family als interaktives Werk fur einen oder mehrere menschliche Instrumentalisten und ein improvisierendes Orchester konzipiert. In dieser Komposition kamen die orchestralen Texturen von einem Trio von Yamaha DX-7 Synthesizern, die von Apple II Computern gesteuert wurden, auf denen Lewis' eigene Software lief. Das Herzstuck der Software war eine Gruppe von Algorithmen, die Musik in Echtzeit erzeugten und gleichzeitig klangliche Antworten auf das Spiel von vier improvisierenden Solisten generierten: Derek Bailey, Douglas Ewart, Steve Lacy und Jodle Leandre (vgl. Lewis, 2007). Der Dialog zwischen Maschine und Mensch entsteht dabei wie ein Spiel, man konnte vielleicht auch sagen, es handelt sich um kybernetisch basierte Ideen von Feedback, erst mit wenigen, spater mit 64 Kanalen des Dialogs.

Als drittes musikalisches Beispiel fruher Formen musikalischer KI mochte ich das Konzept von David Tudors Neural-Network-Synthesizer anfuhren. Es entstand aus einer Kooperation zwischen Tudor und Forrest Warthman (unter Mithilfe anderer), kennengelernt hatten sie sich durch eine Auffuhrung von Tudor mit der Merce Cunningham Dance Company 1989 in Berkeley. Technologisch bildet der Neuronennetz-Chip das Herzstuck des Synthesizers. Er besteht aus 64 nichtlinearen Verstarkern mit 10240 programmierbaren Verbindungen. Jedes Eingangssignal kann mit jedem Neuron verbunden werden, dessen Ausgang uber On-Chip- oder Off-Chip-Pfade, jeweils mit variabler Verbindungsstarke, auf jeden Eingang zuruckgefuhrt werden kann. (vgl. Warthman, 1994) Der Neural-Network-Synthesizer, mit dem Tudor live spielte, beruhte auf einem ausgeklugelten, musikalischen Feedbacksystem.

Doch handelt es sich bei all den genannten Beispielen tatsachlich um Kunstliche Intelligenz? Oder wie lasst sich KI im Bereich der Musik uberhaupt definieren? George E. Lewis argumentiert:

Defining artificial intelligence is as problematic as it is to define any other kind of intelligence. I was interested in a kind of machine subjectivity that is to say I was trying to build something that could communicate with the others human performers. [...] People would say “well, it doesn't understand me” when I do this. It doesn't get it and so you had to figure out, how to get it understands of what it was hearing, what kind of feature extraction and then what it would play in response. The idea that it kept playing the same thing as a response, that'll be very boring and so you want to have a number of potentially possible outcomes and you also want to have something, that can play differently with different people. Because, if people play differently, your feature extraction algorithm should reflect that. You can [even] leave the room, it keeps playing and it starts doing stuff. And then you come back and for an artist at some point one of the most important things you can do for me as a system like this is to have it to ignore me from time to time. [...] and if that's AI i am ok to go with that. I mean its not the Lisp and Prolog kind of AI...

(Lewis, 2020) (Lisp: siehe Anm.2 / Prolog: siehe Anm.3 / AI siehe Anm.4 der Autorin)

Scott Gresham-Lancaster argumentiert:

Communication is central. The network ATN [Adversarial Transformation Networks], that is a part of linguistics, that really influenced the early work. (Gresham-Lancaster, 2020)

Interessanter Weise hat sich das Verstandnis von KI in den letzten 40 Jahren maßgeblich gewandelt. Viele fruhe Konzepte und Ansatze wurden von den Protagonisten seiner Zeit nicht als KI verstanden, heutzutage werden sie haufig als solche betrachtet. (vgl. Brummer 2020) In Bezug auf die Vergangenheit meint Palle Dahlstedt:

Maybe it wasn't AI. But I mean we can see, that it has that role, having some kind of agency or an agent outside of you, that you interact with. (Dahlstedt, 2020)

Zum Abschluss nochmal George E. Lewis dazu:

Defining AI is defining thinking. Gilbert Ryle, in 1976 professor of philosophy at Oxford, he wrote about improvisation but he never mentioned music at all, which I think is an incredibly smart move:

Bild 4: Gilbert Ryle „The Concept of Mind“, Erstausgabe 1949: Hutchinson

The idea behind that is quite interesting: what it means to think, it means to improvise. So that means, that artificial intelligence could be a form of artificial improvisation. (Lewis, 2020)

Mit Dank an: Marcus Schmickler

Anmerkungen:

1 Die Grundlagentexte der Kybernetik sind wiederum Resultate der Fliegerabwehrforschung und automatisierten Zielsteuerung im Zweiten Weltkrieg; Themen, denen sich Wiener gemeinsam mit Claude Shannon widmete.
2 Lisp steht fur List Processing und damit fur Listen-Verarbeitung. Es handelt sich um eine Familie an Programmiersprachen.

3 Prolog ist eine Programmiersprache, die als Werkzeug fur die Implementierung von KI- Techniken eingesetzt wird. Siehe u.a. https://www.pearson.com/uk/educators/higher-education- educators/program/Bratko-Prolog-Programming-for-Artificial-Intelligence-4th-Edition/ PGM843481.html. Stand: 15.03.2021
4 AI steht fur Artificial Intelligence/Kunstliche Intelligenz.

Literatur/Medien:

Akst, Jef. (2019). Machine, Learning, 1951. In: https://www.the-scientist.com/foundations/machine--learning--1951-65792. Stand: 15.03.2021

Brummer, Ludger. (2020). Good Old Fashioned Artificial Intelligence. Panel Discussion I mit Ludger Brummer (Mod.), Scot Gresham-Lancaster, George E. Lewis, Palle Dahlstedt. Veranstaltung: inSonic 2020: Syntheses - Day 2. 12.12.2020. ZKM Karlsruhe. In: https://www.youtube.com/ watch?v=sooNxK6oQ4c. Stand: 15.03.2021

Boundary Layer. (2008). CD, Box Set. Label: Tzadik. Enthalt den Track Waxlips I. Mit John Bischoff, Chris Brown, Tim Perkis, Mark Trayle, Phil Stone, Scott Gresham-Lancaster

cdm. (2014). Meet the Strange, Wonderful 70s Machine that Used AI to Make Music. In: https:// cdm.link/2014/06/meet-strange-wonderful-70s-machine-used-ai-make-music/. Stand: 15.03.2021

Chowning, John. (2010). The Simulation of Moving Sound Sources. In: Computer Music Journal, Vol. 1, No. 3. (1977), S. 48-52

Chowning, John. (2021). About, In: https://ccrma.stanford.edu/people/john-chowning. Stand: 15.03.2021

Cope, David. (1996). Experiments in Musical Intelligence (Computer Music & Digital Audio Series). A-R Editions

Dahlsted, Palle. (2020). Good Old Fashioned Artificial Intelligence. Panel Discussion I mit Ludger Brummer (Mod.), Scot Gresham-Lancaster, George E. Lewis, Palle Dahlstedt. Veranstaltung: inSonic 2020: Syntheses - Day 2. 12.12.2020. ZKM Karlsruhe. In: https://www.youtube.com/ watch?v=sooNxK6oQ4c. Stand: 15.03.2021

Donner, Martin. (2010). Denkmaschinen denken: Konzepte zur Entwicklung von kunstlicher Intelligenz und maschinellem Lernen in der fruhen Kybernetik. In: https://www.researchgate.net/publication/ 327755558_Denkmaschinen_denken_Konzeote_zur_Entwicklung_von_kunstlicher_Intelligenz_und _maschinellem_Lernen_in_der_fruhen_Kybernetik. Stand: 15.03.2021

Gresham-Lancaster, Scott. (2020). Good Old Fashioned Artificial Intelligence. Panel Discussion I mit Ludger Brummer (Mod.), Scot Gresham-Lancaster, George E. Lewis, Palle Dahlstedt (als Vertretung fur Curtis Roads). Veranstaltung: inSonic 2020: Syntheses - Day 2. 12.12.2020. ZKM Karlsruhe. In: https://www.youtube.com/watch?v=sooNxK6oQ4c. Stand: 15.03.2021

Hayles, N. Katherine. (1999). How we became posthuman: virtual bodies in cybernetics, literature, and informatics. The University of Chicago Press. S. 6f.

Lewis, George E. (2007). Living with Creative Machines: An Improvisor Reflects. In: AfroGEEKS: Beyond the Digital Divide. Everett, Anna; Wallace, Amber J. (Hg.), 83-99. Santa Barbara, CA: Center for Black Studies Research. S. 90-91

Lewis, George E. (2020). Good Old Fashioned Artificial Intelligence. Panel Discussion I mit Ludger Brummer (Mod.), Scot Gresham-Lancaster, George E. Lewis, Palle Dahlstedt (als Vertretung fur Curtis Roads). Veranstaltung: inSonic 2020: Syntheses - Day 2. 12.12.2020. ZKM Karlsruhe. In: https://www.youtube.com/watch?v=sooNxK6oQ4c. Stand: 15.03.2021

Lindenmayer, Aristid. (1968). Lindenmayer-System/L-System. Vergleiche u.a.: Prusinkiewicz, Przemyslaw; Lindenmayer, Aristid. (1991). The Algorithmic Beauty of Plants. Springer; 2. Auflage

Markov, Andrei Andreyevich. (1906). Extension of the limit theorems of probability theory to a sum of variables connected in a chain. Nachgedruckt in: Appendix B of: Howard, R. (1971). Dynamic Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons

Medienkunstnetz. (2021). League of Automatic Music Composers. In: http:// www.medienkunstnetz.de/artist/league-of-automatic-music-composers/biography/. Stand: 15.03.2021

Minsky, Marvin. (1987). The Society of Mind. Simon & Schuster. S. 308 Von Neumann, John. (1951). Cellular Automaton. Vergleiche u.a.: https://

www.wolframscience.com/reference/notes/876b. Stand: 15.03.2021
Warthman, Forrest. (1994). The Neural Network Synthesizer: for Neural Synthesis and Neural

Network Plus. Liner Notes zu Tudors CD: Neural Synthesis Nos. 6-9. Lovely Music

Wiener, Norbert. (1948). Cybernetics: Or Control and Communication in the Animal and the Machine. Paris: Hermann & Cie & Camb. Mass.: MIT Press. 2. uberarbeitete Auflage 1961