Brainwave

Brainmusic

POSER—Parametric Orchestral Sonification of EEG in Real-Time

Das Herzstück der Brainmusic ist eine eigens entwickelte Software namens POSER.

Schema zur Sonifikation von Gehirnrhythmen mit der POSER-Software. Zunächst wird das EEG-Signal über FIR-Bandpassfilter in die unterschiedlichen Frequenzbänder aufgeteilt. Die gefilterte Kurve (grün) zeigt damit die entsprechende rhythmische Aktivität eines Bandes. Jedes Extrema eines Wellenzuges erzeugt einen Anschlag eines Instrumentes des MIDI-Systems des Computers. Die Tonhöhe kann beeinflusst werden durch die Abstände zweier Extrema, die Anschlagstärke wird durch die Amplitude einer Schwingung definiert. Werden unterschiedliche Frequenzbänder von unterschiedlichen Elektroden verschiedenen Instrumenten und Stimmen zugeordnet, so erhält man eine orchestrale Sonifikation. Die Möglichkeit der Echtzeit-Klangerzeugung wurde ermöglicht durch die Entwicklung der Software „POSER als Erweiterung des TTDs (Hinterberger & Baier, 2004). POSER bedeutet „Parametrical Orchestral Sonification of EEG in Real-Time. „Parametrisch heißt hier, dass das Gehirnsignal (EEG), das als ein Gemisch unterschiedlichster Frequenzen und Rhythmen gesehen werden kann (Abbildung 1), in die einzelnen Frequenzbänder unterteilt wird und verschiedene Parameter, wie Schwingungsdauer und Amplitude zur rhythmischen und melodiösen Wiedergabe genutzt werden. „Orchestral bedeutet, dass jede Frequenz und jeder Rhythmus, der aus dem EEG-Signal extrahiert wird, einem oder mehreren Instrumenten zugeordnet werden kann und damit eine vielstimmige Sonifikation (Hörbarmachung) der Gehirnaktivität ermöglicht wird. Real- Time heißt, dass dies mit Verzögerungszeiten von nur wenigen Millisekunden möglich ist. Das Gehirn gleicht einem Orchester, wobei der Computer die Musikinstrumente darstellt und das Hirn als Dirigent die Auswahl und den Einsatz der Gehirnrhythmen und Instrumente bestimmt. Die Methode der Sonifikation von Gehirnrhythmen ist in Abbildung 9 dargestellt. Das Sonifikationsmodul POSER ist dabei fester Bestandteil des TTD. Um das EEG-Signal in seine Frequenzbereiche (siehe Abbildung 1) zu zerlegen, wird ein FIR-Bandpassfilter verwendet. Da die EEG-Signale im wesentlichen unter 30 Hz liegen, das menschliche Gehör jedoch erst Schwingungen ab etwa 20 Hz als Ton wahrnimmt, können sie nicht direkt akustisch hörbar gemacht werden. Allerdings werden diese tiefen Frequenzen als Einzelereignisse wahrgenommen und, wenn Regelmäßigkeiten vorhanden, als rhythmisch empfunden. Dazu muß jedoch jede Gehirnschwingung als ein hörbares Ereignis wiedergegeben werden. Genau das macht das POSER-System, indem jedes Schwingungsmaximum eines Bandpass-gefilterten Signals einen Anschlag eines Instrumentes des MIDI-Systems auslöst. Die Anschlagstärke wird durch die Amplitude der Schwingung bestimmt. Die Häufigkeit der Schwingungen kann die Tonhöhe modulieren, indem der zeitliche Abstand zweier Schwingungsmaxima als Tonhöhenparameter dient. Hier ergibt sich die Besonderheit, dass auch Harmonien im EEG hörbar werden, wenn die Skalierung so gewählt wird, dass ein EEG-Rhythmus von z.B. 8 Hz mit der doppelten Frequenz (also eine Oktave höher) gespielt wird, wie eine Schwingung mit 4 Hz.

Diese melodiöse Umsetzung ist allerdings nicht zwingend, die Parameter im POSER-System sind variabel, so dass unterschiedlichste Klangwelten geschaffen werden können. Für die akustische Umsetzung der Gammaaktivität, sowie der langsamen Hirnpotentiale werden andere Codierungsmethoden verwendet (Hinterberger & Baier, 2004). Daher ist die Komposition von Klängen, die für diese Performance geeignet sind, ein Ziel, das aus einer gemeinsamen Bewertung heraus stattfinden sollte und zu der ich alle Beteiligten herzlich ermuntern möchte.

Da das MIDI-System 16 unterschiedliche Instrumente ansprechen kann, können die verschiedenen EEG- Bereiche simultan als orchestrales Feedback hörbar gemacht werden.


Literatur:

T. Hinterberger and G. Baier, POSER: Parametric Orchestral Sonification of EEG in Real-Time for the Self- Regulation of Brain States, Proceedings of the International Workshop on Interactive Sonification, Bielefeld, Germany, January 2004.

Hinterberger, T., Baier, G., Mellinger, J., Birbaumer, N., Auditory Feedback of the human EEG for direct brain- computer communication, Proceedings of the International Conference on Auditory Displays (ICAD) 2004, Sydney, Australia, 2004.

zurück