Brain State Sharing

This project was developed in the course “Messing with our Minds” and is an experimental approach on the topic of Brain Computer Interfaces and Realtime Neuroscience. At the beginning of the course we were confronted with the possibility of having realtime activity data of someones brain. The workflow was like this: EEG recording device -> Mathlabs -> Processing. So what could we do with this? We decided to investigate the topic of Brainmachines cause it seemed to be just the perfect match. After some Research our Question was: Is it possible to transfer someones mental state through technology?

What came out of this, was a working prototype with astonishing effects on the probands. The project was presented at the Lange Nacht der Wissenschaft @ Language of Emotions FU Berlin and various Festivals. A project together with Luis Grass and Michael Härtel.

Documentation (in German)

Dieses Projekt entstand im Kurs «Messing With Our Minds» bei Willy Sengewald. Das Kursthema war Informationsvisualisierung von Live-EEG-Daten zur Langen Nacht der Wissenschaften (LNDW) an der FU-Berlin.

Um so früh wie möglich Visualisierungsideen für die Live-Daten auszuprobieren, bekamen wir ein aufgenommenes EEG-Set mit normalisierten Werten – 19 Signale mit jeweils drei Untersignalen, die wir auf einfach Art und Weise abfragen und dann darstellen konnten. Für die Darstellung dieser Werte benutzten wir Processing.

Entwurf eines Experiments Uns interessierte neben der Darstellung der EEG-Daten auch noch, ob es möglich sei, den Probanden bei der LNDW durch äußere Signale zu manipulieren und die dann aufgenommenen Signale darzustellen. Auf diese Idee kamen wir, nachdem wir auf die Brain Machine aufmerksam geworden waren. Die Brain Machine ist eine Brille mit LEDs und Kopfhörern. Beides wird durch ein Computerprogramm so gesteuert, dass man damit angeblich meditative Zustände erreichen kann. Das soll so funktionieren, dass das Gerät optische und akustische Signale in bestimmten Frequenzen ausgibt, mit denen das Gehirn auf eben diese heruntergesteuert wird. Diese Frequenzen ändern sich im Programmverlauf regelmäßig (16, 10 und 7Hz) und sorgen für einen entspannten Zustand. Blinken die LEDs in der Brille beispielsweise im 7Hz-Takt, so kommen aus den Kopfhörern binaurale Beats in der gleichen Frequenz. Binaural bedeutet, dass Differenz zwischen rechtem und linkem Kanal der angesteuerten Frequenz entspricht. Wir entschlossen uns, eine Brain Machine zu bauen um sie auf ihre Tauglichkeit zu testen. Sollte sie funktionieren, so würde der EEG-Proband erst selbstständig meditieren und anschließend an die Brain Machine angeschlossen.

Bau und Test des Prototyps Wir bauten zunächst einen einfachen Prototypen der Brain Machine. Dazu benutzten wir Kopfhörer an deren Bügel auf der linken und rechten Seite jeweils 3 LEDs befestigt wurden. Diese wurden ebenso über Arduino angesteuert wie die Lautsprecher. Der Bau des Prototypen nahm dank Rapid Prototyping nur sehr wenig Zeit in Anspruch.

Mit diesem Prototypen führten wir erst mal Selbstversuche durch um festzustellen, ob er tatsächlich (so wie angegeben) funktioniert und, wenn ja, welche Wirkungen sich zeigen würden. Fazit war, dass das Gerät wirklich funktioniert. Bei manchen zwar besser und bei anderen weniger gut, aber grundsätzlich für unserer Experiment geeignet. Wir verbesserten ihn noch soweit, dass er durch häufiges Transportieren nicht beschädigte würde Bei einer Vorführung mit Willy kamen wir zu dem Schluß, dass wir versuchen wollten, den Probanden, der ans EEG angeschlossen werden sollte, mit unserer Mind Machine zu manipulieren. Die gemessenen Signale sollten dann an eine Gruppe Freiwilliger gebroadcastet werden, für die wir weitere Brain Machines benötigten würden.

Experiment Brain State Sharing Aus diesen Ideen wurde das Projekt mit dem plakativen Namen «Brain State Sharing». Wir wollten nun herausfinden, ob EEG-Daten an andere Personen weitergeleitet werden können und wie man so etwas realisieren kann. Vorher jedoch gab es noch einen Test an der FU, wo wir das EEG live abfragen und unsere Visualisierung testen konnten. Der Proband war Chris und da er gleichzeitig programmierte, um die Darstellungsergebnisse zu optimieren, kam es zu Biofeedback-Situationen. Dies bedeutet, dass man seine eigenen EEG-Signal sieht und dadurch seine EEG-Signale beeinflusst. Die Session dauerte sehr lange – allein schon deshalb, weil der Anschluß es EEG eine zeitraubende Angelegenheit ist. Für die Mind Machine, die «große» Brain Machine, gab es dann zwei Varianten der Umsetzung. Naheliegend wäre der Einsatz mehrerer Brain Machines gewesen. Dafür hatten wir zwar ein Szenario gesketched, doch der Bau und die parallele Ansteuerung mehrerer Brillen wäre aufwendiger gewesen als die Alternative. Es gab nämlich auch die Möglichkeit, eine große Version der Brain Machine zu bauen. Ein Processing-Programm würde dann die visuellen Signale (einfacher Wechsel zwischen rotem und schwarzem Hintergrund) auf eine Leinwand projizieren und zusätzlich das akutische Signal über den Audioausgang des Rechners ausgeben. Die Freiwilligen, an welche die EEG-Signale weitergeleitet werden sollten, würden dann vor dem Beamer sitzen – dessen Licht allerdings direkt ausgesetzt. Auf der anderen Seite der Leinwand würde das Publikum nur die Silhouetten und die von der Decke hängenden Kopfhörerkabel im flackernden Licht des Projektors sehen. Wir mussten nun noch die beste Möglichkeit herausfinden, die Augen der Probanden vor dem Beamerlicht zu schützen und trotzdem eine angemessene Durchlässigkeit für das Licht zu gewährleisten. Wir bauten das Szenario auf und probierten verschiedene Materialien aus – hauptsächlich Folien. Trotz interessanter Ergebnisse entschieden wir uns dafür, uns selber Diffusoren zu bauen in die wir auch die Kopfhörer einlassen konnten. Als Grundlage benutzten wir transparente Kugeln die aus zwei Hälften bestanden. Aus diesen Hälften wollten wir sowohl die »Brillengläser« bauen, als auch – aus einer kleineren Variante – die Kopfhörerschalen. Das Ganze sollte dann mit einem Gummiband und einer Schnalle verbunden werden, um fest zu sitzen und um auf verschieden Köpfe zu passen. Die Kopfhörer sollten zu diesem Zweck beweglich sein.

Bau der Mind Machine In die Kunststoffhüllen frästen wir Schlitze und feilten sie glatt aus. Danach wurden die Hüllen von innen angeschliffen um später den Lack besser zu halten. So sollte ausreichend Licht zum Auge vordringe, das direkte Durchscheinen jedoch verhindert werden. Da alle Kugeln relativ scharfe Kanten hatten, mussten wir noch Gummis als Schutz präparieren. Am Ende wurden die Teile vernäht und zusammengebaut.

Vorführung bei der Langen Nacht der Wissenschaften Wir hatten im Laufe des Nachmittags unsere erste Brain Machine zum Testen ausgestellt und viele Interessierte, die sie ausprobieren wollten. Manche hielten es bis zu 20 Minuten damit aus, andere sagten nach weniger als einer Minute, dass es ihnen unangenehm sei und sie aufhören wollen. Zur besseren Wirkung hatten wir das Arduino-Board in einen Kasten integiert an den die Brain Machine dann angeschlossen wurde. Der Kasten stellte sowohl die Stromversorgung über eine Steckdose sicher, sondern diente auch als Fake-Bedienteil der Brain Machine, an dem wir dann die jeweiligen Frequenzen »einstellen« konnten.

Visualisierung der Daten Bei der LNDW gab es einen meditierenden Probanden, der die Live-EEG-Daten war. Unser Experiment war futuristischen Charakters – eine dementsprechende Darstellung war gestaltet worden. Die 19 Elektroden wurden mittig auf dem Screen so positioniert, wie sie auch auf dem Kopf angebracht waren. Die Elektroden waren jeweils als Kreis- und Tortendiagramme angezeigt. Das untenliegende Kreisdiagramm zeigte an, welches der drei Frequenzbänder in der Elektrode zum Zeitpunkt gerade am aktiv war, das darüberliegende Tortendiagramm zeigte die einzelnen Anteile der Bänder am Gesamtwert der Elektrode. Dazu gab es einen Verlauf am oberen Rand in welchen die Daten zusätzlich live eingetragen wurden. Von rechts wurden die Punkte, beginnend auf der linken Außenseite, eingetragen und ergaben eine über gewisse Zeit eine Timeline. Sie zeigte die aktuell höchsten Wert und die Durchschnittswerte zu früheren Zeitpunkten. So visualisierten wir diejenigen Werte, welche wir vom Probanden bekamen und welche durch unsere Mind Machine und durch seine Meditation beeinflusst wurden. Anschließend begannen wir mit dem eigentlichen Experiment. Wir fragten im Publikum nach Freiwilligen, die das Broadcasting von Gehirnzuständen testen wollten. Drei Freiwillige konnten gleichzeitig auf der Rückseite der Leinwand Platz nehmen und sich ins Licht des Beamers setzen. Sie bekamen die Mind Machines aufgesetzt – kurz darauf starteten wir das Programm. Das Publikum sah die Silhouetten der Teilnehmer und die herunterhängenden Kopfhörerkabel im Flackern des Beamerlichts. Die ursprünglich auf der Leinwand gezeigte Live-Darstellung der EEG-Daten wurde nun an eine Wand projiziert um die Daten weiter verfolgen zu können. Da viele Freiwillige testen wollten, zog das Experiment sich lange hin. Die Reaktionen der Tester waren die gleichen wie bei der Brain Machine im Laufe des Nachmittags. Eine Probandin schlief sogar ein als der Proband, der die Daten lieferte, meditierte.

Fulldome-Version der Visualisierung Bis zum Semesterende, an dem unsere Projekte im Fulldome dargestellt werden sollten, gab es für die Visualisierung noch viel zu tun. Die Geometrie des Domes erfordert eine spezielle Darstellung und diejenige, welche wir in der FU benutzt hatten, war für eine Kuppelprojektion nicht geeignet. Wir benutzten im Dome wieder den gleichen Experimentaufbau wie bei der LNDW – dieses Mal aber mit vier Probanden statt drei. Die Daten wurden als Raster an die Fulldome-Decke projiziert. Dabei war es Ziel der Visualisierung Muster in den Gehirnstömen zu erkennen. Die EEG Daten wurden in eine 4x4 Matrix übersetzt und entsprechend der vorherschenden Wellenart - Beta,Alpha oder Theta - durch farbige Rechtecke codiert. Zum Zwecke der Übersicht und Abstrahierung wiederholten wir die Matrix platzfüllend einige Male auf der Kuppelfläche. Die so entstandene Visualisierung hatte als Nebeneffekt einen leicht berauschende Wirkung, da durch das Pulsen der Signale vom Gehirn des Probanden ein simultanes Flackern im FullDome ausgelöst wurde.