Biosignale und Benutzerschnittstellen

Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Vorlesung WS 2012/2013
Biosignale und
Benutzerschnittstellen
Elektrodermale Aktivität (EDA)
Prof. Dr. Tanja Schultz
Dipl. Math. Michael Wand
1
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Literatur für diese Vorlesung
• John L. Andreassi: Psychophysiology: Human Behavior and Physiological
Response. Psychological Press, Taylor & Francis Group, Fifth Edition, 2007.
• Foliensatz „Analyse von Hautleitwertdaten als Maß für emotionale
Reaktionen“ von Christian Kaernbach, Karl-Franzens-Universität Graz
• Handout zu EDA (elektrodermale Aktivität) von Nicolas Müller am 06.11.2007
http://www.uni-graz.at/~schulter/ANS.pdf (Biologische Psychologie)
• Rainer Schandry: Lehrbuch
Psychophysiologie,
BeltzPVU, 1998, Kapitel 5
2
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Weitere Quellen
•
•
•
•
http://arbeitsblaetter.stangl-taller.at/EMOTION/EmotionPsychophysik.shtml
http://geb.uni-giessen.de/geb/volltexte/2005/2436/
http://www.sandralicher.de/Psycho/p-woelk-fragen.html
http://www2.informatik.huberlin.de/~meffert/Seminararbeiten/Snoezelen/Ha
utwiderstand/hautwiderstand.ppt
• http://www.psychologie.unizh.ch/klipsypt/lehre/ws0405/biopsych/MBPBWS0
405Termin3.pdf
3
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Überblick
• EDA (ElektroDermale Aktivität)
• Einführung
• Anatomie und Physiologie der Haut
• Entstehung von EDA
• Messung und Analyse von EDA-Daten
• Weitere Biosignale
• Pulsfrequenz / Herzschlag
• Atmung
• Anwendungsbeispiele
4
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Definition – Elektrodermale Aktivität
• Elektrodermale Aktivität (EDA) (veraltet: galvanische Hautreaktion, engl.
electrodermal activity)
• EDA beschreibt die Veränderung der Leitfähigkeit der menschlichen Haut.
• Diese Aktivität steht oft im Zusammenhang mit physiologischer oder
psychologischer Aktivität des Menschen.
• EDA - Sammelbegriff für die elektrischen Phänomene der Haut (Johnson und
Lubin, 1966)
5
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Terminologie
• Kleine Übersicht der EDA-Terminologie:
Schandry (1998)
• Hautleitfähigkeit und Hautleitwert oft synonym verwendet
6
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Überblick
• EDA (ElektroDermale Aktivität)
• Einführung
• Anatomie und Physiologie der Haut
• Entstehung von EDA
• Messung und Analyse von EDA-Daten
• Anwendungsbeispiele
• Explicit and implicit responses to environmental sounds
• Weitere Biosignale
• Pulsfrequenz / Herzschlag
• Atmung
• Anwendungsbeispiele
7
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Die Haut
• Sowohl Trennschicht als auch Bindeglied zwischen Körper und Umwelt
• Schutz des Organismus vor physikalischen, chemischen und biologischen
Einflüssen
• Reizaufnahme
• Regelung der Wasserabgabe an die Umgebung
• Wärmeregulation
• Abgrenzung des Körpers gegen die Umwelt
• Sinnesorgan (Tasten, Schmerz, Wärme, Kälte, …)
• Organ mit der größten Oberfläche: 1,5 – 2 m²
8
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Aufbau der Haut
• Epidermis (Oberhaut):
• Stratum corneum: besteht aus abgestorbenen, verhornten Zellen
• Stratum lucidum: spielt zusammen mit Stratum corneum wesentliche Rolle
bei Wasserregulierung
• Stratum granulosum: bildet Vorstufen der Hornsubstanz
• Stratum spinosum & basale: Stoffwechselprozesse, Regeneration der
Hautzellen, Stützfunktion für Oberhaut
• Dermis (Lederhaut):
beherbergt Schweißdrüsengänge
• Subcutis (Unterhaut):
besteht aus Fettgewebe und
hautversorgenden
Blutgefäßen und Nerven
Schandry (1998)
9
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Hautleitfähigkeit
•
•
•
•
•
•
Muskeln und andere Gewebe sind relativ gute Leiter (Elektrolyte)
Haut vergleichsweise schlechter Leiter
Hautleitwert reziprok zu Hautwiderstand
Hautwiderstand feuchte Haut: einige Hundert Ohm
Hautwiderstand trockene, dicke Haut: Megaohm
Wert ist abhängig von Feuchtezustand (Schweiß, ionische Leitung), Widerstand
sinkt
• Feuchtigkeit der Haut nervös geregelt (psychogalvanische Reaktion)
• Messung der Hautleitfähigkeit durch Anlegen einer niedrigen Spannung und
Messung des Stroms, der durch den Kreis fließt
• Schweißdrüsen verhalten sich im Stromkreis wie parallel geschaltete
Widerstände  bei Aktivierung zusätzlicher Schweißdrüsen steigt Leitfähigkeit
linear an
10
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Die Haut - Hautleitfähigkeit
• Subcutis und Dermis gute und stabile Leiter, Epidermis fungiert als Barriere
• Schweißdrüsenaktivität verändert Hautleitwert:
Schweiß = NaCl-Lösung  Haut besonders leitfähig
• Die Leitfähigkeit ist dort am größten, wo die meisten Schweißdrüsen sind,
• Durchtrennung der
Innervationswege oder
medikamentöse Blockade
(Atropin) eliminiert
Hautleitwertsreaktion
11
Optische Kohärenztomografie der Fingerspitze (Leistenhaut) in vivo mit Schweißdrüsenausgängen, Q: Wikipedia
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Schweißdrüsen
• Eine Schweißdrüse (SD) ist eine Drüse in
der Lederhaut, die unterhalb der
Oberhaut (Epidermis) liegt.
• Der produzierte Schweiß wird von den
Poren in der Oberhaut ausgeschieden
• Schweißdrüsen sind exokrine Drüsen
(= eine Drüse, die ihre Sekrete mittels
eines Ausgangs in einen Körperhohlraum
abgibt – im Gegensatz zu endokrinen
Drüsen, die Sekrete ins Blut abgeben)
• Innervation der SD durch autonomes NS
12
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Schweißdrüsen
• Verteilung der Schweißdrüsen nicht homogen:
• An Hand- und Fußinnenflächen: über 2000/cm²
• An Rumpf und Extremitäten: ca. 100-200/cm²
• Verantwortlich für Schweißproduktion
• Aufsteigen der Flüssigkeit im Schweißdrüsengang unterstützt von
rhythmischen Kontraktionen der umgebenden Myoepithelzellen
• 2 Typen von Schweißdrüsen:
• Ekkrine Drüsen: dienen primär Wärmeregulation und Ausscheidung von
Stoffen
• Apokrine Drüsen: Schweißabsonderung wird hormonell angeregt
• Für EDA nur ekkrine SD relevant
13
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Zwei Typen von Schweißdrüsen: Apokrine SD
Die apokrinen Schweißdrüsen (werden auch Duftdrüsen genannt)
• geben Duftstoffe ab, die zusammen mit Talgdrüsen für den Körpergeruch
verantwortlich sind
• kommen nur in Achselhöhle, Brustwarze, Genitalgegend vor
• Durchmesser von 3 bis 5 mm
• stehen in enger Beziehung zu den Haarfollikeln
(dort münden die Ausführungsgängen)
• werden erst in der Pubertät gebildet
• Sekretproduktion wird besonders durch emotionale Reize aktiviert (z. B. Angst,
Erregung, Wut).
14
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Zwei Typen von Schweißdrüsen: Ekkrine SD
Die ekkrinen Schweißdrüsen
• sondern Schweiß ab, der von Poren in Oberhaut ausgeschieden wird
• Durchmesser von 0,4 mm, umgeben von einer dicken Basalmembran
• dienen der Wärmeregulation (physikalisches Prinzip: Verdunstungskälte)
• Schweiß sorgt auch für Haut-Geschmeidigkeit und richtigen pH-Wert
• Der Körper des Menschen besitzt 2 bis 4 Millionen ekkrine Drüsen
• Keine Beziehungen zu den Haaren
• Ungleichmäßig über Körper verteilt
• Anzahl ist je nach Körperregion unterschiedlich:
• Besonders zahlreich sind sie an Fußsohlen, Handflächen und Stirn
• Mit ca. 600/cm² an den Fußsohlen am dichtesten
• Mit ca. 100/cm² am Oberschenkel am spärlichsten
15
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Überblick
• EDA (ElektroDermale Aktivität)
• Einführung
• Anatomie und Physiologie der Haut
• Entstehung von EDA
• Messung und Analyse von EDA-Daten
• Anwendungsbeispiele
• Explicit and implicit responses to environmental sounds
• Weitere Biosignale
• Pulsfrequenz / Herzschlag
• Atmung
• Anwendungsbeispiele
16
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Entstehung von EDA
Was ändert sich in der Haut?
• Die Schweißdrüsen sind verstärkt aktiv, dadurch wird mehr Schweiß
abgesondert und der elektrische Widerstand der Haut sinkt. Wenn der
Schweiß verdunstet, steigt der Widerstand wieder. Da aber auch schon kurz
bevor der Feuchtigkeitswert der Haut ansteigt ein Anstieg der Leitfähigkeit
gemessen werden kann, kann auch die Aktivität der Schweißdrüsen an sich für
kurzzeitige Schwankungen verantwortlich gemacht werden.
Was löst die Veränderung aus?
• Die Schweißdrüsen und damit die EDA werden durch das vegetative
Nervensystem gesteuert, welches nicht willentlich beeinflussbar ist. Deshalb
gibt der EDA-Wert unverfälschte Antworten, die man nicht direkt beeinflussen
kann.
• Allerdings gibt es viele Faktoren, die EDA beeinflussen, z.B.:
• Atmung, Temperatur, Luftfeuchtigkeit, Muskelaktivität
• Die emotionalen Zustände, die meistens das eigentliche Ziel der Messung
sind.
17
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Biologische Psychophysiologie
• EDA spielt große Rolle in Psychophysiologie des autonomen Systems
• Einfach anzuwenden, billig, und seit 19. Jahrhundert bekannt
• Schweißdrüsenaktivität wird von sympathischen Nervenfasern via Acetylcholin
und vom endokrinen System via Noradrenalin-Konzentration im Blutstrom
beeinflusst.
• Deshalb gilt EDA als Maß sympathikotoner Modulation
• Die beste Hautleitfähigkeit dort, wo die meisten Schweißdrüsen vorhanden
sind (am dichtesten an Hand- und Fußinnenflächen)
• Die Durchfeuchtung der Oberhaut führt zu einer drastischen
Leitfähigkeitserhöhung
• Durchtrennung der Innervationswege der Schweißdrüsen eliminiert die
Hautleitfähigkeitsreaktion
• Hautleitwert ist als Korrelat psychophysiologischer Erregungs- bzw.
Aktivierungszustände anerkannt
18
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Nervensystem – Begriffe
Wir erinnern uns an unser Wissen zum menschliche Nervensystem:
• Nervensystem = Gesamtheit des Nervengewebes als morphologische und
funktionelle Einheit mit der Befähigung zur:
• Reizaufnahme in den Endapparaten (Rezeptoren),
• der spezifischen Erregungsbildung in den Rezeptoren,
• der Weiterleitung der Erregung,
• der Verarbeitung im Zentralnervensystem,
• der Reizbeantwortung zu den peripheren Empfängern (Effektoren)
• Einteilung des Nervensystems (NS)
• Topographisch:
 Zentralnervensystem (Gehirn und Rückenmark)
 peripheres Nervensystem (Hirnnerven, Rückenmarknerven)
 periphere Ganglien
• Funktionell:
 Animales (somatisches) NS
 Vegetatives (autonomes) NS
19
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Animales vs Vegetatives NS
• Animales (= somatisches) NS (engl. Voluntary/somatic nervous system)
• Anteil des NS, der die willkürlichen Funktionen des Organismus regelt
• Dient vor allem der Wahrnehmung und Integration von Reizen und zur
Steuerung der Motorik
• Vegetatives (= autonomes oder unwillkürliches NS) (engl. Autonomous NS)
• Gesamtheit der dem Einfluss des Willens und dem Bewusstsein primär
NICHT untergeordneten Nerven und Ganglienzellen, die der Regelung der
Vitalfunktionen (Atmung, Verdauung, Stoffwechsel, Sekretion,
Wasserhaushalt, u.a.) dienen
• Gewährleistet das Zusammenwirken der einzelnen Teile des Körpers
• Bildet mit dem System der endokrinen Drüsen und den Körperflüssigkeiten
eine funktionelle Einheit
• Enge Wechselbeziehung zwischen vegetativen und seelischen Vorgängen
• Drei Systeme
 Sympathikus
 Parasympathikus
 Intramurales System (Nervenfasern in Herz, Magen, Darm, Blase, …)
20
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Vegetatives NS
• Das vegetative NS reguliert und koordiniert die Funktionen der inneren Organe
und passt deren Aktivität an die jeweiligen Bedürfnisse des Gesamtorganismus
zweckmäßig an (Herz-, Kreislauf-, Atmungsfunktion, Verdauung, Stoffwechsel,
Ausscheidung, Wärme- und Energiehaushalt, Fortpflanzung)
• Nicht oder nur in geringem Maße willkürlich beeinflussbar
• Besteht aus zentralem und peripherem Teil
• Das periphere Nervensystem hat 3 Teile
• das Darmnervensystem
• Sympathikus (sympathisches NS): vorwiegend in Richtung
Energieentladung und abbauende Stoffwechselprozesse
• Parasympathikus (parasympathisches oder vagales NS):
Energiespeicherung, Erholung und Aufbau
21
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Vegetatives NS
• Das antagonistische Verhalten von Sympathikus und Parasympathikus ergibt
synergistische Wirkung
• Erfolgsorgane des Sympathikus sind die glatte Muskulatur der Eingeweide, der
Gefäße und der Augen, Herz und Drüsen (Schweißdrüsen, Speichel- und
Verdauungsdrüsen)
• Sympathikus innerviert alle Gefäße – Parasympathikus nicht (insbesondere
nicht die Schweißdrüsen): darin liegt der entscheidende Unterschied
22
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Überblick
• EDA (ElektroDermale Aktivität)
• Einführung
• Anatomie und Physiologie der Haut
• Entstehung von EDA
• Messung und Analyse von EDA-Daten
• Anwendungsbeispiele
• Explicit and implicit responses to environmental sounds
• Weitere Biosignale
• Pulsfrequenz / Herzschlag
• Atmung
• Anwendungsbeispiele
23
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
EDA – Was wird gemessen?
Welche Aktivitäten kann man messen?
• Phasische EDA:
Kurzzeitige Anstiege der elektrischen Leitfähigkeit der Haut
• Werden durch einen Reiz hervorgerufen
• Die erhöhte Leitfähigkeit der Haut tritt 0,5 bis 4 Sekunden nach dem Reiz
auf und verschwindet schnell wieder
• Je intensiver der Reiz ist, desto kürzer die Reaktionszeit
• Tonische EDA:
Messen der Leitfähigkeit der Haut über einen längeren Zeitraum
• Dieser „Pegel“ der Hautleitfähigkeit ändert sich mit emotionalen
Zuständen über einen längeren Zeitraum
• Z.B. ruft Angst eine erhöhte tonische EDA hervor
24
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
EDA – Wie wird gemessen?
Endosomatische Messung:
• Misst die elektrische Spannung der Haut (ohne Strom anzulegen). Dazu werden
winzige Elektroden in die Haut eingestochen und die Aktivität der Nerven in
der Haut gemessen. Diese Methode nennt sich auch Hautpotentialmessung
(skin potential) und ist heutzutage eher unüblich.
Exosomatische Messung:
• Es wird ein schwacher Strom (ca. 0.5V) an die Haut angelegt und entweder der
Strom oder die Spannung konstant gehalten (heute gebräuchliche Methode).
• Spannung konstant = Messung der Leitfähigkeit (häufigste Methode),
Damit kann man am besten zwischen 2 Testpersonen vergleichen
• Leitfähigkeit wird in Siemens (1 S = 1/Ω) gemessen.
(typisch: 2 – 20μS,
phasische Veränderung nur 0.02-1μS).
• Die Elektroden sind aus Silber oder Silberchlorid
und werden auf der Handinnenfläche der nicht
dominanten Hand angebracht.
25
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
EDA – Terminologie
Messung
(Wie)
kurz/lang
(Was)
mit/ohne Strom
(passiv/aktiv)
Bezeichnung
(Englisch)
Kürzel
Endosomatisch Tonisch
Kein Strom
(aktives Phänomen)
Hautpotentialniveau
Skin Potential Level
SPL
Endosomatisch Phasisch
Kein Strom
(aktives Phänomen)
Hautpotentialreaktion
Skin Potential Response
SPR
Exosomatisch
Tonisch
Gleiche Spannung
(passives Phänomen)
Hautleitfähigkeitsniveau
Hautleitwertsniveau
Skin Conductance Level
SCL
Exosomatisch
Phasisch
Gleiche Spannung
(passives Phänomen)
Hautleitfähigkeitsreaktion
Hautleitswertsreaktion
Skin Conductance Response
SCR
Exosomatisch
Tonisch
Gleiche Stromstärke
(passives Phänomen)
Hautwiderstandsniveau
Skin Resistance Level
SRL
Exosomatisch
Phasisch
Gleiche Stromstärke
(passives Phänomen)
Hautwiderstandsreaktion
Skin Resistance Response
SRR
26
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Von den Rohdaten zur Elektrodermalen Reaktion
Das Experiment läuft ähnlich ab wie bei anderen Biosignalen:
• Sensoren anlegen
• Reizgebung
• Aufzeichnen der Daten
Zur Analyse betrachtet man:
• den lokalen Mittelwert
• abgeleitete Maße: Latenz, Amplitude, Anstiegszeit, Halbwertszeit, Abklingzeit
• Parameter der EDR
• Häufigkeitsindex
• Amplituden- und Magnitudenindex
27
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Hautleitfähigkeit - Messung
• Einheit: 1 Siemens = 1 mho = 1 Ohm-1
• Messung üblicherweise an der Hand
• Bipolare Ableitung (unipolar schwierig, da es schwer ist, inaktive Position an
Körperoberfläche zu finden)
28
Schandry (1998)
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Messgeräte
• Handschuh mit Hautleitwertsensor und Bluetooth-Schnittstelle
29
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Messartefakte und Spontanfluktuationen
• Gemessen wird in der Regel an der Handinnenfläche, weil dort die dichteste
Verteilung von Schweißdrüsen (neben Fußinnenfläche) liegt
• Messartefakte:
• Respiratorische Einflüsse
(atembedingte, tiefe Atemzüge, Anhalten des Atems)
• Thermoregulatorische Einflüsse
(Messung am besten nur im klimatisierten Labor)
• Äußere Hautreizungen
• Bewegungsartefakte
• Spontanfluktuationen (SpF)
• Individuelle Differenzen in Anzahl und Amplitude
• Wert wird üblicherweise in Anzahl pro Minute angegeben
• Individuelle Spontanfluktuationsrate wird auch als elektrodermale Labilität
bezeichnen
• SpF nicht zu verwechseln mit Artefakten, die von Einatmen, visuellen
Reizen im Labor etc. zustande kommen können
30
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Hautleitfähigkeitsniveau (SCL) – Beispiel
• Akustischer Sinusreize zu 4 Zeitpunkten (vertikale Linien)
• Drei hypothetische Probanden
• Bei den meisten Menschen befindet sich SCL zwischen 1S und 10 S
Quelle: http://geb.uni-giessen.de/geb/volltexte/2005/2436/pdf/BurkChristian-2005-10-19.pdf
31
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Mittelwertsbildung
• Mittelwert bilden über die Daten der Ruhephase
• Problem: übliche Spontanfluktuationen können den Wert überschätzen
• Zur Vermeidung oder wenn keine Ruhephasewerte vorhanden
• Mittelung über Werte, die innerhalb der Serie von Reizdarbietung liegen,
aber außerhalb des Bereiches der reizbezogenen Reaktion
• Wähle Bereich zum Zeitpunktes des Reizes selbst oder innerhalb der ersten
0,5 Sekunden nach Stimulus-Onset
• Latenz der elektrodermalen Reaktion ist per Definition minimal 0,5sec
• Zwei Mittelwertergebnisse
1. Ruhephase (30sec)
2. Mittelung über
Werte zum Zeitpunkt
der Reizdarbietung
Von http://geb.uni-giessen.de/geb/volltexte/
2005/2436/pdf/BurkChristian-2005-10-19.pdf
32
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Elektrodermale Verlaufskurve
• Betrachte reizbezogene oder spezifische Elektrodermalen Reaktion
(EDR) (engl. event related/oriented response)
• Idealtypische Darstellung einer EDR, die wichtigsten Parameter sind:
• Latenz: der Zeitraum vom Beginn des Reizes bis Einsetzen der Reaktion
(Minimum: 0,5-1sec; Maximum 3-5sec)
• Anstiegszeit: von Reaktionsbeginn bis Maximum
(0,5 – 5sec, Durchschnitt ca. 2sec)
• Amplitudenkriterium:
es müssen 0,02S
überschritten werden,
um als EDR zu gelten
• Erholungszeit (der Hautleitwert
geht meist nicht auf Ausgangswert zurück, daher verwendet
man eher die Halbwertszeit)
33
• Wir betrachten eine einzelne EDR (elektrodermale Reaktion)
• Unten im Diagramm ist der Stimulus abgebildet
• Parameter, die von einer idealen einzelnen EDR (Typ 1 nach Boucsein)
abgeleitet werden können
• Latenz, Amplitude
• Anstiegszeit, Halbwerts-/Abklingzeit
Amplitude
EDA
Latenz
Anstiegszeit
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Die ideale Gestalt einer EDR
50%
Halbwerts
zeit
Stimulus
34
37%
Abklingzeit
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Parameter einer EDR
•
•
•
•
Häufigkeitsindex: Anzahl der erfolgten Reaktionen  0,02S; hier 15
Magnitudenindex: arithmetisches Mittel aller Reaktionsamplituden
Amplitudenindex: wie oben aber Nullreaktionen werden vernachlässigt
Bereichsnormierungen werden heftig diskutiert (min, max, z-wert, …)
35
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Analyse von EDA-Daten
• mitteln (EEG-Tradition)
• Minima/Maxima (Boucsein)
• template matching
• Wolfram Boucsein (1992), Electrodermal Activity,
New York: Plenum Press, p. 132.
• The evaluation of phasic changes mainly focuses on irregularly appearing single
events rather than on patterns that may be characterized by changes in frequency
and/or amplitude. Hence, common procedures like power spectrum or Fourier
analyses cannot be used in obtaining parameters from electrodermal recordings.
• ... most phasic changes of EDA show a rather characteristic course or Gestalt, which
enables the experimenter to separate them from artifacts with sufficient reliability.
Unfortunately, algorithms for the detection of an EDR Gestalt are not yet available
for computer analysis, and therefore it has to be obtained with the visual aid of an
experimenter.
36
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Überlappende EDRs
• Typ 2 nach Boucsein: die erste EDR ist separierbar
• Minimum zu Maximum
• Abziehen der extrapolierten EDR
• Typ 3 nach Boucsein: kein Maximum der ersten EDR
• Extrapolation nicht mehr möglich
• Wendepunkt versus Summe
37
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Überblick
• EDA (ElektroDermale Aktivität)
• Einführung
• Anatomie und Physiologie der Haut
• Entstehung von EDA
• Messung und Analyse von EDA-Daten
• Weitere Biosignale
• Pulsfrequenz / Herzschlag
• Atmung
• Anwendungsbeispiele
38
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Das Herz
•
•
•
•
Faustgroßer Hohlmuskel
Lage: links unter dem Brustbein zw. 4. und 8. Rippe
250 – 500g (abhängig von Trainingszustand)
Aufbau:
• 2 Vorhöfe (Atrium), 2 Kammern (Ventrikel)
• Pumpleistung durch Herzmuskulatur (links doppelt so dick wie rechts)
• Ringmuskulatur: Hauptteil der Kammerwand
• Herzschlag: bestimmt durch Sinus-Knoten
(an Mündung der oberen Hohlvene)
elektrische Reize zu den Vorhöfen und
Kammern, Kontraktion folgt
• Peripherer Puls: Folgen aus Kontraktion
der linken Herzkammer
Wikipedia
39
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Einflüsse auf Herzfrequenz
•
•
•
•
•
•
Psychische Belastung
Körperliche Aktivität
Änderung der Körpertemperatur (z.B. Fieber, Sauna)
Tauchen
Aufenthalt in großen Höhen
Trainingszustand bzgl. der Ausdauer
40
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Phasen der Herzkontraktion
1.
2.
Systole: Kontraktion beider Herzkammern (Austreibungsphase)
• Anspannungsphase: Drucksteigerung in Herzkammern, Segelklappen
schlagen zu
• Austreibungsphase: Druck steigt bis diastolischer Aortendruck
überschritten, Taschenklappen werden aufgesprengt
• Ende: Ventilebene der Segelklappen sinkt  Blut wird in Vorhöfe gesogen
 steiler Druckabfall zum Ausgangswert, Vorhöfe mit Blut gefüllt 
Taschenklappen schließen sich
Diastole: Füllung beider Herzkammern
• Beginn Erschlaffungsphase: keine Herzaktion
• Füllungsphase: Segelklappen öffnen sich, Blut fließt in Kammern, zusätzlich
kontrahieren beide Vorhöfe
• Unterstützung der Füllung des linken Ventrikels ohne großen Druckanstieg
• Ende: Segelklappen schließen sich, Windkesselfunktion der Arterien drückt
Blut in Taschenklappen
41
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Elektrokardiogramm (EKG)
• Aufzeichnung summierter Aktionspotenziale der Muskelzellen des Herzens
• EKG besteht aus 5 Zacken / Wellen, Bezeichnung geht zurück auf Willem
Einthoven
• P-Zacke: Erregung der Vorhöfe
• PQ-Strecke:Dauer der Erregungsleitung vom Sinusknoten zu
Purkinje-Fasern
• QRS-Komplex: Erregungsausbreitung in Kammermuskulatur
Schandry (2003)
42
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
EKG – Ableitung
• Elektroden: üblicherweise Napf- oder Silberplattenelektroden
Schandry (1998)
• Ableitorte für die Standardableitungen und die entsprechenden EKGAufzeichnungen nach Einthoven
• Einthoven II am häufigsten verwendete Methode
43
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
EKG – Ableitung
• Beispiel für tragbares EKG-System: CorBELT
• Über zwei Hartelektroden aus Edelstahlt wird kontinuierlich 1-Kanal EKG
erfasst und analysiert
• Live-Datenübertragung mittels Bluetooth möglich
• Automatische Notruffunktion im Fall von kritischen Zuständen
44
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Photoplethysmographie
• Belastungsfreies und unblutiges Verfahren zur optischen Erfassung der
Blutmengenänderung im Gewebe
• Hieraus können Herzrate (anhand der Frequenz) und Blutdruck (anhand
Amplitude) abgeleitet werden
• Prinzip:
• Unterschiedliche Durchlässigkeit von durchblutetem und undurchblutetem
Gewebe für rotes Licht
• Bei geringem Gefäßdruck ist der Gefäßdurchmesser kleiner und durch das geringere
Blutvolumen das Messgebiet heller
 mehr Licht wird reflektiert.
45
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Photoplethysmographie
• Sensor besteht aus Lichtquelle und photoelektrischem Wandler
• Lichtquelle: meist rot strahlende Leuchtdioden
• Reflektiertes Licht wird über Photowiderstand, Phototransistor oder Photozelle
in elektrisches Signal umgewandelt
• Wichtig: während Messung darf kein direktes Licht in photoempfindliches
Bauteil fallen
• Zwei Typen von Plethysmographie-Aufnahmegeräten:
A: Messung des durchtretenden Lichts
B: Reflexionslichtmessung
46
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Photoplethysmographie
Schandry (1998)
47
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Überblick
• EDA (ElektroDermale Aktivität)
• Einführung
• Anatomie und Physiologie der Haut
• Entstehung von EDA
• Messung und Analyse von EDA-Daten
• Anwendungsbeispiele
• Explicit and implicit responses to environmental sounds
• Weitere Biosignale
• Pulsfrequenz / Herzschlag
• Atmung
• Anwendungsbeispiele
48
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Atmung
• Innere Atmung / Zellatmung:
Stoffwechselprozesse der Zellen
• Äußere Atmung: Ein- und Ausatmung
durch die Atmungsorgane
• Inspiration: Einatmung von
Sauerstoff
• Exspiration: Ausatmung von
Kohlendioxid und anderen
‚Abfallstoffen‘
• Ein- und Ausatmung wird über
Zwerchfell und
Zwischenrippenmuskulatur
gesteuert
49
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Atmung
• Steuerung der Atmung:
• Brustatmung: Thoraxbewegung
• Brauchatmung: Zwerchfellbewegung
Steuerung erfolgt über die vom somatischen Nervensystem versorgte
quergestreifte Muskulatur und unterliegt damit auch der willentlichen
Kontrolle
• Zusammensetzung der Aus- und Einatmungsluft:
Gas
Einatmung
Ausatmung
Stickstoff
78%
78%
Sauerstoff
21%
17%
0,02%
4%
1%
1%
Kohlendioxid
Edelgase
50
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Atmung - Ablauf
• Luft gelangt durch Nasenhöhle in Körper
• In Nasenhöhle wird Luft angewärmt und angefeuchtet
• Beförderung über Rachen, Kehlkopf, Luftröhre und Bronchien bis zum
Lungengewebe
• Gasaustausch zwischen Luft & Blut
findet in Lungenbläschen durch
passive Diffusion statt
• Bei passiver Diffusion wird Konzentration auf beiden Seiten der
alveolokapillären Membran
angeglichen
• Beim Ausatmen wird sauerstoffarme und kohlendioxidreiche Luft
nach außen abgegeben
51
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Messung der Atmung
• Messung der Atmung mit Gurt, in dem Dehnungsmessstreifen eingelassen ist
• Gurt wird im unteren Thoraxbereich angelegt  es werden sowohl Brust- als
auch Bauchatmung erfasst
52
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Überblick
• EDA (ElektroDermale Aktivität)
• Einführung
• Anatomie und Physiologie der Haut
• Entstehung von EDA
• Messung und Analyse von EDA-Daten
• Anwendungsbeispiele
• Explicit and implicit responses to environmental sounds
• Weitere Biosignale
• Pulsfrequenz / Herzschlag
• Atmung
• Anwendungsbeispiele
53
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Multimodale biosignalbasierte Workloaderkennung in
einem Fahrzeug
Studienarbeit am Cognitive Systems Lab
von
Jan-Philip Jarvis
Betreuer:
Prof. Dr.-Ing. Tanja Schultz
Dipl.-Inform. Felix Putze
54
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Einführung (1/2)
• Was ist Workload?
• Hart & Staveland:
 Eindimensionales Ressourcenmodell
 Workload: Verhältnis zwischen benötigter und zur Verfügung
stehender Kapazität
• Wickens:
 Trennung zwischen kognitiven visuellen Ressourcen
 Gesamtworkload einer
Belastung ist abhängig
vom Grad der Interferenz
der benötigten Ressourcen
Grafik: Wikipedia, Workload
55
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Einführung 2/2
• Warum Workload bei Autofahrern erkennen?
• Autofahren alleine benötigt schon Ressourcen (hauptsächlich visuell)
• Erhöhter Workload beeinflusst Fahrverhalten
• Künstliche Fahrerdialogsysteme bald schon Realität?
 Diese sollten auf Zustand des Fahrers reagieren können!
• Wieso multimodal?
• Workload beeinflusst verschiedene Biosignale
 Robustere Erkennung durch Nutzung mehrerer Informationsquellen
• Die in dieser Vorlesung vorgestellten Biosignale (Herzschlag, Hautleitwert,
Atmung) sind verhältnismäßig einfach zu messen und könnten mittelfristig
problemlos in Serienfahrzeuge / in die Kleidung etc. integriert werden
 Einfach zu nutzende Informationsquelle
56
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Sensoren
Datenhandschuh
EEG-Stirnband
Integrierte Sensoren:
• Hautleitwert (HLW)
• Photoplethysmograph (PPG)
Atemgurt (RESP)
57
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Versuchsdesign
• Hauptaufgabe: Auto fahren!
• Lane-Change-Task (siehe nächste Folie)
• Dazu Nebenaufgaben
• kognitiver Task
• visueller Task
• Nebenaufgaben können unterschiedliche Schwierigkeitsgrade haben
• 13 Versuchspersonen
• 180 Sekunden Daten pro Versuchsperson und Aufgabe
• Messung der subjektiven Workloadbelastung mittels Fragebögen
58
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Lane-Change-Task (LCT)
• Hauptaufgabe des Fahrers: In virtueller Umgebung (Fahrsimulator) auf der
richtigen Spur fahren
• Richtige Spur wird durch Schilder markiert (hier: nur mittlere Spur erlaubt)
59
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Visuelle Nebenaufgabe
• Aufgabe: Finde Symbolgruppe, die größeren Repräsentanten hat
einfach
mittel
schwierig
Ziel: Gruppe mit dem größeren Repräsentanten bestimmen
60
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Kognitive Nebenaufgaben
• Sequenzielle Kopfrechenaufgabe
• Zufällige Zahlenreihen aus bestimmtem Wertebereich werden vorgelesen
• Überprüfung auf Teilbarkeit durch Konstante c
• Drei Schwierigkeitsgrade:
• Einfach: c=3, Wertebereich [30, 90]
• Mittel: c=6, Wertebereich [60, 180]
• Schwierig: c=7, Wertebereich [70, 210]
• Aufgabe ist so gestellt, dass umfangreiches Sprechen während der Fahrt nicht
nötig war (könnte EEG stören)
61
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Ablauf
• Sieben Aufgaben: Baseline-Messung (nur Autofahren), dann drei visuelle und
drei kognitive Nebenaufgaben
• 180 Sekunden Daten pro Versuchsperson und Aufgabe
• Merkmalsextraktion auf 60-Sekunden Zeitfenstern
• Messung der subjektiven Workloadbelastung mittels Fragebögen
• Labeling der Daten mit Index der Aufgabenschwierigkeit
62
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Merkmalsextraktion für EEG
Erste Methode: bandbasiert
• Energien in bestimmtem Frequenzbändern (Theta, Alpha, Beta, Gamma) des
Signalspektrums liefern Merkmalsvektor
• Zusätzlich: Positionen der Peaks (Maxima) in den Frequenzbändern
Zweite Methode: Welch-Spektrogramm
• Geglättetes Welch-Spektrogramm berechnen
• Über nebeneinanderliegende Frequenzen mitteln
• Signalanteile unter 5 Hz und über 45 Hz entfernen
• Vektor Logarithmieren
• → Als Merkmalsvektor verwenden
63
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Merkmalsextraktion für PPG
• Vorgehen:
• Maximum im Welch-Spektrogramm
liefert mittlere Pulsfrequenz
• Bandpassfilterung des Signals mit 0.1
Hz über und unter mittlerer
Pulsfrequenz
• Maximalwertsuche in gefiltertem
Signal
• Merkmale:
• Mittelwert der Pulsfrequenz
• Varianz der Peak-Abstände
• Verhältnis der Energien in den
Bändern 0-0.08 Hz und 0.15-0.5 Hz
64
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Merkmalsextraktion – Hautleitwert
Merkmale:
• Anzahl Startles
• SOD
• SOM
• Geschätze Fläche aller Startles
• Mittelwert des Signals
• Varianz des Signals
65
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Merkmalsextraktion - Atemgurt
Merkmale:
• Mittelwert und Varianz der Atemfrequenz
• Mittlere Einatemtiefe
• Signalenergien in den Frequenzbändern 0-0.1 Hz, 0.1-0.2 Hz, 0.2-0.3 Hz und
0.3-0.4 Hz
66
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Klassifikator
• Support-Vector-Machine (SVM)
• Implementierung libsvm für Matlab
• Kernel: Radial-Basis-Function

 
  2
K xi , x j = exp  γ  xi  x j 

• Parameterbestimmung mittels Gridsearch

  2

,...,2 
C  2 5 ,...,215
15
5
• Evaluation der Klassifikatoren mittels Kreuzvalidierung
67
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Merkmalsauswahl
• Der Merkmalsraum für das gesamte System (also für alle Modalitäten)
entsteht durch Kombination der Merkmalsräume aller Teilsysteme
• Damit ist der Merkmalsraum vermutlich zu groß und enthält schlechte
Merkmale
 Führe Dimensionsreduktion durch
• Forward-Feature-Selection (FFS):
• Iterativ Merkmale in die Zielmenge mit aufnehmen, solange die
Klassifikationsleistung zunimmt
• Messung der Klassifikationsleistung der Merkmalsmengen mittels
Kreuzvalidierung
68
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Fusion der Modalitäten
• Feature-Fusion (FF):
• Merkmalsvektor der einzelnen Modalitäten werden konkateniert
• Training eines einzigen Klassifikators auf dem resultierenden
Merkmalsvektor
• Decision-Fusion (DF):
• Für jede Modalität wird ein eigener Klassifikator trainiert
• Gewichtete Mehrheitsentscheidung unter allen Klassifikatoren
• Gewichte z.B. durch Leistung auf den Trainingsdaten
69
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Klassifikationsprobleme
Sieben Klassifikationsprobleme wurden betrachtet:
• Trennung zwischen kognitivem und visuellem Workload (2-Klassen-Problem)
• Trennung zwischen visuellen Workloadleveln
• 2-Klassen-Problem: „niedrig“ vs „hoch“
• 3-Klassen-Problem: „niedrig“ vs „mittel“ vs „hoch“
• Trennung zwischen kognitiven Workloadleveln
• 2-Klassen-Problem: „niedrig“ vs „hoch“
• 3-Klassen-Problem: „niedrig“ vs „mittel“ vs „hoch“
70
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Klassifikation Workload-Art
Ergebnisse bei der Klassifikation der Art der kognitiven Belastung:
100
100
90
82
80
72
82
90
81
80
71
70
70
60
60
50
46
50
40
40
30
30
20
20
10
10
0
0
PPG
HLW
RESP
EEG SB
FF
EEG (Elektroenzephalographie) ist die beste Modalität
71
DF
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Klassifikation visuellen Workloads
Ergebnisse der Klassifikation von visuellem Workload (links niedrig vs hoch, rechts
drei Stufen). Die Atmung lieferte hier die besten Ergebnisse.
100
95
91
90
77
80
70
60
50
40
30
20
48
E
E
G
B
B
E
E
G
S
B
79
P
P
G
82
H
L
W
R
E
S
P
81
D
F
72
F
F
66
58
33
E
E
G
B
B
10
0
Visuell zwei Klassen
E
E
G
S
B
50
H
L
W
R
E
S
P
70
65
P
P
G
Visuell drei Klassen
72
F
F
D
F
EEG BB
EEG SB
PPG
HLW
RESP
FF
DF
Ergebnisse der Klassifikation von kognitivem Workload (links niedrig vs hoch,
rechts drei Stufen). Die Atmung lieferte hier die besten Ergebnisse.
Beobachtung: viele Probanden fanden die hier gestellten Aufgaben recht schwer
100
90
76
80
73
62
EEG BB
EEG SB
FF
55
DF
HLW
47
RESP
50
PPG
50
EEG-SB
60
41
38
FF
0
Kognitiv drei Klassen
73
PPG
HLW
RESP
FF
DF
10
Kognitiv zwei Klassen
38
DF
38
RESP
20
43
HLW
EEG-BB
30
EEG-SB
33
PPG
40
70
66
70
EEG-BB
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Klassifikation kognitiven Workloads
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Klassifikation – Kognitiv (2/3)
Neues Experiment: Ergebnisse der Klassifikation Baseline vs niedriger Workload
(ALT), verglichen mit dem ursprünglichen Experiment (STD) niedriger Workload vs
hoher Workload
100
ALT
STD
87
90
76
80
72
66
70
67
70
74
73
62
60
50
97
93
55
50
43
40
30
20
10
0
EEG BB
EEG SB
PPG
HLW
74
RESP
FF
DF
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Klassifikation – Kognitiv (3/3)
ALT: Baseline vs niedriger Workload vs hoher Workload
STD: Niedriger Workload vs mittlerer Workload vs hoher Workload
100
ALT
STD
90
80
67
70
63
62
60
50
40
45
49
47
41
36
32 33
43
38
38
HLW
RESP
38
30
20
10
0
EEG BB
EEG SB
PPG
75
FF
DF
Biosignale und Benutzerschnittstellen – EDA mit Anwendungen
Weiterführende Arbeiten
• Zur Zeit: Auswertung auf 60 Sekunden Fenstern
• → Zu lange für Online-Erkenner
• Merkmale für kürzere Zeitfenster finden
• Komplexeres Workloadmodell für Online-Erkennung
76