Emotional ratings and skin conductance response to visual, auditory and haptic stimuli

Participants

Honderd, gezonde vrijwilligers namen deel aan het experiment (gemiddeld=26,88 jaar; SD=9,11; range: van 18 tot 71 jaar; 61 vrouwen). Op 9 na verklaarden alle deelnemers rechtshandig te zijn. Vooraf werden alleen deelnemers met een normaal (of gecorrigeerd tot normaal) gezichtsvermogen, zonder voorgeschiedenis van neurologische, psychologische of psychiatrische stoornissen, en zonder tactiele of auditieve beperkingen aan het experiment laten deelnemen. De deelnemers werden gerekruteerd aan de Universiteit van Sussex, waren naïef over het doel van het experiment, werden betaald voor hun deelname, en gaven schriftelijk hun geïnformeerde toestemming. De studie werd uitgevoerd in overeenstemming met de principes van de Verklaring van Helsinki en werd goedgekeurd door de ethische commissie van de Universiteit van Sussex (Sciences & Technology Cross-Schools Research Ethics Committee, Ref: ER/EG296/1).

Acquisitie setup en procedure

Deelnemers werden uitgenodigd om comfortabel te zitten voor een computerscherm. We plaatsten SC-registratie-elektroden (GSR-elektroden, Shimmer®) op de wijs- en ringvinger van de linkerhand van de deelnemers (zoals in ref. 35), zoals getoond in Fig. 1.

Een variabele hoeveelheid tijd (ongeveer vijf minuten) werd de deelnemers gegund om zich te ontspannen, zich voor te bereiden op het experiment en zich vertrouwd te maken met de experimentele opstelling. De experimentator liet de deelnemers eerst zien hoe ze hun rechterhand op de juiste manier op het haptische apparaat konden leggen, en vroeg hen vervolgens hun rechterhand herhaaldelijk op het apparaat te leggen, zodat ze de positie van hun hand konden onthouden en tijdens het experiment konden herhalen. Bovendien werd de deelnemers gevraagd een comfortabele positie voor de linkerhand te vinden, die ze voor de duur van het experiment niet mochten bewegen.

Aan het begin van het experiment werd de deelnemers opnieuw gevraagd zich te ontspannen voor een duur van 60 s, zodat het SC-signaal de basislijn kon bereiken. Aan het begin van het experiment werd de SC registratie gestart, en deze bleef lopen tot het einde van het experiment. De toediening van elke emotionele stimulus werd gemarkeerd als emotionele trigger in het data log om ons te helpen de betekenis van het SC signaal te interpreteren.

Emotionele stimuli werden gepresenteerd in een gerandomiseerde volgorde. In het bijzonder werd de presentatie van de stimuli volledig gerandomiseerd, in plaats van blok gerandomiseerd, om een sensorisch-modaliteit-gerelateerde schaal bias te vermijden (dat wil zeggen, deelnemers die verschillende schalen aannemen, afhankelijk van de sensorische modaliteit). Voor elke stimulus verscheen er een aftelling van drie seconden in het midden van het scherm, gevolgd door de stimulus. Wanneer een haptische of auditieve stimulus werd gepresenteerd, verscheen er tegelijkertijd een zin op het scherm (ofwel “playing audio” of “playing haptics”), die deelnemers informeerde over de sensorische modaliteit van de komende stimulus. Na elke stimulus werd de deelnemers gevraagd de stimulus te beoordelen aan de hand van de originele versie van de SAM26 (zie Self-Assessment rating, hieronder), dus de stimuli te beoordelen volgens hun arousal, valence, en dominantie26, met de rechterhand. Elke dimensie van de SAM werd gepresenteerd in een gerandomiseerde volgorde, de een na de ander. Na het beantwoorden van de laatste van de SAM-vragen, begon een nieuwe aftelprocedure, die het begin van een nieuwe proef markeerde. Aan het begin van elk aftellen plaatsten de deelnemers hun rechterhand comfortabel op een zwarte plexiglas doos met daarin een haptisch apparaat in de lucht (Ultrahaptics®), zoals ze eerder hadden geleerd tijdens de kennismaking. De doos was aan de bovenkant open, en aan de rand dicht bij de deelnemer was een zachte polssteun bevestigd, zodat de deelnemers hun rechterhand comfortabel over het diafragma konden plaatsen, met de palm volledig blootgesteld aan het haptische toestel in de lucht op een afstand van 20 cm (Fig. 1). Opmerkelijk was dat het ontwerp van de doos de deelnemers in staat stelde hun hand gemakkelijk boven het apparaat te plaatsen op een gestandaardiseerde manier. Bovendien assisteerde de experimentator de deelnemer gedurende het experiment en herhaalde de proeven in geval van verkeerde positionering van de hand.

Stimuli

Auditieve stimuli

De auditieve stimuli bestaan uit tien geluiden uit de IADS database (zie Tabel 1), en tien instrumentale extracten uit verschillende composities (zie Tabel 2). De tien geluiden uit de IADS werden geselecteerd op basis van hun SAM-scores op valentie en arousal zoals gerapporteerd in eerdere werken13. De IADS-geluiden werden zo geselecteerd dat twee geluiden een hoge arousal- en hoge valentiebeoordeling hadden, twee geluiden een lage arousal- en lage valentiebeoordeling hadden, twee geluiden een lage arousal- en hoge valentiebeoordeling hadden, twee geluiden een hoge arousal- en lage valentiebeoordeling hadden, en twee geluiden als neutraal werden gedefinieerd (lage arousal- en midden valentiebeoordeling). De tien instrumentale klanken werden voor het eerst beoordeeld in dit werk, en vormen een originele bijdrage tot de stand van de techniek. Muziekstukken werden in onze studie beschouwd als een “abstracte” vorm van stimulatie. In feite brengen instrumentale stukken geen onmiddellijke betekenis over aan de luisteraars, en de emotionele inhoud van het stuk is in plaats daarvan gerelateerd aan kenmerken binnen de compositie (bv. tonaliteit, tempo, enz.)16,17. De opname van klassieke muziekstukken in onze databank werd gemotiveerd door de recente belangstelling voor het verband tussen muziekstukken en emotionele reacties14-17. Alle auditieve stimuli werden aan de deelnemers gepresenteerd door middel van een hoofdtelefoon (Beat Studio, Monster); het volume van de auditieve stimuli overschreed de 90 dB grens niet (IADS #275, scream). De duur van alle geselecteerde IADS auditieve stimuli was 6 s, behalve één die 5 s duurde (zie Tabel 1). De duur van de abstract-klassieke auditieve stimuli kon variëren naargelang de muzikale zin (zie Tabel 1).

Visuele stimuli

De twintig visuele stimuli bestaan uit tien afbeeldingen uit de IAPS-database, en tien abstracte afbeeldingen (zie tabel 1). De tien afbeeldingen uit de IAPS werden geselecteerd op basis van hun SAM-scores op valentie en arousal zoals gerapporteerd in eerdere werken3. In het bijzonder werden twee beelden geselecteerd met een hoge arousal- en hoge valentie-score, twee met een lage arousal- en lage valentie-score, twee met een lage arousal- en hoge valentie-score, en twee met een hoge arousal- en lage valentie-score, en twee waren beelden die als neutraal werden gedefinieerd (lage arousal en gemiddelde valentie-score). De tien abstracte beelden werden willekeurig gekozen uit het werk van gerenommeerde kunstenaars, zodat hun arousal-, valentie- en dominantie-scores voor het eerst in het huidige werk werden beoordeeld. De keuze van abstracte kunst als emotionele stimulus werd ingegeven door de literatuur over emoties, kunst en esthetiek8,36. Door werken van abstracte kunst in ons experiment op te nemen, testen we emotionele visuele stimuli die, net als bij de instrumentale stukken in het akoestische domein, geen verband houden met een duidelijke betekenis. De hierbij gerapporteerde gegevens kunnen dienen om het verband tussen esthetische en emotionele reacties verder te onderzoeken. Alle visuele stimuli werden gepresenteerd in het midden van een monitorscherm (26 inch), geplaatst op ongeveer 40 cm afstand van de deelnemers, met het midden uitgelijnd op de ooghoogte van de deelnemers. De visuele stimuli werden gedurende 15 s weergegeven.

Haptische stimuli

Tien haptische stimuli werden toegediend door middel van een mid-air haptisch apparaat dat was ontwikkeld door Ultrahaptics Ltd (http://ultrahaptics.com/). Deze mid-air haptische technologie maakt het mogelijk tactiele sensaties te creëren door middel van gerichte ultrasone geluidsgolven, hetgeen resulteert in sensaties die kunnen worden omschreven als droge regen, pufjes lucht37. Het haptische apparaat bestaat uit een array van ultrasone 16×16 transducers; elke transducer kan afzonderlijk, na elkaar of tegelijk met andere transducers worden geactiveerd, waardoor unieke patronen ontstaan die variëren in locatie, intensiteit, frequentie en duur38. Deze patronen zijn geselecteerd uit een lijst van haptische patronen die eerder zijn gevalideerd door Obrist en collega’s25. Deze patronen variëren in locatie (16 verschillende locaties gespecificeerd in een 4×4 raster) op de handpalm van de gebruiker, intensiteit (drie niveaus: laag – medium – hoog), frequentie (vijf opties, bereik: 16-256 Hz), en duur (200-600 ms). Dergelijke patronen werden ontworpen voor de rechterhand van de gebruiker, en werden daarom toegediend aan de rechterhand van de deelnemer, zonder rekening te houden met de dominantie van de hand.

Self-Assessment rating

De deelnemers beoordeelden hun eigen emotionele reactie met behulp van de Self-Assessment Manikin (SAM) (zie fig. 2), een non-verbale picturale beoordelingstechniek die emotionele reactie langs drie componenten evalueert: Valentie (of de uitgelokte emotie positief of negatief is), Arousal (hoezeer de uitgelokte emotie “activerend” is), en Dominantie (of de deelnemer zich “in controle” voelt over de emotie), die vaak worden geïdentificeerd als de belangrijkste descriptoren van alle emotionele activeringen26. De SAM werd voor het eerst voorgesteld door Bradley en Lang 24, en weerspiegelt het idee dat emoties zoals wij die kennen (d.w.z. angst, vreugde, woede, kalmte, enz.) kunnen worden voorgesteld op een tweedimensionale ruimte met Valence en Arousal als belangrijkste orthogonale assen. Hoewel de bespreking van de verschillende theorieën over emoties buiten het bestek van dit artikel valt, is het de moeite waard het voordeel van de SAM-benadering te overwegen in vergelijking met een vragenlijst die een categorisch model van emoties weergeeft (d.w.z. het “Geneva Emotions Wheel”). Vergeleken met een categorische benadering van emoties27 , stelde deze benadering ons in staat de semantische implicatie en eigenaardigheden die deelnemers zouden kunnen gehad hebben bij het benoemen van de emotie die ze voelden39 , te omzeilen en ons in plaats daarvan te concentreren op de beoordeling van hun eigen emotionele toestand. De beoordelingsschalen werden op het computerscherm weergegeven. Onder elke beoordelingsschaal werd een horizontale balk gepresenteerd van dezelfde lengte als de vijf SAM-afbeeldingen, met een cursor in het midden van de balk. Deelnemers hadden de vijf verschillende testpoppen als visuele referentie voor elke emotionele dimensie (d.w.z., arousal, valentie, en dominantie). Deelnemers konden de cursorpositie over de balk regelen door middel van een muis die ze met hun rechterhand manoeuvreerden. De beoordelingsschalen variëren van 0 tot 100, in stappen van 1 punt, waarbij 0 overeenkomt met de extreem linkse testpop en 100 met de extreem rechtse testpop26. Er werd een continue visueel analoge schaal gebruikt om de nauwkeurigheid van de parametrische gegevensanalyse en de gevoeligheid voor verandering in de beoordeling te verhogen40. De deelnemers kregen geen tijdslimiet om de SAM te beantwoorden.

Skin conductance recording and features extraction

Skin conductance (SC) response werd gemeten met een Shimmer3 GSR+ Unit draadloos apparaat (Shimmer Sensing, Dublin). Twee 8mm snap style vinger TYPE (zoals: Ag-AgCl) elektroden (GSR elektroden, Shimmer Sensing) met een constante spanning (0,5 V) werden bevestigd aan de tussenkootjes van de linker wijs- en ringvinger van de deelnemers. Het SC opnameapparaat was draadloos verbonden met een PC om de gegevens te digitaliseren via de ShimmerCapture software. De versterkingsparameter werd ingesteld op 10 mSiemens (μS)/Volt, de A/D-resolutie was 12 bit, waardoor reacties van 2 tot 100 μS konden worden geregistreerd.

Elke opname werd geanalyseerd met behulp van de MATLAB Ledalab toolbox. Als eerste stap werden de gegevens gedownsampled en opgeschoond van artefacten (zie Technische validatie). Feature-extractie werd verkregen via continue deconvolutieanalyse41 (CDA). CDA verdeelt het SC-signaal in een fasische en een tonische component, waardoor het gemakkelijker wordt kenmerken te extraheren die verband houden met bepaalde gebeurtenissen (triggers). Gebeurtenis-gerelateerde kenmerken verkregen met CDA worden getoond in Tabel 2, die is aangepast van de oorspronkelijke tabel gepresenteerd op www.ledalab.de. Merk op dat, terwijl de trigger die de gebeurtenis-gerelateerde kenmerken uitlokte aan het begin van de stimulus werd ingesteld, het tijdvenster dat in aanmerking werd genomen om gebeurtenis-gerelateerde kenmerken te berekenen de gehele duur van de stimulus omvatte, plus 4 s (voor een bespreking van de duur van dit tijdvenster, zie Gebruiksnotities en Beperkingen van de databank, hieronder). Standaard dieptepunt-tot-piek (TTP) kenmerken werden ook verkregen uit het ruwe signaal, evenals globale maatregelen (gemiddelde en maximale afbuiging, zie tabel 2).

In het algemeen, kenmerken in verband met SC respons zijn gerelateerd in meerdere gelegenheden om emotionele reacties (en in het bijzonder, hoge arousal reacties)31-33. Emotionele toestanden die worden gekenmerkt door een hoge arousal correleren met de activering van een vecht-of-vlieg-reactie. Een dergelijke reactie wordt gereguleerd door het autonome systeem (en in het bijzonder door het sympathische systeem), dat op zijn beurt de sudomotorische zenuw activeert, waardoor zweet vrijkomt uit de zweetklieren in de huid van de hand. Een voorbeeld van een SC-signaal wordt getoond in Fig. 3.