Urychlení výzkumu očních pohybů pomocí přesného a cenově dostupného sledování očí pomocí chytrého telefonu

Přesnost modelu

Natrénovali jsme vícevrstvou konvoluční neuronovou síť (ConvNet). Model bere jako vstup obrázek RGB z přední kamery smartphonu oříznutý na oblasti očí a aplikuje tři vrstvy konvoluce k extrakci rysů pohledu. Tyto rysy jsou v dalších vrstvách kombinovány s automaticky extrahovanými orientačními body očních koutků označujícími polohu očí v rámci obrazu pro konečný odhad pohledu na obrazovce. Tento základní model byl nejprve natrénován pomocí veřejně dostupné datové sady GazeCapture37 a poté doladěn pomocí kalibračních dat a personalizován fitováním dalšího regresního modelu (podrobnosti v části „Metody“) na výstupní funkce pohledu z konvní sítě, popsané níže.

Při kalibraci byli účastníci požádáni, aby fixovali zelený kruhový podnět, který se objevil na černé obrazovce. Podnět se objevil na náhodných místech obrazovky. Obrázky z přední kamery byly zaznamenávány s frekvencí 30 Hz a časové značky byly synchronizovány s umístěním markeru. V terminologii ML sloužily obrázky a umístění značek jako vstupy, resp. cíle. Během inference byly snímky z kamery postupně přiváděny do vyladěného základního modelu, jehož předposlední vrstva sloužila jako vstup do regresního modelu pro získání konečného, personalizovaného odhadu pohledu. Přesnost modelu byla vyhodnocena u všech účastníků výpočtem chyby v cm mezi polohami podnětů z kalibračních úloh (základní pravda) a odhadnutými polohami pohledu.

Pro testování vlivu personalizace na přesnost modelu jsme shromáždili data od 26 účastníků, kteří si prohlíželi podněty na telefonu připevněném na stojanu zařízení. Podobně jako v typických studiích sledování očí na stolním počítači jsme se zaměřili na téměř frontální polohu hlavy (bez náklonu/pancíře/otáčení; viz „Metody“, studie 1). Obrázek 1 ukazuje, jak se přesnost mění v závislosti na počtu kalibračních snímků. Zatímco základní model má vysokou chybu 1,92 ± 0,20 cm, personalizace pomocí ~100 kalibračních snímků vedla k téměř čtyřnásobnému snížení chyby, což vedlo k 0,46 ± 0,03 cm (t(25) = 7,32, p = 1,13 × 10-7). Všimněte si, že 100 kalibračních snímků na různých místech obrazovky odpovídá <30 s dat, což je docela rozumné pro studie sledování očí, kde se kalibrace obvykle provádí na začátku každé studie (nebo během studie, aby se zohlednily přestávky nebo velké změny v poloze). Nejlepší účastník měl chybu 0,23 cm, zatímco nejhorší účastník měl chybu 0,75 cm (th percentily byly cm). Při pozorovací vzdálenosti 25-40 cm to odpovídá přesnosti 0,6-1∘, což je lepší než 2,44-3∘ u předchozích prací37,38.

Zlepšení oproti předchozí práci je způsobeno kombinací lepší architektury modelu, kalibrace/personalizace a optimálního nastavení UX. Zejména doladění a personalizace modelu pomocí ~30 s kalibračních dat při optimálním nastavení UX (blízké čelní postavení hlavy, krátká pozorovací vzdálenost 25-40 cm) vedlo k velkému zlepšení přesnosti (1,92-0,46 cm). Změny v architektuře modelu sice vedly k mírnému zlepšení přesnosti (0,73 cm37 až 0,46 cm u našeho modelu, přičemž jemné doladění a personalizace byly použity u obou modelů), ale výrazně snížily složitost modelu 50× (8 M oproti 170 K parametrů modelu), takže je vhodný pro implementaci v zařízení. Náš model je tedy lehký a zároveň přesný.

Jak ukazuje obr. 1b, chyby byly srovnatelné v různých místech na obrazovce telefonu, s mírně větší chybou směrem ke spodním místům obrazovky, protože oči mají tendenci vypadat částečně zavřené, když se účastníci dívají dolů (viz doplňkový obr. 1). Ačkoli jsou tato čísla uváděna pro telefony Pixel 2 XL, bylo zjištěno, že personalizace pomáhá i u jiných zařízení (viz doplňkový obr. 3a). Obrázky 1a, b se zaměřily na čelní pozici hlavy tak, aby obličej pokrýval přibližně třetinu záběru fotoaparátu. Abychom otestovali vliv polohy hlavy a vzdálenosti na přesnost, analyzovali jsme soubor dat GazeCapture37 na telefonech iPhone, který nabízel větší rozmanitost polohy hlavy/vzdálenosti. Jak je vidět na doplňkových obr. 3b-e, nejlepšího výkonu bylo dosaženo při téměř čelní poloze hlavy a kratší vzdálenosti od telefonu (kde se oblast očí jevila větší) a přesnost klesala s rostoucím posunem/náklonem/otáčením nebo s tím, jak se účastníci vzdalovali od telefonu. Všechny studie v tomto článku se tedy zaměřily na optimální nastavení UX, a to na blízkou frontální polohu hlavy s krátkou pozorovací vzdáleností 25-40 cm od telefonu. Ačkoli se to může zdát omezující, je třeba poznamenat, že nejběžnější nastavení sledování očí pro předchozí výzkumy pohybu očí8,12,14,16,18,29 často vyžaduje drahý hardware a kontrolovanější nastavení, jako je opěrka brady s tlumeným vnitřním osvětlením a pevnou pozorovací vzdáleností.

Srovnání se specializovanými mobilními zařízeními pro sledování očí

Abychom pochopili rozdíl ve výkonnosti mezi naším zařízením pro sledování očí v chytrém telefonu a nejmodernějšími, drahými mobilními zařízeními pro sledování očí, porovnali jsme naši metodu s brýlemi Tobii Pro 2, což je zařízení pro sledování očí na hlavě se čtyřmi infračervenými kamerami v blízkosti oka. Vybrali jsme čelní polohu hlavy, protože v tomto nastavení fungují brýle Tobii nejlépe. Třináct uživatelů provádělo kalibrační úlohu za čtyř podmínek – s brýlemi Tobii a bez nich, s pevným stojanem zařízení a s volným držením telefonu v ruce (viz obr. 2). S pevným stojanem zařízení jsme zjistili, že přesnost sledování očí smartphonem (0,42 ± 0,03 cm) je srovnatelná s brýlemi Tobii (0,55 ± 0,06 cm, dvouvýběrový párový t-test, t(12) = -2,12, p = 0,06). Podobných výsledků bylo dosaženo i v ručním nastavení (0,59 ± 0,03 cm u brýlí Tobii vs. 0,50 ± 0,03 cm u našich brýlí; t(12) = -1,53, p = 0,15). Rozložení chyb na uživatele pro nastavení se stojánkem na zařízení i pro ruční držení naleznete na doplňkovém obr. 4.

Je třeba poznamenat, že specializované oční trackery, jako jsou brýle Tobii Pro, představují vysokou laťku. Jedná se o brýle na hlavu se čtyřmi infračervenými kamerami (dvě u každého oka) a jednou kamerou zaměřenou na svět. Vstupem jsou tedy infračervené snímky s vysokým rozlišením z blízkosti očí (do vzdálenosti 5-10 cm od oka). Naproti tomu naše metoda využívá jedinou přední RGB kameru chytrého telefonu, a to ve větší pozorovací vzdálenosti (25-40 cm od oka), proto se oblast očí jeví jako malá. Navzdory těmto problémům je slibné, že naše zařízení pro sledování očí v chytrém telefonu dosahuje srovnatelné přesnosti jako nejmodernější mobilní zařízení pro sledování očí.

Ověření na standardních okulomotorických úlohách

V rámci výzkumného ověření jsme testovali, zda lze klíčová zjištění z předchozího výzkumu očních pohybů při okulomotorických úlohách s použitím velkých displejů a drahých stolních zařízení pro sledování očí zopakovat na malých displejích chytrých telefonů pomocí naší metody. Dvaadvacet účastníků provádělo úlohy prosakády, hladkého pronásledování a vizuálního vyhledávání, jak je popsáno níže (podrobnosti v části „Metody“, studie 2). Obrázek 3a ukazuje uspořádání pro úlohu prosaccade. Latenci sakády, běžně studovanou míru, jsme vypočítali jako dobu od okamžiku, kdy se objevil podnět, do okamžiku, kdy účastník pohnul očima. Jak je vidět na obr. 3b, průměrná latence sakády byla 210 ms (medián 167 ms), což odpovídá 200-250 ms pozorovaným v předchozích studiích41.

Pro zkoumání hladkého pronásledování očních pohybů byli účastníci požádáni, aby provedli dva typy úloh – jednu, kde se objekt pohyboval plynule po kružnici, a druhou po krabici. Nedávno se ukázalo, že podobné úlohy jsou užitečné pro odhalení otřesu mozku42,43. Na obrázcích 3c-e je ukázka dráhy skenování pohledu náhodně vybraného účastníka a heatmapa na úrovni populace všech uživatelů a pokusů pro úlohu hladkého sledování kruhu. V souladu s předchozí literaturou o stolních počítačích si účastníci v této úloze vedli dobře, s nízkou chybou sledování 0,39 ± 0,02 cm. Podobných výsledků bylo dosaženo i u úlohy s hladkým pronásledováním políčka (viz doplňkový obr. 5).

Kromě jednoduchých okulomotorických úloh jsme zkoumali vizuální vyhledávání, které je klíčovou oblastí výzkumu pozornosti od 80. let minulého století12,44,45 . Jsou zde dva dobře známé jevy: (1) vliv salience cíle (rozdílnost nebo kontrast mezi cílem a okolními rozptylujícími položkami na displeji, tzv. distraktory)46,47; (2) a vliv velikosti sady (počet položek na displeji)44,45 na chování při vizuálním vyhledávání.

Pro ověření přítomnosti těchto efektů na telefonech jsme měřili vzorce pohledu, když 22 účastníků provádělo sérii úloh vizuálního vyhledávání. Systematicky jsme měnili intenzitu barvy nebo orientaci cíle vzhledem k distraktorům. Když se barva (nebo orientace) cíle jevila podobně jako u distraktorů (nízká saliency cíle), bylo k nalezení cíle zapotřebí více fixací (viz obr. 4a, c). Naopak, když se barva (nebo orientace) cíle jevila odlišně od distraktorů (vysoká saliency cíle), bylo zapotřebí méně fixací (obr. 4b, d). Zjistili jsme, že u všech uživatelů a pokusů se počet fixací k nalezení cíle výrazně snižoval s rostoucí saliencí cíle (viz obr. 4e, f pro kontrast intenzity barvy: F(3, 63) = 37,36, p < 10-5; pro kontrast orientace: F(3, 63) = 37,36, p < 10-5: F(3, 60) = 22,60, p < 10-5). Tyto výsledky potvrzují vliv salience cíle na vizuální vyhledávání, který byl dříve pozorován ve studiích na stolních počítačích12,44,46,47.

Pro testování vlivu velikosti sady na vizuální vyhledávání jsme měnili počet položek na displeji od 5, 10 až po 15. Vliv velikosti sady na vizuální vyhledávání jsme testovali v rozmezí od 5, 10 do 15 položek. Obrázek 4g ukazuje, že vliv velikosti sady závisí na salienci cíle. Při nízké salienci cíle (rozdíl v orientaci mezi cílem a distraktory, Δθ = 7∘) se počet fixací k nalezení cíle lineárně zvyšoval s velikostí sady (sklon = 0,17; jednocestná opakovaná měření ANOVA F(2, 40) = 3,52, p = 0,04). Naopak při středně vysoké salienci cíle (Δθ = 15∘) se počet fixací k nalezení cíle s velikostí sady významně nelišil (F(2, 40) = 0,85, p = 0,44). U velmi výrazných cílů (Δθ = 75∘) jsme zjistili negativní vliv velikosti sady na počet fixací (slope = -0,06; F(2, 40) = 4,39, p = 0,02). Tato zjištění jsou v souladu s předchozími pracemi na stolních počítačích47,48,49,50. Shrneme-li to, v této části jsme replikovali klíčová zjištění týkající se okulomotorických úloh, jako je prosakáda, hladké pronásledování a úlohy vizuálního vyhledávání, pomocí našeho zařízení pro sledování očí na chytrých telefonech.

Ověření na přirozených obrazech

Naši metodu jsme dále ověřili testováním, zda lze předchozí zjištění týkající se očních pohybů u bohatých podnětů, jako jsou přirozené obrazy, získaná z drahých stolních zařízení pro sledování očí s velkými displeji, replikovat na malých displejích, jako jsou chytré telefony, pomocí naší metody. Některé dobře známé jevy týkající se pohledu na přirozené obrazy jsou, že pohled je ovlivněn (a) prováděným úkolem (známé od klasických experimentů se sledováním očí, které provedl Yarbus v roce 196730); (b) saliencí objektů ve scéně19,51,52; a (c) tendencí fixovat blízko středu scény51,53. Abychom otestovali, zda naše zařízení pro sledování očí na chytrém telefonu dokáže reprodukovat tato zjištění, shromáždili jsme údaje od 32 účastníků, kteří si prohlíželi přirozené obrázky za dvou různých podmínek úkolu: (1) volné prohlížení a (2) vizuální vyhledávání cíle (viz „Metody“, studie 3).

Podle očekávání byly vzorce pohledu více rozptýlené během volného prohlížení a více zaměřené na cílový objekt a jeho pravděpodobné umístění během vizuálního vyhledávání (viz obr. 5). Například třetí řádek obr. 5 ukazuje, že během volného sledování účastníci trávili čas pohledem na osobu a na značku, na kterou ve scéně ukazuje, zatímco během vizuálního vyhledávání „auta“ se účastníci značce vyhýbali a místo toho se fixovali na osobu a auto. U všech snímků bylo zjištěno, že entropie pohledu je významně vyšší při volném sledování než při vizuálním vyhledávání (16,94 ± 0,03 vs. 16,39 ± 0,04, t(119) = 11,14, p = 10-23). Další analýza výkonu vizuálního vyhledávání ukázala, že v souladu s předchozími zjištěními54 se celková doba fixace k nalezení cíle snižovala s velikostí cíle (r = -0,56, p = 10-11; n = 120 obrázků), což potvrzuje, že větší cíle se hledají snadněji než menší. Kromě velikosti jsme zjistili, že hustota salience cíle má významný vliv na dobu hledání cíle (r = -0,30, p = 0,0011; n = 120 obrázků), tj, výraznější cíle se hledají snadněji než méně výrazné, což je v souladu s předchozí literaturou19.

Druhé jsme testovali existenci centrální tendence během volného prohlížení přirozených obrázků na chytrých telefonech. Obrázek 6a ukazuje entropii pohledu napříč všemi obrázky v této studii. Příkladem nízké entropie pohledu jsou snímky obsahující jeden nebo dva významné objekty ve scéně (např. jedna osoba nebo zvíře ve scéně), zatímco snímky s vysokou entropií obsahují více objektů zájmu (např. více osob, vnitřní místnost s nábytkem). Podobná zjištění byla zaznamenána u specializovaných stolních zařízení pro sledování očí51,52. Zprůměrování fixací u všech uživatelů a snímků z našeho zařízení pro sledování očí chytrých telefonů odhalilo středové zkreslení (viz obr. 6b), které je v souladu s předchozí literaturou o stolních počítačích51,53.

Nakonec, protože saliency byla rozsáhle studována pomocí stolních sledovačů očí19,51,52, přímo jsme porovnali vzorce pohledů získané z našeho sledovače očí chytrých telefonů se vzorci získanými ze specializovaných stolních sledovačů očí, jako je Eyelink 1000 (s použitím souboru dat OSIE52). Všimněte si, že toto srovnání klade vysokou laťku. Nejenže stolní nastavení s EyeLink 1000 zahrnovalo specializovaný hardware s infračerveným zdrojem světla a infračervenými kamerami v blízkosti oka s vysokým časoprostorovým rozlišením (až 2000 Hz), ale také používalo vysoce kontrolované nastavení s opěrkou brady (a tlumené světelné podmínky) a zobrazovalo obraz na velké obrazovce (22″, pozorovací úhel 33 × 25∘). Naproti tomu naše studijní nastavení používalo stávající selfie kameru chytrého telefonu (RGB) v přirozenějších podmínkách (přirozené vnitřní osvětlení, žádná opěrka brady, pouze stojánek pro telefon) s obrázky zobrazenými na malé obrazovce mobilu (6″, medián pozorovacího úhlu 12 × 9∘). Obě nastavení se tedy liší v řadě ohledů (velká obrazovka stolního počítače vs. malá obrazovka mobilu, kontrolované nastavení, náklady na sledování očí, frekvence vzorkování).

I přes tyto rozdíly jsme zjistili, že heatmapy pohledu z obou nastavení jsou kvalitativně podobné. Obrázek 7 ukazuje nejpodobnější a nejodlišnější heatmapy z desktopu vs. mobilu (podobnost měřená pomocí Pearsonovy korelace). Naše zařízení pro sledování očí na chytrých telefonech bylo schopno detekovat podobné hotspoty pohledu jako drahé protějšky na stolních počítačích, přičemž klíčovým rozdílem je, že heatmapy pohledu na mobilních zařízeních se zdají být více rozmazané (další analýza viz Doplňková diskuse). Rozmazání je způsobeno kombinací malé velikosti displeje na obrazovce mobilního telefonu a nižší přesností/šumem sledovače očí smartphonu (žádná opěrka brady, žádné infračervené kamery v blízkosti oka). Kromě rozmazání jsou heatmapy pohledu ze stolního počítače a mobilu vysoce korelované jak na úrovni pixelů (r = 0,74), tak na úrovni objektů (r = 0,90, viz tabulka 1). To naznačuje, že naše zařízení pro sledování očí v chytrých telefonech by mohlo být použito ke škálování analýz saliency na mobilním obsahu, a to jak pro statické obrázky, tak pro dynamický obsah (když účastníci rotují a interagují s obsahem nebo sledují videa).

Testování na úkolu porozumění čtenému textu

Kromě ověření výzkumu na okulomotorických úkolech a přirozených obrázcích jsme testovali, zda naše zařízení pro sledování očí chytrého telefonu může pomoci odhalit potíže s porozuměním čtenému textu, když účastníci přirozeně skrolovali a četli pasáže na telefonu. Sedmnáct účastníků četlo na telefonu pasáže podobné testu SAT (s interakcemi při rolování) a odpovídalo na dvě otázky s výběrem odpovědi (viz „Metody“, studie 4). Jedna z otázek byla faktická a bylo možné na ni odpovědět nalezením příslušného úryvku v pasáži. Druhá otázka vyžadovala podrobnější interpretaci úryvku – nazýváme ji „interpretační“ úloha. Podle očekávání jsme zjistili, že vzorce pohledu se u faktických a interpretačních úloh liší. Vzorce pohledů byly u faktických úloh více zaměřeny na konkrétní části úryvku a u interpretačních úloh byly více rozptýleny po celém úryvku (viz obr. 8). U všech uživatelů a úloh bylo zjištěno, že entropie pohledu je vyšší u interpretačních úloh než u úloh faktických (8,14 ± 0,16 vs. 7,71 ± 0,15; t(114) = 1,97, p = 0,05).

U faktických úloh jsme zkoumali, zda existují rozdíly ve vzorcích pohledu, když účastníci odpověděli na otázku správně a když ne. Předpokládali jsme, že u účastníků, kteří odpověděli správně, by měl být pohled zaměřen na příslušný úryvek v úryvku a u nesprávných odpovědí by měl být pohled více rozptýlený nebo zaměřený na jiné části úryvku. Obrázek 9a ukazuje, že účastníci strávili významně více času fixací v relevantních oblastech úryvku než v nerelevantních, pokud odpověděli správně (62,29 ± 3,63 % času na relevantní vs. 37,7 ± 3,63 % na nerelevantní; t(52) = 3,38, p = 0,001). Tento trend byl obrácený u špatných odpovědí, i když nebyl významný (41,97 ± 6,99 % u relevantních vs. 58,03 ± 6,99 % u irelevantních; t(12) = -1,15, p = 0,27).

Dále jsme zkoumali vliv obtížnosti úlohy na pohled a čas do odpovědi. Obtížnost úlohy jsme kvantifikovali jako % nesprávných odpovědí na úlohu (další míry obtížnosti úlohy, které zohledňují čas a přesnost, viz doplňkové obrázky 6-7). Obrázky 9b-f ukazují příklady heatmap pohledu pro snadné a obtížné úlohy a odpovídající grafy rozptylu různých metrik v závislosti na obtížnosti úlohy. Podle očekávání se čas potřebný k odpovědi prodlužoval s obtížností úlohy, i když ne významně (Spearmanova korelace r = 0,176, p = 0,63). Počet fixací očí na úryvek se zvyšoval s obtížností úlohy (r = 0,67, p = 0,04). Bližší pohled ukázal, že nejlepším prediktorem byl podíl času pohledu stráveného na příslušném úryvku (normalizovaný podle výšky), který silně negativně koreloval s obtížností úlohy (r = -0,72, p = 0,02). Jinými slovy, s rostoucí obtížností úlohy strávili účastníci více času pohledem na irelevantní úryvky v úryvku, než našli relevantní úryvek, který obsahoval odpověď. Tyto výsledky ukazují, že pohled na základě chytrého telefonu může pomoci odhalit obtížnost čtení s porozuměním.

.