Exploring the Link between Mind Wandering and Reinforcement Learning through Behavioral Analysis and Pupillometry

Abstract

Many studies have shown the negative effects of mind wandering (MW) on performance in sustained attention tasks, however, its effects on reinforcement learning (RL), a process based on reward- and loss-based learning, is an unexplored field. In the current study, we aimed to investigate the relationship between MW and RL by employing a novel RL task to observe how MW influences performance. In addition, we applied pupillometry to gain insight into how neurophysiological processes related to stimulus processing, decision-making, and outcome evaluation are related to MW. We hypothesized that MW would be associated with suboptimal choices, potentially by influencing motivation and learning. In line with our results, we found that suboptimal choices were associated with reduced performance, and the participants were more likely to experience MW when the average reward rate was low; this supported the idea that MW may have a motivational component driven by the expected reward. We also found that reaction times were faster during MW, reflecting a reduced tendency to think before making a choice. In the pupillometry analysis, we observed attenuated pupil responses during both the stimulus and reward processing phases during MW. Our results confirmed that the negative effects of MW in many cognitive domains also apply to RL tasks. Taken together, the investigation of the relationship between MW and RL, specifically considering that RL tasks inherently involve rewards of different magnitudes, provided us with a unique opportunity to assess the relationship between intrinsic task value and shifts in attention.

Mange studier har vist de negative effektene av tankevandring på kognitiv ytelse, men effekten på forsterkende læring, en prosess basert på belønnings- og tapsbasert læring, er et uutforsket felt. I den nåværende studien hadde vi som mål å undersøke forholdet mellom tankevandring og forsterkende læring nærmere ved å bruke en ny forsterkende læringsoppgave for å observere hvordan tankevandring påvirker ytelsen. I tillegg brukte vi pupillometri for å få innsikt i nevrofysiologiske prosesser knyttet til stimulusbehandling, beslutningstaking og resultatevaluering. Vi antok at tankevandring ville være assosiert med suboptimale valg, som potensielt kunne påvirke motivasjon og læring. Resultatene våre viste at deltakerne var mer sannsynlig å oppleve tankevandring når den gjennomsnittlige belønningsraten var lav; dette støttet ideen om at tankevandring kan ha en motivasjonskomponent drevet av forventet belønning. Vi fant også at reaksjonstidene var raskere under tankevandring, noe som gjenspeiler en redusert tendens til å tenke før du tar et valg. I pupillometrianalysen observerte vi svekkede elevresponser under både stimulus- og belønningsbehandlingsfasene under tankevandring. Imidlertid fant vi større elevresponser i prosesseringen av både stimuli og belønning i oppgavetilstanden. Resultatene våre bekreftet at de negative effektene av tankevandring i mange kognitive domener også gjelder for forsterkende læringsoppgaver. Samlet sett ga undersøkelsen av forholdet mellom tankevandring og forsterkende læring, spesielt med tanke på at oppgaver med forsterkende læring iboende involverer belønninger av forskjellig størrelse, oss en unik mulighet til å vurdere forholdet mellom egen oppgaveverdi og endringer i oppmerksomhet.