Thomas E. Hazy, Michael J. Frank and Randall C. O’Reilly, Towards an executive without a homunculus: computational models of the prefrontal cortex/basal ganglia system, Philosophical Transaction of the Royal Society, 2007.
Abstract: PFC svt vu comme executif qui controle selection of action et fonctions cognitives; mais mécanismes pas clairs et souvent traduit en homoncule. Ici revue de models de mécanismes qui déconstruisent cet homoncule, avec PFC et BG qui envoie une modulation Go/NoGo des représentations frontales de l'action. Et leur model où BG module représentations de WM ds PFC to support more abstract executive functions.
Intro: PFC vu comme central executive p controler cmpt; mais pas clair comment selection; app; difference pfc/posterior: on doit répondre à ces questions sinon homonculus. +vue d'une evolutionary extension of the same PFC/BG mechanisms for motor control and for cognition. Ds domaine motor, BG module frontal motor representations, providing Go/NoGo signals that reflect the prior reward history of actions. De même Bg peut fournir Go/NoGo modulation controlling the maintenance of more abstract WM represenrtations which guide cognition (plans, goals).
The PBWM Model of Working Memory (PFC-BG-WM):
Y 6 functional demands in WM tasks = basic set of constraints for a biologically based model.
Tasks AX-CPT of WM: sequential letter stimuli and response when A followed by a X: the prior stimulus must be maintained. +Y 1-2extension:if see a 1, the target is A-X; if see a 2, target is B-Y: define an outer loop and inner loops (rule = A-X until see a 2).
In the 1-2-AX task, 6 functional demands for WM:
- rapid updating: encodage rapide en WM qd stimulus apparait
- robust maintenance: maintenance of the outer loop while processing the inner or inside the inner wrt distractors
- multiple, separate WM representations: outer et inner representations distinctes.
- selective updating: eg mettre à jour inner en maintenant outer
- independent output-gating for top-down biaising of processing: ces representations en WM doivent avoir effet sur processing elsewhere
- learning what and when to gate: et parfois l'effet n'est oas immediat cf outer boucle.
Les demands 1 et 2 sont en conflit direct: need for a dynamic gating mechanism to switch between these two modes of operation: when gate open, WM can be updated by incoming info; when closed, representations maintained wrt interference. In the PBWM model, BG provide dynamic gating mechanism for info maintained via sustained activation in PFC (equivalent à BG gate action selection in the motor part of frontal). Ces Go/NoGo de gating obtenus par boucles directes/indirectes des BG (et plusieurs boucles indirectes, cf Frank 2006 p interet deuxieme boucle inhib via STN??? alors qu'avant plutot vue comme hyperdirect p faire menage avant???).
Comment le model PBWM repond aux 6 demands:
- rapid updating when direct pathway spiny neurons striatum fires (Go units); inhibe SNr et son inhib tonic du thalam; cette disinhibition permet (gates) loop of excitation in the corresponding PFC stripe (bouge l'état du bistable). Y aussi compet avec boucle indirecte qui promote greater inhib de cette boucle.
- robust maintenance via recurrent excitatory connectivity and bistability in the PFC (avec bistability manipulée entre maintenance state et non maintenance state par le Go signal du BG) (??? discussion en ce model et Prescott06 sur l'attribution de ctte maintenance entre PCF, ici, et BG, Prescott???)
- multiple separate working representations in the striped anatomy of the PFC. (estimation à 20 000 stripes in the human PFC; similaires aux hypercolonnes).
- selective updating ds boucles parallel et indpdtes (+/-cognitive) entre BG et PFC: mieux qu'un mecanisme de gating global avec DA (???une compet hierarchiq locale plutot que globale)
- independent output gating: a partir des representations maintenues ds PFC (et qd elles sont gated par BG, qu'elles soient cognitives ou motrices), on va declencher des choses ds posterior, ds hippo et ds PFC/BG itself; Permis par la struct laminaire de PFC (cf Brown, couche Vb). ??? cet effet ds partie cognitive de PFC est répercuté ds les parties de plus en plus motrices de PFC et aussi en même temps ds parties posterior et hippo?
- learning what and when to gate: with DA-based RL, providing temporally appropriate learning signals to train gating update activity in the striatal Go and NoGo synapses: each striatal spiny neuron develops its own pattern of connection enabling separate Go and NoGo decisions in each stripe. Learning in parallel for maintenance and for output. (declencher/changer la regle). et ces mécanismes de output gating/maintenance gating apply equally well to the action selection and WM domains.
Ds leur model, BG learn to update task relevant vs irrelevant WM: increase in DA enhances Go firing in direct loop (Go firing via D1 receptors) and decrease in dopamine during reinforcement enhance NoGo firing (D2 receptors) (???les deux augmentent tjs??? pas de normalisation ou moyen d'utiliser ce deg de liberté supplémentaire p apprendre autre chose???).
Similar logic to train maintenance gating: (avant c'était to train output gating: à quel stimuli répondre; ici c'est comment les ordonner/maintenir???). ici c'est le pb du temporal credit assignment et de quel prior stimulus l'annonce. (ici c'est app ds PFc et avant c'était app ds BG (cortex/striatum selon DA). Ceci est expliqué ds figure 6 avec app genre pavlov, predicteur qui remonte ds le temps et PFC qui donne, avec activité soutenue, le substrat pour permettre de relier ces deux moments (??? mais mécanismes vérifié ou pas? cf Vitay???).
Ici utilise un mécanisme un peu différent de TD learning avec algo PVLV (primary value and learned value)avec deux mécanismes basés sur RW et aussi proche Brown99.
Simulating Multiple WM:
liste de taches (genre stroop, winsconsin) p evaluer ces models, cf autre pdf supplementary.
qd Y des erreurs, ça peut être ponctuel et il faut insister sur le mécanisme de maintien pour continuer à maintenir et attendre ou il faut changer de stratégie: c'est exploration/exploitation trade-off: continuer d'exploiter ou explorer; Aston-Jones05 propose que c'est le role d'anterior cingulate cortex (ACC) et locus coeruleus (LC): qd erreurs ds contexte de bonne perf, on insiste, résultat de noradrenaline en mode phasic libérée par LC ss controle descendant de ACC, mais qd Y bcp errors ou sont très inattendues, switch a fast-tonic mode qui overwhelms phasic signals et supports exploration of alternative stratégies. cf Frank07.
FUTURE:
- liens avec human development (difference app très rapide chz human et très lent chez monkey; pourrait être dû aux expériences passées aussi)
- organisation fonctionnelle du PFC (et implications cognitives augmentation nb stripes vs nb aires); cf aussi idée (de bio?) que seules les aires frontales centrales sont liées au posterior et les plus frontales sont seulement liées au central? cf Frank et Claus06???
- comprendre notre capacité de generativity/compositionality
- liens avec planif et répartition BG/PFC
- exploration of the performance monitoring function
cf Frank 06 p STN
cf Brown 04 p autre model grosberg et brown99 p app.