Stocco, A., Lebiere, C., & Anderson, J. R. (2010). Conditional routing of information to the cortex: A model of the basal ganglia’s role in cognitive coordination. Psychological Review, 117(2), 540-574.
Résumé: En plus de role ds RL et action selection, model de BG comme conditional information-routing system. Si on a deja un circuit cortical qui fonctionne avec passage d'info entre aires (cf fig 5) le reseau des BG (cf fig 3) permet de regarder la série des activations cort et de faire sauter des étapes intermediaires. comme projette ds pfc, ces etapes qui sautent ne peuvent etre ici que frontal; ainsi passage de habits où les morceaux sont appris par RL à skill où c'est automatisé. Mais ici ne montre les le ppe du mecanisme. Ce ppe repose sur voie direct/indirect qui sont en opposition ici sur source et destination et aussi sur direct/indirect vers SNC p DA où on peut voir que destination (t-1)=source(t).
Intro: transfer of info in the brain primarily directed by the BG. cf (Arbib, 2003; Granger, 2006; Hawkins & Blakeslee, 2004; Houk, 2005) for models of individual neural circuits to model the brain. Ont ts le pb of info transfer.
Anatomy of the BG
classiq avec ref; mentionne aussi sortie des BG vers RF et PPTN (qui modulent compt)
Major pathways:
direct et indirect qui sont inhib et excit. aussi hyperdirect; +Y des circuits internes et backward qui peuvent controler les fonctions.
Microcircuitry of the striatum:
fait la distinction neurons striatonigral SN (vers GPi-SNr) et striatopallidal SP (vers GPe) qui expressent D1 et D2 DA receptors, donc DA excite SN et inhib SP. Aussi distinction striosome/matrisome avec striosome vers SNc.
A cause activité interneurons inhib, striatum silencieux et activés en up state que si Y cortical signal (avec inhib des interneurons ou action DA). Ds striatum, interneurons sont GABA ou Acth. Les Gaba inhibent les MSN et recoivent entrée corticale globale de differentes aires (pas les MSN ou c'est topologic). Les Acth (TAN) excitent les GABA interneurons et inhibent les MSN. Sont TAN donc tonically active at rest mais stop at the onset of behaviorally significant stimuli (input cortical contextuel large).
Cognitive functions of the BG:
fonctions BG pas que motor: liste des tâches où BG impliqués + ref
- SR assoc learning: (habits); cf aussi Packard et Knowlton p differencier system habits de system hippo mem spatiale; (difference ds un labyrinthe condition de visiter ts les bras (hippo) vs aller ds celui eclairé (BG-habits)).
- Nondeclarative learning in humans: (vs declarative in hippo) eg reading in a mirror or wearing prism google in BG, not affected with hippo lesions.
- Working memory: expe de McNab08 avec stimuli jaunes à traiter comme distracteurs ou non; si oui, activité BG plus gde, pour filtrer le stimulus ds la WM.
- Reward processing and decision making: BG impliqué ds CS learning; activité DA avec prediction error; Patients PD avec baisse DA sont plus sensibles aux erreurs qu'aux essais réussis (et inversement patients sous DA discriminent mieux les high-rewarding stimuli): Frank04. Donc aussi role BG en decision making.
Computational models of the BG
differents models sur differentes characteristics; Y autres citées mais ne parle ici que des cognitives:
- RL: voir l'analyse qui est bien faite et complète. bcp actor-critic; des versions simples mais aussi des élaborées (Houk95) avec chemins directs et indirects aussi ds critiq p envoyer erreur prediction à différents moments et pouvoir implanter TD. Mais suppose connexion bidirectionnelles entre SNc et striatum, pas plausible (Joel02) donc autres models avec current reward qui vient d'ailleurs (PPTN Brown99 ou PFC ContrerasVidal99). Mais Y aussi discuss si DA reflete TD car repond aussi à uncertainty, novelty et aussi reponse trop rapide. et aussi role DA aux autres nivo de la spirale, cad skill acquisition, WM. Vu ici.
- Serial processing: utilisation de RL p sequence learning in the BG où on apprend a associer action avec position ds sequence avec positions représentées en externe (consecutive envt cues: Suri 98 et 99) ou en interne (ds PFC) Dominey 95, Beiser 98. Et Berns98 propose ordre seriel des actions directement codé ds BG et tt retardé ds voie indirecte (et donc representation temporaire de la previous action). Ici peut faire du seriel implicitement.
- Gating functions and WM: gating mechanisms ds un cadre competitif avec model Gurney de rehaussement de contraste par voies directe/indirecte. Parmi les signaux gated, Y accès à WM ds PFC. Liste de models dont le leur qui font ça. cf pex le model FROST (Ashby05) qui fait activité soutenue ds PFC avec boucle basale. Permet aussi d'expliquer pourquoi Y aussi activité soutenue ds striatum caudal ou ds thal. aussi ici avec aussi role des couches corticales. cf aussi PBWM de Frank01. L'ouverture/fermeture de la boucle basale laisse ou pas rentrer ds le dlPFC la représentation pariétale courante.Ici inclut model precis du routage du parietal vers frontal.
- Learning and skill acquisition: Habits = appris wrt reward; skill = appris par repetition. cf SPEED model (Ashby07) p app d'assoc SR wrt reward ds BG et ensuite cette assoc est apprise en hebbien ds cortico-cortical pathways. cf aussi Frank06.
The Routing Model:
Ici propose que fonction de BG = routing operations (diriger the flow of info processing in the cortex). Dit quelle info de quelle region source du cortex est dirigée vers quelle region destination du cortex. donc general purpose computations. cf fig 3 p 10 avec striatum (avec description macro de zones cortico source et micro des zones corticales destination possibles) p recombin source/destination ds cortex; + distinction SN et SP cells (voies directe/indirecte): SN (voie directe) determine le contenu sélectionné; SP (indirecte) détermine où ca sera routé; ces voies directes et indirectes s'ajoutent (avec signe -) ds GPi p determiner la destination où la representation sélectionnée sera envoyée. en fait, les retours d'une zone thal vers cortex vont à la même destination et laissent entrer info de différentes autres zones cort.
Model implementation
mentionne aussi utilisation (réduite) de STN et hyperdirect; n'utilise pas le fb GPe vers striatum (qui apporte controle Redgrave99).
Les 4 struct Striatum GPe GPi et thal ont une organisation à deux nivo: ensemble de subdivisions qui recoivent des differentes zones cort (region source); ds chq subdivision, groupes qui refletent projections vers d'autres aires.
Striatum composé de deux systems SP et SN; SN selectionne ds la region correspondante l'info à router; SP empeche les autres regions cort de recevoir cette info; zone cort plus gde que zone striat; ici juste fait avec 10x- de neurones ds striat et inputs topol avec RF gaussien +inhib lat (donc SN = version compressée et contrastée de cortex); les neurones striat sont fortement inhibés par interneurons et dechargent peu.
les model interneurons striat combinent TAN in Gaba; recoivent input cort large; une section suivante montre comment apprendre ces interneurones p detecter des pattenrs cort précis et pertinents [c'est louche: normalement n'apprennent pas, si?]
Direct et indirect: GPi recoit en direct de SN de striat et reproduit organisation 2 nivo. ont par defaut activité soutenue. En general vue classi direct/indirect = desinhib/reinhib (accelerator/brake) de thal; ici hypo differente que porte deux composants différents de representation action: source et destination; mais peut etre aussi vu comme generalisation brake-accelerator car indirect = brake p empecher transmission info source vers les autres destinations;
STN et hyperdirect: STN très simple avec juste des subdivision p regions cort source et va ensuite exciter GPi pour maintenir tonic activity tant que pas prêt.
+discuss sur production system, ecrire cognition comme ensemble de regles, utiliser NN p l'implanter, binding problem, etc.
Model performance
tache de selection de son p donner une réponse avec 3 aires corticales impliquées: auditif, moteur et left lateral inferior PFC, donc trois modules cort ds model et ds striatum. Interconnexion totale des regions cort; routage fait tq d'abord auditif envoie vers PFC et ensuite PFC vers moteur (aussi mentionné une entrée sensori hippo vers PFC p avoir activité sensorielle maintenue). ds cette tache simple suppose aussi que l'opération de selection de la réponse est faite ds PFC ss aide de BG (!). App fait avec regle CHL.
Skill acquisition
le routage s'apprend ds ls BG a partir d'ex répétés de connexions entre régions; ensuite on peut faire l'operation de routage sans la représentation de la source ds le cortex. donc devient automatique.
regle hebbienne p app (les deux termes pre et post sont centrés sur leur baseline activity). aussi app des interneurons striataux avec au contraire baisse wrt leur baseline (qui est fort).
l'app de skill est modulé par DA de SNc qui reçoit de GPi/SNr et de GPe (correspondant à activité à t-1) (donne aussi des ref que input de striatum vers SNc pas très important). Le niveau de DA revient à moduler le learning rate de la loi hebbienne ds striatum (jusqu'à l'inverser possible). Aussi DA excite SN et inhibe SP p moduler direct et indirect pathways. Aussi DA inhibe les interneurons striataux (en fait sont un melange interneurons acth et gaba mais ici ne prend que l'effet sur acth qui est dominant). Globalement montre comment l'app striatal peut apprendre à enlever les etapes intermédiaires ds le cortex et à relier directement entrées et sorties (skill acquisition). et ensuite ce nouveau routage peut devenir autonome ds le cortex (BG ne sert qu'à établir le lien; cf habits-skills). Vue que BG train the cortex (Graybiel05; PasupathyMiller05). SNc compare source (t) avec destination(t-1) (delais possibles grace à voie indirecte) p créer un routing raccourci ds BG ensuite transmis ds cortex.
Parkinson et Huntington:
Parkinson review Jankovic08. Huntington = mort des neurons striataux Walker07. surtout les SP.
Discussion:
model qui propose que BG control the routing of info between cortical areas by binding pairs of source and destination regions.
Stress the importance of striatal interneurons in learning and regulating activity of the projection neurons. Hypo que topol matrix, GPe et GPi/SNr and thal ont une organisation qui reflete topology cortical regions and cortico-cortical projections. cf pb que comme output BG ds PFC, les raccourcis ne peuvent être faits que là (mais evite perturbations ds posterior?). Ici nivo DA depend des regions donc different vue uniforme d'un signal
cf: (circuits p archi globale brain)
Arbib, M. A. (2003). Towards a neurally-inspired computer architecture. Natural Computing, 2, 1–46.
Granger, R. (2006). Engines of the brain: The computational instruction set of human cognition. AI Magazine, 27, 15–31.
Hawkins, J., & Blakeslee, S. (2004). On intelligence. New York, NY: Times Books.
Houk, J. C. (2005). Agents of the mind. Biological Cybernetics, 92, 427–437.
BG train the cortex (Graybiel05; PasupathyMiller05).
Graybiel, A. M. (2005). The basal ganglia: Learning new tricks and loving it. Current Opinion in Neurobiology, 15, 638–644.
Parkinson review Jankovic08. Huntington = mort des neurons striataux Walker07.
Jankovic, J. (2008). Parkinson’s disease: Clinical features and diagnosis. Journal of Neurology, Neurosurgery & Psychiatry, 79, 368–376.
Walker, F. O. (2007). Huntington’s disease. Lancet, 369, 218–228.
Anderson, J.R., Fincham, J. M., Qin, Y., & Stocco, A. (2008). A Central circuit of the mind. Trends in Cognitive Science. 12(4), 136-143.
Convergence entre approche theoriq d'architecture cognitive et methodology empiric d'IRMf. Pour 4 taches:
- retrieval from declarative memory (lateral inferior PFC)
- constructing imagined representations (intraparietal sulcus)
- setting controlling goals (anterior cingulate cortex in the medial PFC)
- procedural execution (caudate nucleus in BG)
Stocco, A., Lebiere, C., O'Reilly, R. C., & Anderson, J. R. (2010). The role of the anterior prefrontal-basal ganglia circuit as a biological instruction interpreter. In A. V. Samsonovich, K. R. Jóhannsdóttir, A. Chella, & B. Goertzel (Eds.) Biologically Inspired Cognitive Architectures 2010. Frontiers in Artificial Intelligence and Applications, (pp. 153-162). Amsterdam, The Netherlands: IOS Press.
role de la partie la plus anterieure de PFC et du striatum ds interpretation des instructions et ds WM.
cf
M.J. Frank, B. Loughry, and R.C. O’Reilly, Interactions between frontal cortex and basal ganglia in working memory: A computational model. Cognitive, Affective & Behavioral Neuroscience 1, (2001) 137-160.
F.G. Ashby, S.W. Ell, V.V. Valentin, and M.B. Casale, FROST: a distributed neurocomputational model of working memory maintenance. Journal of Cognitive Neuroscience, 17 (2005), 1728-1743.
M.G. Packard and B.J. Knowlton, Learning and memory functions of the basal ganglia. Annual Review of Neuroscience 25 (2002) 563-593.