Powered by OpenAIRE graph
Found an issue? Give us feedback
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/ ZENODOarrow_drop_down
image/svg+xml art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos Open Access logo, converted into svg, designed by PLoS. This version with transparent background. http://commons.wikimedia.org/wiki/File:Open_Access_logo_PLoS_white.svg art designer at PLoS, modified by Wikipedia users Nina, Beao, JakobVoss, and AnonMoos http://www.plos.org/
ZENODO
Research
Data sources: ZENODO
addClaim

Ep.2 - Le macaque, un transformeur et une équation

Authors: Maire, Kilian;

Ep.2 - Le macaque, un transformeur et une équation

Abstract

Second épisode de la série « Histoires Naturelles des LLM ». L'article met en parallèle deux résultats indépendants : la sélectivité mixte des neurones du cortex préfrontal de macaque (Rigotti et al., Nature 2013) et la polysémanticité des neurones de grands modèles de langage (Olah et al. 2020, Elhage et al. 2022). Les deux phénomènes décrivent une seule stratégie d'encodage, la superposition, qui permet à un substrat fini de représenter un espace combinatoirement plus grand que sa propre dimensionnalité. L'article expose le lemme de Johnson-Lindenstrauss comme fondation mathématique commune, discute le pont méthodologique posé par Klindt et al. (2023) et le résultat plus récent de Liu, Klindt et collègues (2026) sur l'échec des métriques d'alignement standard en présence de superposition. Conséquences méthodologiques pour les neurosciences computationnelles, industrielles pour les startups d'interprétabilité (Goodfire), et épistémologiques pour la compréhension des systèmes intelligents finis.

Powered by OpenAIRE graph
Found an issue? Give us feedback