La recherche est un processus itératif et dynamique qui peut avoir des conséquences profondes sur la société. Ainsi, il est essentiel de maintenir en permanence des normes élevées en matière de recherche. La méta-recherche, ou recherche sur la recherche, a pour objectif de contribuer à cet effort.Même si la méta-recherche est utile pour mettre en lumière les problèmes d’un domaine, elle devrait également informer régulièrement la communauté des biais et des lacunes existants. Pour que la méta-recherche puisse suivre le rythme de la littérature en croissance constante, elle doit être aussi dynamique et itérative que les recherches qu’elle analyse. À cette fin, dans mon premier article, je propose que le domaine adopte une approche de « méta-recherche vivante », c’est-à-dire une méta-recherche qui soit reproductible et mise à jour. L’objectif de cette thèse est de progresser vers une méta-recherche vivante en neuroimagerie, en construisant d’abord des outils permettant ce type de recherche, puis en démontrant leur utilisation pour effectuer une méta-recherche vivante novatrice.Pour que les chercheurs puissent réaliser une méta-recherche vivante, ils ont d’abord besoin d’outils et de flux de travail qui soient accessibles, évolutifs, reproductibles et fiables. Les flux de travail actuels en méta-recherche en neuroimagerie ne répondent pas à ces normes. En effet, créer un tel flux de travail relève davantage d’un problème d’ingénierie logicielle que d’un problème de recherche. Dans le cadre du deuxième article, nous avons suivi des pratiques d’ingénierie logicielle pour concevoir, implémenter et tester un écosystème d’outils accessibles, évolutifs et reproductibles/fiables. Cet écosystème est décrit dans le deuxième article de cette thèse. De plus, nous proposons plusieurs démonstrations de ces outils pour répliquer/mettre à jour des méta-recherches passées et poser de nouvelles questions.Ensuite, j’ai voulu démontrer l’utilisation de ces outils pour réaliser une étude de méta-recherche vivante. Un domaine où la méta-recherche fait défaut est celui des méta-analyses en neuroimagerie. Il s’agit d’un domaine important, car les méta-analyses représentent la forme la plus élevée de preuves et doivent être tenues à des normes élevées. Par conséquent, l’objectif du troisième article était de réaliser un aperçu quantitatif du domaine des méta-analyses en neuroimagerie, en se concentrant sur chaque étape nécessaire à leur réalisation. Le domaine s’améliore en termes de respect des normes pour les méta-analyses ; par exemple, les méta-analyses en neuroimagerie utilisent de plus en plus des diagrammes de flux pour montrer comment les articles ont été identifiés et inclus. En outre, la puissance des méta-analyses s’est accrue au fil du temps, bien qu’elle puisse encore être insuffisante. En revanche, environ la moitié des méta-analyses n’ont pas rapporté une stratégie de recherche reproductible, et nous avons trouvé des indices suggérant un biais de localisation dans les articles inclus dans les méta-analyses. Notamment, bien que la norme d’excellence soit d’utiliser des méthodes qui résument des images cérébrales complètes plutôt que des résumés d’images (c’est-à-dire des coordonnées), très peu de méta-analyses utilisent de telles méthodes. Lorsque possible, nous avons développé des stratégies pour extraire automatiquement ces informations afin que le projet puisse être « vivant », c’est-à-dire reproductible et mis à jour.En construisant des outils et en démontrant leur utilisation, j’espère progresser vers une méta-recherche vivante en neuroimagerie. L’objectif ultime est d’améliorer le domaine et les connaissances issues de la recherche en neuroimagerie, en augmentant la capacité de la communauté de recherche à réaliser des méta-recherches grâce à un nouvel écosystème pour une recherche reproductible et mise à jour

Research is an iterative and dynamic process that can have profound consequences for society. Thus, it should be a high priority to continuously hold research to a high standard. Meta-research, or research on research, has this as one of its goals.While it is useful for meta-research to point out problems in a field, meta-research should regularly update the community on the bias and gaps. For meta-research to keep up with the ever-growing literature, it needs to be as dynamic and iterative as the research it studies. To this end, in my first paper 1 propose that the field needs “living” meta-research, which is meta-research that is reproducible and updatable. The goal of this thesis is to move towards living meta-research in neuroimaging by first building tools to do such research and then demonstrating the use of those tools to do novel living meta-research.In order for researchers to perform living meta-research, they first need tools and workflows that are accessible, scalable, reproducible, and reliable. Current workflows in neuroimaging meta-research do not meet these standards. Indeed, creating such a workflow is more of a software engineering problem than a research problem. For paper 2, we followed software engineering practices to design, implement and test an ecosystem of tools that are accessible, scalable, and reproducible/reliable. This ecosystem is described in the second paper in this thesis. Further, we give several demonstrations of these tools to replicate/update past meta-research and to ask new questions.Next, I wanted to demonstrate the use of these tools to do a living meta-research study. One area where meta-research has been lacking is neuroimaging meta-analyses. This is an important area because meta-analyses are the highest form of evidence, and should be held to a high standard. Therefore, the goal of paper 3 was to do a quantitative overview of the field of neuroimaging meta-analyses, focusing on each step involved in doing a meta-analysis. The field has been improving in terms of adherence to standards for meta-analyses; for example, neuroimaging meta-analyses increasingly use flow charts to demonstrate how papers were found and included. Further, the power of meta-analyses has been increasing over time, though it might still not be sufficient. On the other hand, about half of meta-analyses did not report a reproducible search strategy, and we found evidence that there may be a location bias in which papers are included in meta-analyses. Notably, while the gold standard is to use methods that summarize across full brain images instead of summaries of images (i.e., coordinates), very few meta-analyses use such methods. Where possible, we developed strategies for extracting this information automatically so that the project may be “living”, that is, reproducible and updatable.Through building tools and demonstrating the use of those tools, I hope to move towards living meta-research in neuroimaging. The ultimate goal is to improve the field and the knowledge that comes from neuroimaging research, by improving the capacity of the research community to perform meta-research though a new ecosystem for reproducible and updatable research

Poline, Jean-Baptiste (Supervisor)