Dans la série, réformons pour atteindre l’excellence, l’AERES représente la pière angulaire du nouveau dispositif. Au prétexte que les instances actuelles d’évaluation seraient partiales (comprendre corporatistes) puisque composées (en partie) de membres élus, le gouvernement a décidé de les remplacer par une agence impartiale, puisque composée de membres nommés, qui sera en charge de l’évaluation de tous les organismes de recherche de notre pays.
Comme toujours, je réduirai ma présentation au cas que je connais le mieux, à savoir l’évaluation des unités CNRS et des personnels qui y sont affectés.
Auparavant, les chercheurs et les unités de recherches étaient évalués par des instances issues de leurs organismes de tutelle.
Tous les 4 ans, les chercheurs et enseignants chercheurs affectés dans une unité CNRS (UMR ou UPR) élisent une partie des membres de la section scientifique à laquelle ils sont rattachés (il y a en tout 40 sections réparties sur 6 départements scientifiques). Sur 21 membres de la section scientifique, 7 sont nommés par le Ministre chargé de la Recherche, et 14 sont élus selon le découpage suivant :
3 au titre du collège A1 (directeurs de recherche du CNRS)
3 au titre du collège A2 (professeurs des Universités)
3 au titre du collège B1 (chargés de recherche du CNRS)
3 au titre du collège B2 (maîtres de conférences des Universités)
2 au titre du collège C (ITA du CNRS)
Si le corporatisme protectionniste du CNRS devait s’exprimer, il représenterait 8 voies parmi les membres élus et nécessiterait d’obtenir 3 voies supplémentaires parmi les nommés pour être majoritaire. Pour être tout à fait honnête, ce n’est pas impossible arithmétiquement parlant. C’est juste improbable, car malheureusement, lorsque le corporatisme s’exprime, il créé également des divisions. Ainsi, les intérêts des élus B ou C ne sont pas forcément en accord avec ceux des élus A, et réciproquement… De plus, afin d’éviter le protectionnisme, la règle suivante (disponible sur le site du CNRS) était appliquée :
Abordons maintenant le présent, c’est à dire la nouvelle procédure d’évaluation mise en œuvre par l’AERES, dans un souci je le rappelle d’améliorer les procédures d’évaluation en les rendant indépendantes.
L’indépendance me laisse rêveuse quand on sait que tous les membres de l’AERES sont nommés par le ministère, mais gardons nous des procès d’intention et faisons crédit de cette indépendance à la nouvelle structure.
Quelles sont les nouvelles procédures d’évaluation mises en place ? Il est bien difficile de répondre à cette question, puisque les procédures en question sont à géométrie variable. En effet, comme je l’ai déjà dit ici , les universités et EPST fonctionnent par contrats quadriennaux. Toutes ces composantes sont donc évaluées par « vagues » (A, B, C, D). En 2007, début de l’activité de l’AERES, les établissements de la vague B étaient concernés.
Compte tenu des délais de mise en place, lors de l’année 2007 l’AERES n’a évalué que les universités et les écoles doctorales associées, laissant le soin aux EPST d’évaluer leurs propres composantes.
En 2008, année de la vague C, l’AERES évalue en plus les unités CNRS (UPR et UMR) et très probablement les unités INSERM, INRA, INRIA, etc…
Pour cette évaluation, les règles décrites (disponibles sur le site de l’AERES) sont purement administratives : composition des comités d’évaluation, personnes à contacter, etc. A titre d’exemple, la composition des comités est la suivante :
On notera que quand la taille de l’institut augmente, la représentation des instances dans le comité (CNRS, Université, etc) diminue, ce qui me surprend un peu.
Un de mes collègues qui vient de passer l’évaluation m’en a dit un peu plus. La durée de la visite et le mode de fonctionnement du comité ont été identiques à ce que le CNRS pratiquait. La différence majeure est venue des experts nommés. Il semble que certains d’entre eux étaient peu à pas compétents dans les domaines d’activité de l’institut concerné, et surtout que nombre d’experts étaient assez agressifs (ma source de renseignement est très productive scientifiquement et a un très bon niveau de publications, ce qui laisse perplexe..). Dont acte, on ne va pas se marrer…
Depuis leur évaluation il n’y a eu aucun retour, la cérémonie du débriefing de fin d’évaluation ayant été supprimée. En fait, ils vont devoir attendre longtemps, car la nouveauté est que tous les centres évalués cette année doivent être interclassés…
Quant aux équipes, elles seraient classées dans leurs instituts, et peut être également interclassées (sous réserve dans la mesure où cette information n’est pas accessible).
L’évaluation des chercheurs en temps qu’individus a également été modifiée. Selon le site de l’AERES, et vu ce qui est décrit, il y a fort à penser qu’elle ne soit que bibliométrique (exit donc le fameux rapport à 4 ans). La règle a été fixée, et est plus contraignante que celle qu’adoptait la section scientifique dont je dépends. Pour être considéré comme publiant, un chercheur en Sciences du Vivant (SDV) doit avoir quatre articles en quatre ans. Un enseignant-chercheur doit pour sa part avoir deux articles. SDV c’est vaste, et si certaines disciplines permettent largement de remplir cet objectif, d’autres ont du souci à se faire…
Objectivement, une évaluation purement bibliométrique est strictement impartiale. Une machine peut même le faire. Pour ce qui est de la science en revanche, on repassera. Le démarrage d’une nouvelle thématique, la prise de risque scientifique, sont à classer dans les comportements dangereux pour une carrière, et seront voués à disparaître vu les conséquences d’un étiquetage ‘chercheur non-publiant’.
Voilà pour ce qui est de l’évaluation de la vague C.
Mon institut fait partie de la vague D (évaluation en 2009). Nous venons d’apprendre que les règles de la vague C ne seront pas appliquées. Pourquoi ce changement de fonctionnement ? Très probablement parce que l’AERES n’a pas les moyens en temps et en personnes pour pratiquer les évaluations telles qu’elles étaient menées par les EPST (rappelons que l’AERES évalue tout le monde !).
Le comité ne viendrait passer qu’une demi à une journée dans l’institut. De plus, le dossier de contractualisation ne devra pas dépasser 50 pages. Donc, exit les évaluations d’équipe faute de temps (évaluation orale) et de place (évaluation écrite). Il semble donc que ne seront évalués que les individus avec les règles bibliométriques précitées.
J’ai franchement beaucoup de mal à trouver l’amélioration apportée au système précédent dans ce mode de fonctionnement.
En revanche, je peux me faire appeler Mme Irma, et prédire que notre institut aura un nombre considérables de non-publiants1, et de fait verra ses crédits diminuer voire perdra son label UMR …
L’avenir est loin d’être radieux.
1A ce jour, je suis non-publiante pour l’AERES, sauf à avoir un papier supplémentaire d’ici la fin de l’année (ce qui n’est pas gagné)
Comme toujours, je réduirai ma présentation au cas que je connais le mieux, à savoir l’évaluation des unités CNRS et des personnels qui y sont affectés.
Auparavant, les chercheurs et les unités de recherches étaient évalués par des instances issues de leurs organismes de tutelle.
Tous les 4 ans, les chercheurs et enseignants chercheurs affectés dans une unité CNRS (UMR ou UPR) élisent une partie des membres de la section scientifique à laquelle ils sont rattachés (il y a en tout 40 sections réparties sur 6 départements scientifiques). Sur 21 membres de la section scientifique, 7 sont nommés par le Ministre chargé de la Recherche, et 14 sont élus selon le découpage suivant :
3 au titre du collège A1 (directeurs de recherche du CNRS)
3 au titre du collège A2 (professeurs des Universités)
3 au titre du collège B1 (chargés de recherche du CNRS)
3 au titre du collège B2 (maîtres de conférences des Universités)
2 au titre du collège C (ITA du CNRS)
Si le corporatisme protectionniste du CNRS devait s’exprimer, il représenterait 8 voies parmi les membres élus et nécessiterait d’obtenir 3 voies supplémentaires parmi les nommés pour être majoritaire. Pour être tout à fait honnête, ce n’est pas impossible arithmétiquement parlant. C’est juste improbable, car malheureusement, lorsque le corporatisme s’exprime, il créé également des divisions. Ainsi, les intérêts des élus B ou C ne sont pas forcément en accord avec ceux des élus A, et réciproquement… De plus, afin d’éviter le protectionnisme, la règle suivante (disponible sur le site du CNRS) était appliquée :
"Les membres de la section n'écoutent pas le rapport sur leur propre formation et ne votent pas sur leur propre formation. De même, ils ne votent pas sur toute formation pour laquelle ils n'ont pas pu entendre les rapports."Les critères d’évaluation des chercheurs et unités de recherches peuvent varier d’une section scientifique à l’autre. Néanmoins, la procédure d’évaluation était la même pour tous. Le comité d’évaluation réuni par la section scientifique principale, dont certains représentants étaient proposés par l’institut (comprendre, le CNRS choisissait certains évaluateurs parmi une liste de spécialistes proposés), après visite dans l’institut rédigeait un rapport remis à la section scientifique pour contre-évaluation, et classement de l’institut. Pour mémoire, voici ce que j’en disais il y a peu :
«Le comité d’évaluation venait passer deux jours dans l’institut. Après une présentation de l’unité par l’ancien directeur, le comité se séparait en sous jurys qui écoutaient les différents chefs d’équipes relevant de leurs compétences, présenter leur bilan des 4 années précédentes, et leur projet scientifique pour les 4 années suivantes.»Voilà pour le passé…
Abordons maintenant le présent, c’est à dire la nouvelle procédure d’évaluation mise en œuvre par l’AERES, dans un souci je le rappelle d’améliorer les procédures d’évaluation en les rendant indépendantes.
L’indépendance me laisse rêveuse quand on sait que tous les membres de l’AERES sont nommés par le ministère, mais gardons nous des procès d’intention et faisons crédit de cette indépendance à la nouvelle structure.
Quelles sont les nouvelles procédures d’évaluation mises en place ? Il est bien difficile de répondre à cette question, puisque les procédures en question sont à géométrie variable. En effet, comme je l’ai déjà dit ici , les universités et EPST fonctionnent par contrats quadriennaux. Toutes ces composantes sont donc évaluées par « vagues » (A, B, C, D). En 2007, début de l’activité de l’AERES, les établissements de la vague B étaient concernés.
Compte tenu des délais de mise en place, lors de l’année 2007 l’AERES n’a évalué que les universités et les écoles doctorales associées, laissant le soin aux EPST d’évaluer leurs propres composantes.
En 2008, année de la vague C, l’AERES évalue en plus les unités CNRS (UPR et UMR) et très probablement les unités INSERM, INRA, INRIA, etc…
Pour cette évaluation, les règles décrites (disponibles sur le site de l’AERES) sont purement administratives : composition des comités d’évaluation, personnes à contacter, etc. A titre d’exemple, la composition des comités est la suivante :
« Exemple pour une unité de recherche de taille moyenne (60 membres) :
• Président(e) désigné(e) par l’AERES ;
• 5 experts désignés par l’AERES ;
• 1 expert proposé par le CNU si des enseignants-chercheurs figurent dans l’organigramme de l’Unité ;
• 1 expert proposé par le Comité national CNRS, la Commission spécialisée INSERM…, des Unités rattachées au CNRS, à l’INSERM…
Exemple pour une unité de recherche de très grande taille ( > 400 membres) :
• Président(e) désigné(e) par l’AERES ;
• 9 experts désignés par l’AERES ;
• 1 expert proposé par le CNU si des enseignants-chercheurs figurent dans l’organigramme de l’Unité ;
• 1 expert proposé par le Comité national CNRS, la Commission spécialisée INSERM…dans le cas des Unités
rattachées au CNRS, à l’INSERM…
En cas de rattachement à plusieurs sections du CNU ou du comité national ou… prendre le représentant de la section principale et il n’est alors pas interdit de choisir un expert qui est dans l’autre section. »
On notera que quand la taille de l’institut augmente, la représentation des instances dans le comité (CNRS, Université, etc) diminue, ce qui me surprend un peu.
Un de mes collègues qui vient de passer l’évaluation m’en a dit un peu plus. La durée de la visite et le mode de fonctionnement du comité ont été identiques à ce que le CNRS pratiquait. La différence majeure est venue des experts nommés. Il semble que certains d’entre eux étaient peu à pas compétents dans les domaines d’activité de l’institut concerné, et surtout que nombre d’experts étaient assez agressifs (ma source de renseignement est très productive scientifiquement et a un très bon niveau de publications, ce qui laisse perplexe..). Dont acte, on ne va pas se marrer…
Depuis leur évaluation il n’y a eu aucun retour, la cérémonie du débriefing de fin d’évaluation ayant été supprimée. En fait, ils vont devoir attendre longtemps, car la nouveauté est que tous les centres évalués cette année doivent être interclassés…
Quant aux équipes, elles seraient classées dans leurs instituts, et peut être également interclassées (sous réserve dans la mesure où cette information n’est pas accessible).
L’évaluation des chercheurs en temps qu’individus a également été modifiée. Selon le site de l’AERES, et vu ce qui est décrit, il y a fort à penser qu’elle ne soit que bibliométrique (exit donc le fameux rapport à 4 ans). La règle a été fixée, et est plus contraignante que celle qu’adoptait la section scientifique dont je dépends. Pour être considéré comme publiant, un chercheur en Sciences du Vivant (SDV) doit avoir quatre articles en quatre ans. Un enseignant-chercheur doit pour sa part avoir deux articles. SDV c’est vaste, et si certaines disciplines permettent largement de remplir cet objectif, d’autres ont du souci à se faire…
Objectivement, une évaluation purement bibliométrique est strictement impartiale. Une machine peut même le faire. Pour ce qui est de la science en revanche, on repassera. Le démarrage d’une nouvelle thématique, la prise de risque scientifique, sont à classer dans les comportements dangereux pour une carrière, et seront voués à disparaître vu les conséquences d’un étiquetage ‘chercheur non-publiant’.
Voilà pour ce qui est de l’évaluation de la vague C.
Mon institut fait partie de la vague D (évaluation en 2009). Nous venons d’apprendre que les règles de la vague C ne seront pas appliquées. Pourquoi ce changement de fonctionnement ? Très probablement parce que l’AERES n’a pas les moyens en temps et en personnes pour pratiquer les évaluations telles qu’elles étaient menées par les EPST (rappelons que l’AERES évalue tout le monde !).
Le comité ne viendrait passer qu’une demi à une journée dans l’institut. De plus, le dossier de contractualisation ne devra pas dépasser 50 pages. Donc, exit les évaluations d’équipe faute de temps (évaluation orale) et de place (évaluation écrite). Il semble donc que ne seront évalués que les individus avec les règles bibliométriques précitées.
J’ai franchement beaucoup de mal à trouver l’amélioration apportée au système précédent dans ce mode de fonctionnement.
En revanche, je peux me faire appeler Mme Irma, et prédire que notre institut aura un nombre considérables de non-publiants1, et de fait verra ses crédits diminuer voire perdra son label UMR …
L’avenir est loin d’être radieux.
1A ce jour, je suis non-publiante pour l’AERES, sauf à avoir un papier supplémentaire d’ici la fin de l’année (ce qui n’est pas gagné)
2 commentaires:
Il semble en effet que le nouveau processus d'évaluation des chercheurs et/ou des unités de recherche soit de nature à marginaliser certains chercheurs plus audacieux ou plus malchanceux. Pour autant, un système d'évaluation parfaitement objectif est-il réellement concevable? Tout mécanisme d'évaluation se verra nécessairement "vicié" par la composante humaine sur laquelle il repose. Peut-on réellement nier le fait que l'ancien système d'évaluation conduisait parfois à des conclusions rocambolesques dignes des meilleurs moments de "l'école des fans"? Les acteurs des commissions d'évaluation, évoluant dans les mêmes sphères intellectuelles que les chercheurs évalués, se montraient parfois peu enclins à reconnaitre l'inanité de certaines orientations scientifiques... L'évaluation bibliométrique des chercheurs ne s'avère, à mon sens, pas plus objective, ainsi qu'en attestent les nombreux écueils générés par les concours de recrutement des chercheurs et maitres de conférence, par exemple. Le problème majeur ne résiderait-il pas, encore une fois, dans le financement de la recherche en france? Comment publier 4 papiers scientifiques en 4 ans lorsque l'on ne dispose pas de crédits suffisants pour accéder à un niveau d'équipement scientifique permettant de focaliser son énergie sur la thématique scientifique réelle? La faute est partagée: l'état a évidemment sa part de responsabilité dans la diminution importante des crédits alloués aux institutions de recherche et dans l'appauvrissement de la recherche fondamentale. Toutefois, les chercheurs eux-mêmes ne sont pas exempts de tout reproche: habitués à bénéficier des largesses d'un système peu "regardant" quant aux orientations scientifiques choisies, les acteurs de la recherche n'ont pas pris (voulu prendre?) conscience de la mutation des aspects et des enjeux financiers liés à leur activité. Combien de chercheurs "fondamentaux" (fondamentalistes? :-)) se sont, pendant de longues années, opposés à toute valorisation "appliquée" de la recherche menée dans leur laboratoire, se privant ainsi d'importants subsides pour développer leurs thématiques? La prise de conscience fut douloureuse et la recherche française paie probablement les conséquences de la mutation tardive d'un système économique maintenant dépassé... Espérons que la modification des critères d'évaluation des chercheurs et unités de recherche saura s'accompagner d'une réforme des modalités financières, pour permettre de développer une recherche innovante fondée sur la prise de risques...
belle utopie...
;-)
Je suis globalement d’accord avec cette analyse. J’y apporterai cependant un ou deux bémols.
«Peut-on réellement nier le fait que l'ancien système d'évaluation conduisait parfois à des conclusions rocambolesques (..) ?» J’aurai tendance à pondérer ce point de vue. De mon expérience, l’évaluation en soi pouvait être sévère, le vrai problème de l’ancien système est que le comité d’évaluation émettait des opinions et des recommandations, mais si en local l’institut évalué décidait de les ignorer il ne se passait rien. C’est je pense la limite du système en ce qu’il n’y a pas réel pouvoir permettant de faire respecter les conclusions d’un comité. A mes yeux l’intérêt d’une évaluation ne se trouve que dans la capacité qu’on aura à accepter un jugement scientifique, et les leçons que l’on en tirera. Encore faut-il que l’évaluation ait un fondement scientifique. Hors, le tout bibliométrique qui attend la vague D n’a à mes yeux aucun intérêt, du moins dans un système où le bricolage devient le quotidien de plus en plus de labos. La science est devenue très compétitive, et pour rester dans le jeu il faut des moyens.
Les «largesses d'un système peu "regardant" quant aux orientations scientifiques choisies» me sont personnellement inconnues, et j’ai commencé à évoluer dans la recherche académique en 1986. Si j’ai toujours eu la chance d’être dans des labos « riches », c’est parce que nous avions toujours des contrats extérieurs nous permettant d’entretenir une activité de recherche compétitive. Depuis mes débuts de chef d’équipe, je n’ai jamais eu d’état d’âme particulier à faire des demandes de financement sur des approches applicatives de mes sujets de prédilection, héritage probable de mon expérience antérieure. Cependant, ne travailler que sur contrat (ce qui est en train de m’arriver) limite sérieusement la capacité à produire des résultats fondamentaux, et peut même conduire dans certains cas à ne pas publier pour protéger un «scoop». C’est donc un pari sur le long terme que malheureusement les critères d’évaluation des individus au sein de l’AERES ne prennent pas en compte. Produire de nombreux papiers sans financement sérieux relève également de l’utopie. Une publication dans une revue se paie (d’autant plus cher que la revue est cotée). Quand bien même à force de créativité arrive-t’on à envoyer un article, le paiement des coûts de publication devient critique vu qu’il dépasse actuellement le budget récurrent attribué à chaque chercheur (au moins dans mon institut).
«Le problème majeur ne résiderait-il pas, encore une fois, dans le financement de la recherche en france?»
Le financement de la recherche est effectivement un problème sérieux, et je prépare un billet sur l’ANR qui n’incline pas à l’optimisme…
Cependant, je ne pense pas que la crise de la recherche en France ne repose que sur des problèmes budgétaires. Les problèmes humains deviennent malheureusement de plus en plus préoccupants.
Enregistrer un commentaire