L'évaluation scientifique des départements
Faire évaluer ses activités par un panel d'experts de haut niveau venus d'autres horizons, afin de bénéficier de leurs avis, conseils, suggestions et recommandations : tel est l'esprit de la nouvelle démarche d'évaluation scientifique des départements.
Depuis début 2013, l'ONERA s'est engagé dans une nouvelle démarche d'évaluation scientifique de ses départements, selon une procédure élaborée par la direction scientifique générale. "Nous nous sommes inspirés des recommandations formulées par l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES), qui ne souhaitait pas assurer cette évaluation elle-même, l'ONERA ne faisant pas partie de son périmètre naturel" précise Alain Appriou, adjoint au Directeur Scientifique Général (DSG). L’objectif est que chaque département soit évalué tous les quatre ans par un Comité d’évaluation scientifique et technique (CEST) composé d’environ 10 experts extérieurs à l’ONERA, tous scientifiques de haut niveau. "Chacun est spécialisé dans l’une des thématiques scientifiques du département qu’il évalue, et il y a autant de CEST que de départements" précise Alain Appriou. L'évaluation se déroule en deux étapes principales. Quelques semaines avant l'évaluation, le département transmet aux experts un rapport de synthèse sur ses activités au cours des quatre années précédentes. Il inclue un certain nombre d'informations quantitatives et qualitatives : nombre de publications, faits marquants, montants facturés à l'industrie, ponctualité des livraisons... Ensuite, le Comité se rend sur place pendant deux jours, durant lesquels le département lui présente oralement ses activités, sa situation, ses thématiques scientifiques, ses moyens, et ses perspectives. A la fin des deux jours, le CEST rédige un rapport d'évaluation.
Paroles d'experts
-
Franck Gallerneau Directeur du DMSM
-
Jean-Louis Chaboche Chargé de mission au DMSM
-
Philippe Bompard Professeur émérite, Ecole centrale Paris, laboratoire MSSMat
Pourquoi se soumettre à un tel exercice qui demande beaucoup de temps et de travail ? "C'est l'occasion pour chaque département de faire un bilan de son activité, d’exposer ses compétences et son efficacité à un regard extérieur. Au quotidien, les équipes ont un peu le nez dans le guidon. Il est donc bon, tous les quatre ans, de prendre un peu de recul, de définir son positionnement au sein de son environnement académique et industriel international, de peser ses forces et ses faiblesses, de proposer un projet pour les années à venir" observe Pierre Touboul, le Directeur Scientifique Général par intérim.
Conçue comme une aide à l'orientation, l'évaluation en tant que telle ne se réduit pas à des notes ou à des critiques. Tout au contraire, elle se nourrit généralement de commentaires, de conseils, de suggestions, d'appréciations sur les axes de recherche. "L'évaluation donne lieu à des échanges très fructueux, riches d'enseignements, qui peuvent donner au département des pistes susceptibles d'améliorer son efficacité" ajoute Pierre Touboul. Le but recherché est d’aider les départements à améliorer leurs performances.
Depuis la mise en place de cette procédure, quatre départements ont été évalués en 2013 : DMPH, DCSD, DMSM, DAFE. Quatre autres le seront dans les prochains mois : DEMR, DMAE, DMSC, DTIM. L'objectif est d'avoir bouclé le tour des départements d'ici 2016. Les effets positifs de ces évaluations devraient se faire sentir au cours des prochaines années.
Cet article a été réalisé en collaboration avec
Pierre Touboul, Directeur Scientifique Général (par intérim) et directeur de la branche PHY
Alain Appriou, Adjoint au DSG
Franck Gallerneau, Directeur du Département Matériaux et Structures Métalliques (DMSM)
Jean-Louis Chaboche, conseilleur scientifique et chargé de mission « Mécanique des solides »
Paroles d'experts
La rédaction du rapport et la préparation des journées d'évaluation ont demandé beaucoup d'efforts et de travail de la part de l'ensemble des membres du département. Nous nous sommes efforcés de montrer le meilleur de nous-mêmes, et d’organiser au mieux l’évaluation en mettant en place des séances de répétition pour que les intervenants soient prêts le jour J.
Le comité d’évaluation a souligné dans ses conclusions que le DMSM était un département jeune, qui commençait à développer une vision commune et novatrice sur son sujet. Il s'est félicité de ce que nous possédions une compétence globale sur les matériaux métalliques, de leur développement et leur élaboration jusqu'à la prévision de leur tenue en service en passant par leur caractérisation micro-structurale, physico-chimique et mécanique, ce qui est une compétence rare au sein d’une même entité. Il a estimé que nous étions bien armés et devions mettre à profit ces compétences pour répondre aux besoins actuels des industriels, mais aussi prévoir leurs besoins futurs. Il nous a également suggéré de développer des collaborations avec d'autres laboratoires du plateau de Saclay afin notamment de mutualiser, lorsque c’est possible, certains moyens d’essais lourds. Le comité a globalement validé nos orientations stratégiques, et nous a donné des conseils sur la façon de présenter notre offre aux industriels. Ses membres nous ont également demandé comment nous pensions nous positionner vis à vis des Instituts de Recherche Technologiques (IRT) ou du Centre de Recherche Technologique de Safran qui sera prochainement inauguré.
Sur un plan pratique, le comité a apprécié la qualité de notre organisation.
A titre personnel, comme j'avais été nommé quelques mois plus tôt à la direction du département, cet exercice m'a été très utile, pour mener une réflexion sur la stratégie du département et ses orientations futures. Cela m'a aidé à définir clairement les grands axes scientifiques du département, ainsi que les orientations à l'intérieur de chaque thématique.
L'évaluation du département a demandé un long travail de préparation, qui a débuté environ un an avant la venue des experts. Première étape : la rédaction du rapport de synthèse, dont le canevas avait été défini au préalable par la direction générale, et mis en œuvre pour la première fois par le DMPH. Notre département couvrant cinq thématiques scientifiques, nous avons désigné un "pilote" pour la rédaction des cinq chapitres correspondants, à charge pour eux de solliciter les experts des domaines concernés. En parallèle, avec l'adjoint technique, nous avons réuni les chiffres clés relatifs à l'activité du département : production, effectifs, ressources, moyens, activités contractuelles, etc. Une collecte un peu compliquée parce- que ces informations étaient réparties entre les deux anciens départements qui ont fusionné pour donner naissance au DMSM.
Nous avons également établi une liste d'une vingtaine d'experts susceptibles d'être retenus pour faire partie du Comité d'évaluation, puis préparé la réunion de ce Comité, qui s’est tenue sur deux jours. Comme nous avions prévu qu'une partie des présentations se feraient sur le terrain, dans les laboratoires, nous avons organisé deux répétitions générales, afin que tous les intervenants soient prêts le jour J, ce qui suppose raisonnablement une mobilisation de tous. Bref, rien n'a été laissé au hasard, moyennant quoi les deux journées d'évaluation se sont très bien passées. Au total, la préparation a nécessité une dizaine de réunions et mobilisé la moitié du département. Cela représente beaucoup d’investissements mais je mesure au quotidien que ce travail était indispensable.
Je pense en particulier qu’il est très utile pour le département d’avoir été évalué sur une base et des critères analogues à ceux des laboratoires académiques. Un facteur important est aussi que cela se fasse sur une période de quatre ans, permettant de mieux faire ressortir les stratégies scientifiques qui sous-tendent nos diverses études, souvent morcelées pour des raisons contractuelles.
Pendant plusieurs années, j'ai été directeur scientifique adjoint au CNRS en charge des laboratoires de mécanique, ce qui m'a donné une bonne connaissance du domaine des matériaux et des démarches d'évaluation. J'ai fait partie du jury d'évaluation du DMSM fin 2013. Nous étions dix, dont un professeur de l'université de Louvain, un industriel d'Aubert et Duval, un scientifique du CEA, et un professeur de l'université technique d'Eindhoven. Notre travail a débuté deux ou trois mois avant notre venue à l'ONERA, lorsque nous avons reçu le rapport de synthèse du DMSM. Nous l'avons lu chacun de notre côté et commencé à échanger entre nous par mails interposés. Le premier jour de l'évaluation, nous avons bénéficié d’une présentation générale du département, suivie par des exposés scientifiques sur des réalisations remarquables ayant eu lieu pendant la période d'évaluation, soit les quatre années précédentes. Après quoi, nous avons visité plusieurs installations, ce qui nous a fourni l'occasion de discuter avec les ingénieurs, chercheurs et techniciens, un temps très utile pour appréhender l'ambiance de travail, voir si les doctorants sont bien encadrés, si les techniciens se sentent écoutés. Outre la qualité scientifique des travaux, nous nous intéressons aussi à la dimension humaine et au management. En fin de parcours, nous avons réinterrogé les échelons situés au-dessus du département, afin de nous assurer que ce dernier avait une réelle vision de l'avenir, ce qui est essentiel. Si un laboratoire a de bons résultats mais pas de vision, il peut être en danger. Ensuite, nous nous sommes réunis pour rédiger notre évaluation, que nous n'avons pas rendue sous forme de note mais de rapport complet, car il aurait été dommage de se limiter à donner de simples notes.Notre rôle consiste bien davantage à apporter des conseils, un regard externe, à dire si le département va dans la bonne direction, s'il a vu telle ou telle menace. Pour quelqu'un qui vient du CNRS comme moi, l'ONERA est un organisme très intéressant, qui travaille sur des sujets tout aussi passionnants. Le rapport d’activité du département était bien fait, les présentations de très bonne qualité, les visites bien organisées, les gens très motivés. L'évaluation demande beaucoup de travail, mais c'est aussi un vrai plaisir.