Navigation – Plan du site
Varia

Contribution à l’épistémologie de l’évaluation des enseignements par les étudiants

Yvan Abernot, Christine Gangloff-Ziegler et Marc Weisser

Résumés

L’évaluation des enseignements et des formations par les étudiants (E.E.E./E.F.E.) est aujourd’hui l’un des indicateurs de la démarche qualité entreprise par un établissement universitaire. Ce type de dispositif est cependant diversement accueilli, selon les lieux, selon les cultures. Il peine à s’imposer en France, bien qu’il y soit préconisé depuis de nombreuses années et qu’il ait été rendu obligatoire depuis 1997. Pour objectiver quelque peu les positions des acteurs concernés, nous interrogeons trois des qualités métrologiques d’un tel outil, à savoir la représentativité, la validité, la fidélité. Après une revue de la littérature, nous spécifions ces points à travers l’étude comparée de deux dispositifs d’E.E.E. mis en place à titre expérimental à l’Université de Haute-Alsace et à l’Université d’Aix-Marseille. Nous en tirons des conséquences relativement à une approche formative de l’E.E.E., dans le cadre plus large d’une pédagogie universitaire encore à construire.

Haut de page

Texte intégral

1L’évaluation des enseignements et des formations par les étudiants (E.E.E./E.F.E.) peut être incluse dans plusieurs processus principalement différenciés par leurs fonctions et donc leurs destinataires : à usage administratif (évaluation sommative : promotions, blâmes) ou à usage privé, c’est-à-dire au bénéfice final de l’enseignant et des étudiants, même si une tierce personne favorise l’amélioration visée (évaluation formative). Bien entendu, de nombreuses autres formes peuvent être imaginées (Berthiaume, 2011), mais le cumul de fonctions risque de nuire à l’atteinte de l’objectif : améliorer l’enseignement.

2Quelle que soit sa forme, la fonction de l’E.E.E./E.F.E. doit être claire, non susceptible d’être détournée. Or, sans doute, une part de la réticence des enseignants s’explique par une telle crainte. Mais l’E.E.E./E.F.E. progresse dans les esprits et dans les textes et il vaut peut-être mieux que l’enseignant s’enquière de lui-même de l’avis des étudiants plutôt que d’attendre que la pratique en devienne obligatoire ! Il est très important de comprendre les réticences des enseignants vis à vis de l’E.E.E./E.F.E. car en soi, « recueillir l’avis des étudiants sur la qualité des enseignements qu’ils ont suivis afin de permettre un jugement menant à des régulations » (Detroz 2008, p. 118) ne peut qu’être bénéfique à l’enseignant, à condition qu’il ne se sente pas (et ne soit réellement pas) stigmatisé. La position des réfractaires à l’E.E.E. se fonde donc sur des critiques de destination de l’information mais aussi sur des défauts métrologiques dont certains seront présentés et (autant que possible) palliés dans les propositions développées ci-après. Mais rien n’empêchera une organisation pas toujours au fait des difficultés docimologiques de pratiquer une E.E.E. « sur un ensemble non-cohérent d’outils, rassemblés à la va-vite par une administration, un groupe d’enseignants ou d’étudiants » (Detroz 2008, p. 131).

3De nombreuses recherches (cf. ci-après) ont montré les avantages d’une telle pratique mais aussi les difficultés à surmonter. Au nombre des résultats utiles, des desiderata unanimes ou spécifiques peuvent être mis en évidence constituant ainsi une forme de rempart contre la mise à l’index (ou la simple inquiétude d’être moins performant que d’autres). Ainsi, par exemple, la compétence, la clarté et l’accessibilité relationnelle sont-elles unanimement requises (Abernot, 1982).

4Il ne faudrait pas se focaliser sur l’E.E.E./E.F.E. (comme nous allons le faire ci-après) en oubliant d’autres sources d’information. Cet apport n’est qu’un éclairage parmi d’autres venant favoriser la prise de conscience de l’enseignant quant aux aspects sur lesquels il pourrait progresser (Bernard, 1998). D’une manière plus générale encore, le « connais-toi, toi-même » attribué à Socrate est l’une des manières parmi les plus prometteuses (et souvent la seule), de progresser (ou de faire progresser). Nous avons insisté sur le fait que l’enseignant a tout intérêt à s’enquérir de l’avis des personnes en formation : « normative data may be needed to help instructor determine where their strengths and weakness lie » (Cohen 1980, p. 323). Mais il n’est pas le seul bénéficiaire potentiel. En effet, les étudiants découvrent à l’occasion, leur avis de groupe, ce qui les constitue en entité. Or, tout ce qui contribue à les rendre acteurs du système va dans le sens de la diminution des effectifs d’échec, si lourds en première année.

5Si le changement a bonne presse comme indice de vitalité, il reste néanmoins à déterminer quel partenaire doit évoluer. Rien ne suppose en E.E.E./E.F.E. que ce sont les enseignants qui doivent progresser vers un idéal défini par les étudiants ! À l’occasion d’une discussion sur les retours d’enquête, ou même lors de sa préparation, les étudiants ont aussi des chances de saisir mieux les attitudes, les choix ou les comportements des enseignants. De la même manière, une pratique pédagogique peut se justifier à long terme et être progressivement appréciée par les étudiants. Mais ne nous illusionnons pas, un enseignant jugé excellent par l’un, sera éventuellement insatisfaisant pour un autre. Un haut degré de congruence entre les styles d’enseignement et les styles d’apprentissage des étudiants (De Ketele 2010, p. 6) est sans doute une aspiration partagée mais souligne aussi la multiplicité des correspondances, donc l’impossibilité d’être « idéal » pour tous !

6L’E.E.E./E.F.E. est donc délicate à manier, tant du point de vue technique que du point de vue déontologique. Il est légitime qu’elle fasse débat comme critère de promotion des universitaires. En revanche, elle est déjà accueillie en tant qu’outil de régulation des enseignements, lorsqu’un certain nombre de précautions sont prises et ce, autant pour le repérage des qualités génériques de l’enseignant universitaire, que s’agissant de l’évolution d’un cours tout au long du semestre (Cohen, 1980, p. 332).

7C’est l’étude de ces précautions qui constitue l’objectif du présent texte, à travers ces qualités métrologiques que sont la représentativité, la validité et la fidélité. Après quelques rappels sur l’historique de l’E.E.E./E.F.E., nous présenterons les acquis de la recherche dans ce domaine, avant de rendre compte de deux expériences menées sur le terrain.

Historique du cadre règlementaire

8Une approche épistémologique de l’évaluation des enseignements par les étudiants interroge les concepts mais également l’environnement au sein duquel ils se sont construits et qui en constitue l’histoire. « L’analyse conceptuelle pousse en effet à scruter les traits généraux de la démarche scientifique ; la démarche historique favorise la recherche de particularités « régionales » propres aux différentes sciences et aux différentes époques » (Jacob, 1989).

9Or, l’E.E.E./E.F.E. est un domaine très influencé par les caractéristiques locales. Ainsi, l’analyse des contextes légal et règlementaire permet de retracer les évolutions à propos de l’étendue et de la force des injonctions faites aux universités que ce soit au niveau d’un état, comme la France, ou de l’Union Européenne qui a plus récemment pris le relais.

10La loi Savary du 6 janvier 1984 sur l’enseignement supérieur de même que la loi no 68-978 du 12 novembre 1968 d’orientation de l’enseignement supérieur, ne prévoient aucune disposition à ce propos. Et, si son article 56 précise que l’appréciation concernant le recrutement ou la carrière, portée sur l’activité de l’enseignant-chercheur tient compte de l’ensemble de ses fonctions, les modes d’évaluation de celles-ci ne sont pas envisagés.

11Néanmoins, l’article 57, repris par l’article L. 952-2 du Code de l’Éducation, souligne que « les enseignants-chercheurs, les enseignants et les chercheurs jouissent d’une pleine indépendance et d’une entière liberté d’expression dans l’exercice de leurs fonctions d’enseignement et de recherche, sous les réserves que leur imposent, conformément aux traditions universitaires et aux dispositions de la présente loi, les principes de tolérance et d’objectivité ». Ces principes s’accommodent mal d’une telle évaluation.

12Parallèlement l’article L.123-9 du même code, reprenant à l’identique le texte de l’article 1, alinéa 4, de la loi no 68-978 du 12 novembre 1968 d’orientation de l’enseignement supérieur souligne qu’« à l’égard des enseignants-chercheurs, des enseignants et des chercheurs, les universités et les établissements d’enseignement supérieur doivent assurer les moyens d’exercer leur activité d’enseignement et de recherche dans les conditions d’indépendance et de sérénité indispensables à la réflexion et à la création intellectuelle. ».

13Ce n’est finalement que très récemment que les premiers textes dans le domaine de l’évaluation des enseignements et des formations ont été publiés en France.

14Timidement d’abord lorsque la simple possibilité est proposée par l’arrêté Lang du 26 mai 1992 relatif aux diplômes d’études universitaires générales, licences et maîtrises, qui prévoit, dans son article 24, que « pour chaque module ou niveau d’enseignement dispensé, une procédure d’évaluation des enseignements, faisant notamment appel à l’appréciation des étudiants, peut être établie par le conseil d’administration de l’établissement, sur proposition du président de l’université, après avis du conseil des études et de la vie universitaire, ou du chef de l’établissement et dans le respect des dispositions de la loi du 26 janvier 1984 et du décret du 6 juin 1984 ».

15Mais l’arrêté Bayrou du 9 avril 1997 relatif au diplôme d’études universitaires générales, à la licence et à la maîtrise impose clairement cette obligation dans son article 23, tout en précisant ses contours :

Pour chaque cursus, est organisée une procédure d’évaluation des enseignements et de la formation. Cette évaluation, qui prend en compte l’appréciation des étudiants, se réfère aux objectifs de la formation et des enseignements.

Cette procédure, garantie par une instruction ministérielle, a deux objectifs. Elle permet, d’une part, à chaque enseignant de prendre connaissance de l’appréciation des étudiants sur les éléments pédagogiques de son enseignement. Cette partie de l’évaluation est destinée à l’intéressé.

La procédure permet, d’autre part, une évaluation de l’organisation des études dans la formation concernée, suivie pour chaque formation par une commission selon des modalités définies par le Conseil d’administration de l’établissement, après avis du Conseil des études et de la vie universitaire.

[...] Ces procédures d’évaluation sont organisées dans le respect des dispositions de la loi du 26 janvier 1984 et des statuts des personnels concernés.

16L’article 20 de l’arrêté du 23 avril 2002 relatif aux études universitaires conduisant au grade de licence, insiste plus fortement encore sur l’obligation de mettre en place ces procédures d’évaluation et en précise plus finement les objectifs : « Des procédures d’évaluation des formations et des enseignements sont obligatoirement mises en place. Leurs modalités permettent la participation, selon des formes diversifiées, de l’ensemble des étudiants. Elles favorisent le dialogue nécessaire entre les équipes de formation et les étudiants afin d’éclairer les objectifs et les contenus de formation, d’améliorer les dispositifs pédagogiques et de faciliter l’appropriation des savoirs ». Et le cadre de l’évaluation s’étend au-delà de l’enseignement et des formations :

Ces procédures comprennent :
- une évaluation par les instances de l’établissement de la stratégie pédagogique d’ensemble, des résultats pédagogiques obtenus et du devenir des diplômés. Cette évaluation s’intègre dans un bilan pédagogique annuel élaboré dans le cadre du conseil des études et de la vie universitaire et soumis au conseil d’administration ; ce bilan propose les améliorations à conduire ;
- une évaluation pour chaque domaine de formation défini par l’université ;
- une évaluation de chacun des parcours de formation.

17L’évaluation est clairement envisagée comme un levier d’amélioration des dispositifs pédagogiques et des apprentissages grâce au dialogue entre les équipes de formation et les étudiants. D’une évaluation sommative, l’Université évolue vers une évaluation formative.

18Les modalités de cette évaluation sont elles-mêmes imposées par l’article 21 :

  • 1 Le C.N.E. a été remplacé aujourd’hui par l’A.E.R.E.S.

L’université met en place les procédures prévues à l’article précédent en prenant en compte les données quantitatives et qualitatives émanant des divers dispositifs d’évaluation qui la concernent : rapport du Comité national d’évaluation des établissements publics à caractère scientifique, culturel et professionnel1, données statistiques comparatives, enquêtes d’insertion, de suivi de cohortes.

19La circulaire d’application du schéma L.M.D. du 14 novembre 2002 paraît plus en retrait en insistant plus sur l’obligation d’expliciter le dispositif que sur le caractère pourtant impératif désormais de ces évaluations :

Tout établissement qui souhaite mettre en œuvre les dispositions de l’arrêté du 23 avril 2002 doit prévoir et expliciter son dispositif d’évaluation des formations et des enseignements associant les étudiants. Il s’agit là d’une obligation à laquelle il ne peut être dérogé.

20Enfin l’article 9 de la loi no 2007-1199 du 10 août 2007 relative aux libertés et responsabilités des universités évoque simplement cette obligation :

Le conseil des études et de la vie universitaire est consulté sur les orientations des enseignements de formation initiale et continue, sur les demandes d’habilitation et les projets de nouvelles filières et sur l’évaluation des enseignements.

21Parallèlement, des textes spécifiques rappellent cette exigence. Ainsi, l’arrêté du 3 août 2005 relatif au diplôme universitaire de technologie dans l’espace européen de l’enseignement supérieur, reprend littéralement, dans son article 26, le texte précité de l’arrêté du 23 avril 2002.

  • 2 www.rgpp. modernisation.gouv.fr/index.php ?id =21.

22Mais la pression s’intensifie actuellement en raison de la mise en place de la R.G.P.P. (Révision générale des politiques publiques). Le C.M.P.P. (Conseil de modernisation des politiques publiques) présente régulièrement les rapports d’étapes de la R.G.P.P.2 qui dressent des états des lieux des mesures mises en œuvre tout en annonçant la suite des réformes.

23Le quatrième rapport daté de juin 2010, envisageant la période 2010-2013, mentionne pour le ministère de l’Enseignement supérieur et de la recherche, l’axe suivant : « Mettre en place une démarche qualité au sein des universités, notamment dans le domaine des formations, développer l’évaluation par les étudiants. » Le C.M.P.P. affirme qu’il a « décidé de déployer des démarches qualité dans les universités afin d’accorder une plus grande importance à l’évaluation des formations et des enseignants par les étudiants. En 2010, il n’y a pas d’objectif défini. En 2011, l’objectif est d’arriver à 20 % des universités ayant un dispositif qualité et 20 % des formations évaluées par les étudiants, en 2012, 30 % des universités ayant un dispositif qualité et 40 % des formations évaluées par les étudiants et en 2013, 50 % des universités ayant un dispositif qualité et 50 % des formations évaluées par les étudiants ».

24La modestie des objectifs fixés souligne les carences et résistances de notre système universitaire dans ce domaine mais cette « réforme » surprend également par le revirement qu’elle implique en faisant référence officiellement, pour la première fois, à une évaluation des enseignants, et non plus des enseignements, en plus de celle des formations. Le cinquième rapport de mars 2011, attribue un voyant vert, signifiant que la réforme progresse au rythme prévu, à la mesure définie ainsi : « Mettre en place une démarche qualité au sein des universités, notamment dans le domaine des formations et développer l’évaluation par les étudiants. » Cette qualification sera plus révélatrice en 2011 et au-delà, lorsque les objectifs chiffrés précités seront applicables.

25Pour conclure cette analyse du contexte réglementaire français, il convient de souligner que l’Agence d’évaluation de la recherche et de l’enseignement supérieur (A.E.R.E.S.) précise dans les principes de l’évaluation3 qui fondent sa démarche au sein d’un établissement que « l’organisation de l’évaluation des enseignements avec et par les étudiants, de chaque module à la mention, est une composante de cette autoévaluation. Elle participe à l’appréciation de la pertinence des moyens pédagogiques mis en œuvre ». Parmi les quatre critères d’évaluation des licences par l’A.E.R.E.S., figure le « pilotage de la licence » ainsi subdivisé : appréciation de la composition et du fonctionnement de l’équipe pédagogique, appréciation de la manière dont elle améliore le pilotage de sa formation par l’analyse et la prise en compte des différentes informations recueillies, dont l’évaluation des enseignements par les étudiants. Cette dernière exigence n’est pas rappelée dans la liste des critères d’évaluation des masters ; néanmoins, l’existence/l’absence d’un dispositif d’évaluation des enseignements, dans ce cadre, est qualifié respectivement de point fort/faible, et contribue à l’appréciation finale donnée. Cela semble constituer aujourd’hui un levier de progrès important.

26L’Europe s’est positionnée plus tardivement sur cette problématique mais elle en est aujourd’hui devenue un moteur. C’est la déclaration de Bologne du 19 juin 1999, qui, engageant la construction de l’espace européen de l’enseignement supérieur (E.E.E.S), définit, parmi les lignes d’actions, le développement d’instruments communs permettant une meilleure évaluation de la qualité de l’enseignement. L’échéance fixée alors est l’année 2010. Au-delà de l’amélioration de la qualité interne, l’objectif est de favoriser la comparaison des formations à l’échelle européenne et en, conséquence, d’encourager les mobilités étudiante et enseignante.

  • 4 European Universities Association.

27Lors de la rencontre de Salamanque du 30 mars 2001, l’E.U.A.4 est créée et l’assurance-qualité est présentée comme la clé du succès de l’harmonisation du système européen de l’enseignement supérieur.

28Cette exigence est rappelée lors des conférences de Berlin des 18 et 19 septembre 2003 et de Bergen, des 19 et 20 mai 2005. Lors de cette dernière conférence, les références et lignes d’orientation pour la garantie de la qualité dans l’espace européen d’enseignement supérieur proposées par l’E.N.Q.A.5 ont été adoptées avec un suivi prévu de leur mise en œuvre.

29Ainsi, le management de la qualité est devenu très rapidement une préoccupation majeure au sein de l’espace européen de l’enseignement supérieur parce qu’il est conçu comme l’un des piliers de sa construction.

Les critères de qualité d’un outil d’E.E.E./E.F.E

30Le cadre règlementaire ayant ainsi été posé, nous allons développer les points saillants de l’épistémologie de l’E.E.E./E.F.E. pour ensuite avancer les propositions que nous construisons et expérimentons dans nos établissements respectifs.

31Comme on vient de le lire, l’évaluation des enseignements et des formations par les étudiants est à la fois une pratique déjà ancienne et une réponse à des injonctions institutionnelles de plus en plus pressantes dans le contexte de l’internationalisation des études universitaires. Il n’en reste pas moins qu’elle peine à s’imposer dans les établissements. L’un des griefs les plus importants qu’on lui oppose concerne ses défauts métrologiques. Nous en étudierons trois ci-dessous. Nous présenterons ensuite deux propositions de réponse testées localement.

Représentativité

32L’avis des étudiants ne saurait à lui seul témoigner de la qualité d’un enseignement. Il est de fait qu’il convient de ne pas utiliser un seul nombre pour évaluer un objet multidimensionnel comme la recherche ou la formation universitaires. 71 % des enseignants-chercheurs s’opposent d’ailleurs à ce que l’E.E.E./E.F.E. soit le seul critère invoqué (Bernard, Postiaux, Salcin 2000, p. 634). Un tel objet s’appréhende à travers « différents indicateurs mesurables qui ne sont pas le concept lui-même, mais une façon approchée de mesurer dans le temps les changements du concept visé » (Gingras 2005, p. 5). Leur adéquation se constate à travers l’étude de leurs corrélations combinées.

33Detroz (2008, p. 121) propose ainsi une approche « multitraits » qui confronte résultats de l’évaluation par les étudiants et taux de réussite à l’examen, observation par les pairs, autoévaluation. Il est à noter cependant que l’accueil de collègues dans les cours est rejeté par 50 % des enseignants, alors qu’ils plébiscitent leur propre jugement (Bernard, Postiaux, Salcin 2000, p. 634) : l’enseignement serait évaluable, mais seulement par l’enseignant lui-même. Ce qui repose sans doute sur un a priori non fondé, puisqu’Aleamoni (1999, p. 154) n’a trouvé aucune corrélation entre la qualité des publications d’un chercheur et son E.E.E./E.F.E., ni entre ces mêmes publications et son évaluation pédagogique par les pairs.

34D’autres recherches suggèrent d’associer à l’E.E.E./E.F.E., en tant que mesure du degré de satisfaction « à chaud » des étudiants, l’évaluation d’une formation par rapport à ses objectifs affichés et par rapport aux besoins de formation connus, et l’évaluation par d’anciens étudiants appartenant maintenant au milieu professionnel (Rege Colet 2002). Aleamoni (1999, p. 155) identifie un lien positif avec cette dernière modalité, ainsi qu’avec les jugements des pairs et d’experts externes. Il serait donc possible de faire une place pertinente à l’E.E.E./E.F.E. au sein d’un dispositif complet d’évaluation de la qualité.

Validité

35Nous retiendrons une acception classique de la validité, qui exprime le fait qu’« un instrument donné mesure effectivement ce qu’il se propose de mesurer » (Detroz 2008, p. 120). Le problème réside alors dans la difficulté qu’il y a à formuler une définition univoque, acceptée par tous, de ce qu’est un enseignement universitaire de qualité. Le plus souvent, ces critères de jugement demeurent implicites (Romainville 2009, p. 145), ce qui amène les évalués à contester l’outil qui leur est appliqué. Pourtant, « les étudiants sont les seuls témoins constants de la prestation de l’enseignant » (Bernard, Postiaux, Salcin 2000, p. 627). Ils constituent à ce titre une source privilégiée d’informations sur la clarté des exposés, sur les sollicitations dont ils sont les destinataires, sur la pertinence des supports utilisés, etc.

36Il s’agit donc d’adopter pour l’E.E.E. un processus formalisé qui conduira à un feed-back plus valide que « lorsque les enseignants perçoivent “dans le simple regard des étudiants” que tout se passe bien » (Berthiaume et all., 2011). La prise de conscience par les professeurs de leurs pratiques pédagogiques pourra s’opérer de façon structurée, autour des différentes dimensions abordées par le questionnaire. On remarque alors (Bernard, Postiaux, Salcin 2000, p. 633) que plus de la moitié d’entre eux considèrent que « l’évaluation faite par les étudiants [les] aide à identifier les forces et les faiblesses de [leur] enseignement » et que « les commentaires écrits des étudiants sont une source intéressante de suggestions pour améliorer l’enseignement ».

37Le choix des critères de qualité de l’enseignement se place « à la croisée des représentations et des attentes individuelles des différents publics et acteurs concernés » (Ricci 2009, p. 37), la définition de ce qui fait un bon cours, une bonne formation fluctue selon les personnes interrogées (Romainville 2009, p. 151). Ricci (ibid.) opte par exemple pour une définition en six points « à laquelle [il est] petit à petit arrivé », par induction à partir de son expérience empirique et par comparaison à la littérature existante.

38Une fois que l’outil est composé, les étudiants se montrent des utilisateurs avertis, puisqu’on ne constate pas de corrélation au sein d’un même questionnaire d’E.E.E./E.F.E. entre les dimensions Relations/Pédagogie/Connaissances (Aleamoni 1999, p. 154) : ils ne font pas que reconnaître la popularité d’un enseignant, ils arrivent à dissocier ce qui relève des contenus enseignés de ce qui a rapport aux méthodes d’enseignement et aux interactions entre les personnes.

Fidélité

39Stabilité dans le temps et concordance inter correcteurs sont les deux traits principaux de la fidélité d’un instrument de mesure (Detroz 2008, p. 119-120). S’agissant du premier, on a pu constater dans les dispositifs d’évaluation sommative une corrélation de 0,87 à 0,89 des résultats de l’E.E.E./E.F.E. d’une année sur l’autre (Aleamoni 1999, p. 153). Dans la présente étude cependant, l’enseignement universitaire n’est pas conçu comme devant répondre à des standards puis s’y tenir en faisant sienne la requête du « zéro défaut » (Crosby 1999). Un processus d’évaluation formative se place au contraire dans la perspective d’une amélioration continue (Crawford et Shutler 1999), d’une « approche cybernétique de l’enseignement avec des boucles régulatrices » (Detroz 2008, p. 130). Dans ce cas, un bon outil sera celui qui « respecte l’inertie propre de l’objet » (Gingras 2008, p. 7) : les enseignements et plus encore les formations sont des objets complexes, lents à la manœuvre ; un indicateur qui marquerait des sautes brutales témoignerait surtout de ses propres défectuosités.

40La recherche d’une concordance inter correcteurs doit elle aussi faire l’objet d’un réexamen. L’E.E.E./E.F.E. présente cette particularité qu’ici, les évaluateurs sont plus nombreux que les évalués. Alors qu’en règle générale, un évaluateur, parfois deux en cas de double correction, prend en charge de nombreuses copies, ce sont tous les étudiants d’un amphithéâtre qui portent conjointement leurs regards sur le cours dont ils bénéficient. Vouloir trouver un accord entre tous ces points de vue, n’est-ce pas présupposer un peu rapidement une objectivité, une intersubjectivité illusoires ? Ne doit-on pas au contraire s’attendre à un éparpillement des résultats en plusieurs groupes, dépendant par exemple du style d’apprentissage de chacun ? ou encore de ses stratégies estudiantines ?

41Comme on vient de le voir, les questions métrologiques posées à l’évaluation de la qualité des enseignements et des formations soulèvent quelques problèmes redoutables. Ces difficultés ont de plus été spécifiées aux dispositifs d’évaluation formative. Nous proposons dans la suite deux exemples d’E.E.E./E.F.E. expérimentés localement qui essaient de tenir compte de ces remarques.

Deux dispositifs innovants

Un outil privé enseignant-étudiants (Université de Provence)

42Pour vérifier le bon fonctionnement d’un outil d’évaluation formative créé et expérimenté à Strasbourg il y a vingt ans, nous avons proposé à un enseignant qui nous en faisait la demande, un outil (Abernot, 1987) qui permet d’obtenir et d’exploiter les avis des étudiants sur un certain nombre de traits appartenant à trois grandes dimensions : la compétence, la didactique et la relation avec les étudiants. Sur une année, trois prises d’information ont été réalisées, suivies de discussion sur les points semblant poser problème. Au-delà de la satisfaction des deux parties, c’est ici à la fois la critique épistémologique et les apports de cette pratique qui nous intéressent.

43À la lumière de résultats antérieurs, nous n’avons retenu que quelques items issus des trois axes classiques que sont la compétence (peu critiquée), la didactique (dont on sait que la variété est pauvre) et le relationnel (domaine le plus améliorable selon les étudiants) pour constituer un questionnaire destiné au vote des étudiants sur un enseignement dont le responsable est volontaire et intéressé.

44Chaque item fait l’objet d’un vote sur une échelle de Lickert à cinq cases numérotées 1 à 5 dont les modalités sont étiquetées. Par exemple, pour l’information sur la compétence : 1 « très compétent », 2 « plutôt compétent », 3 « moyennement compétent », 4 « peu compétent », 5 « pas compétent du tout ».

45Les douze items retenus sont les suivants (deux sur la compétence, quatre sur la didactique, six sur la relation) :

  • Item 1 : Enseignant compétent

  • Item 2 : Cours actualisé

  • Item 3 : Clarté

  • Item 4 : Moyens pédagogiques variés

  • Item 5 : Souplesse quant au programme

  • Item 6 : Soucieux de l’impact

  • Item 7 : Fait participer

  • Item 8 : Cordial

  • Item 9 : Respectueux

  • Item 10 : Aidant

  • Item 11 : Disponible

  • Item 12 : Accepte les remarques.

46Épistémologiquement, le nombre d’item est réduit non seulement pour des raisons de praticabilité mais aussi en fonction des domaines d’insatisfaction connus. Chaque item est censé être aussi indépendant que possible des autres.

47Le même questionnaire va être présenté aux étudiants sur l’enseignant X et sur l’idéal. Il va également être renseigné par l’enseignant, à la fois sur lui-même (X), en auto-évaluation et sur l’idéal, rien n’assurant en effet, qu’il se pense idéal selon tous les critères.

Tableau 1 — Modèle de fonctionnement du questionnaire sur pour chaque item

Votes des étudiants

Votes de l’enseignant

Sur le prof « X »

1 2 3 4 5

n. r.

Sur lui-même (X)

1 2 3 4 5

n. r.

Sur l’idéal « I »

1 2 3 4 5

n. r.

Sur idéal (I)

1 2 3 4 5

n. r.

n. r. : non réponse

48Les votes des étudiants sont ensuite cumulés sur les échelles, ce qui donne lieu à des visualisations (suffisantes, ici). Ensuite, ces images sont comparées horizontalement pour construire une information sur la concordance professeur-étudiants sur « X ». Verticalement, les graphiques étudiants (sur « X » et sur « I ») renseignent sur la satisfaction des étudiants. Verticalement toujours, la comparaison des deux votes de l’enseignant renseigne sur son auto-satisfaction.

49Durant l’année 2009/2010, nous avons proposé à un enseignant universitaire d’histoire, de pratiquer cette manière de s’informer auprès des étudiants à chaque fin de trimestre. Il ne s’agit donc pas d’établir des résultats généralisables sur les éléments les plus fréquemment susceptibles d’évolution chez les enseignants du supérieur ni de rendre compte de l’effet de l’application de la méthode par rapport à un échantillon d’enseignants ne la pratiquant pas. Il s’agit de tester son employabilité et les avantages qu’elle donne en matière d’échange enseignant-étudiants. La population interrogée est constituée de quatre-vingt-cinq étudiants de licence 3e année. Le cours se déroule dans une grande salle de l’université, une fois par semaine sur toute l’année. L’enseignant est volontaire, c’est lui qui distribue les questionnaires et les recueille 10 min plus tard.

50Après chaque dépouillement, donc trois fois dans l’année, l’enseignant propose à son groupe les constats observés et en discute avec les étudiants. Des divergences apparaissent, tant entre étudiants (votes épars sur toutes les cases) qu’entre les étudiants et l’enseignant. Ces positionnements notoirement différents font l’objet de discussions, d’explications ou de précisions. Epistémologiquement, le fait que les deux parties soient situées sur (ou autour) de la même case n’implique pas qu’il y ait parfaite concorde mais dans la pratique, elle sera supposée.

51Sur l’année, des évolutions notoires sont repérables. Elles concernent aussi bien les étudiants que l’enseignant. On peut supposer que ces évolutions font suite aux discussions menées début janvier et à Pâques.

52Comme nous en discuterons ci-dessous, il n’est pas assuré que certaines évolutions ne se seraient pas produites sans E.E.E.. Rappelons que nous ne sommes pas dans une perspective inspirée de la méthodologie expérimentale et que nous ne disposons pas de groupe témoin. En revanche, une prise d’information informelle auprès des partenaires de l’E.E.E. fait valoir de bonnes dispositions par rapport à cette pratique. Ainsi, une très grande majorité d’étudiants s’est sentie concernée, y compris à la deuxième et à la troisième investigation.

Un outil qualité (université de Haute-Alsace)

53L’université de Haute-Alsace a confié à notre groupe de recherche le soin d’élaborer son dispositif d’E.E.E./E.F.E. Les directeurs des études, les responsables de composantes s’acquittent généralement eux-mêmes de la rédaction des questionnaires de satisfaction, quand ils ne la confient pas à leur administration. Nous avons quant à nous choisi de nous tourner vers les usagers. Nous essayons de la sorte d’échapper au travers méthodologique qui réside dans la mise en abîme des représentations que les enseignants se font des représentations des étudiants.

54Nous avons en conséquence commencé par interviewer dans chacune des huit composantes de notre établissement deux séries de représentants des étudiants, en première et en dernière année de formation : licence 1 et master 2 pour les facultés, diplôme universitaire de technologie 1 et licence professionnelle pour les instituts universitaires de technologie, première et troisième année pour les écoles d’ingénieurs. Lors de ces entretiens semi-directifs, les thèmes suivants ont été abordés :

  • Quels sont les signes de qualité d’un enseignement (contenus, forme, structure générale) ?

  • Quels sont les signes de qualité d’une formation (contenus, organisation, compétences construites) ?

  • De quelle manière devront être pris en compte les résultats des futurs questionnaires de satisfaction ?

55La technique du focus groupe a pour effet d’amener les individus à interagir entre pairs et, à travers cette négociation du sens de leurs réponses, à dépasser le stade des représentations initiales peu réfléchies. Durant la petite heure d’entretien collectif, on voit alors se préciser progressivement les critères de qualité auxquels un public donné est sensible. Les étudiants, comme destinataires d’un enseignement et « co-producteurs » de ce service (Aballéa, Bercovitz, 1990), jugent important d’être consultés sur leur satisfaction parce qu’ils sont les premiers intéressés et que leur cursus concerne leur propre avenir. Cela conforte les résultats d’une étude réalisée dans une université du Québec, sur les représentations des étudiants à propos de l’importance et de l’utilité de l’évaluation de l’enseignement. Les personnes interrogées estiment à 95 % qu’elles sont incontournables dans un tel dispositif ; elles sont encore 84 % à penser que cela est susceptible d’aider un enseignant à améliorer la qualité de ses interventions (Thivierge et Bernard, 1996).

56Nous avons ensuite rédigé deux tableaux synoptiques organisant l’analyse du corpus recueilli, autour de trois variables pour l’E.E.E. : la participation de l’étudiant, les contenus d’enseignement, l’animation pédagogique, et de trois autres pour l’E.F.E. : l’organisation de la formation, les relations avec les professionnels, les relations avec le marché de l’emploi. Chacune d’entre elles se décline alors en une série d’indicateurs de qualité définis par les focus groupes. Ainsi, par exemple, la variable « Contenu de l’enseignement » renvoie à la pertinence des savoirs, à la cohérence entre cours magistraux, travaux dirigés et travaux pratiques, à la nouveauté des connaissances transmises, à la logique d’exposition des contenus, à la cohérence avec la réalité professionnelle.

57Ces tableaux ont dans un troisième temps servi de document de base pour des entretiens individuels avec les directeurs de composantes, interrogés tout d’abord sur leur réception des attentes estudiantines, puis sur les modalités de mise en œuvre et d’exploitation auxquelles pourraient se plier les futurs questionnaires. La plupart d’entre eux ont manifesté leur accord de principe à l’E.E.E./E.F.E., en demandant simultanément que ce ne soit pas le seul élément d’évaluation de la qualité. Ils ont également indiqué leur adhésion aux critères qui leur étaient soumis, témoignages selon eux de la maturité des étudiants. Cette nouvelle consultation à permis d’identifier des leviers d’amélioration, qui seront conservés dans la suite de la démarche, et de laisser de côté les points sur lesquels les équipes pédagogiques n’ont pas prise. L’impression générale qui se dégage de ces interviews est que l’E.E.E./E.F.E. est conçue par ces professionnels comme un moyen d’impulser des réformes pédagogiques au sein de la composante dont ils sont responsables, de lever un certain nombre de réticences auprès de leurs collègues enseignants-chercheurs.

58Après ces deux séries de consultations, les questionnaires d’E.E.E./E.F.E. ont été rédigés. Ils sont actuellement en cours de test dans quelques formations (voir en annexe).

Contributions métrologiques et épistémologiques

59Nous présentons ici en quoi les dispositifs décrits précédemment répondent de façon innovante aux questions métrologiques soulevées au point 2.

Représentativité

Unilatéralité

60Dans l’ouvrage d’André de Peretti (2009) sur l’évaluation, de nombreux outils sont proposés et analysés. Ils donnent une image de la grande variété des manières de produire des avis sur un enseignant ou un système pédagogique. Nous nous inscrivons dans l’une des plus courantes, l’échelle de Lickert (1932). Elle a été si souvent critiquée qu’il n’est pas nécessaire d’en commenter ici les avantages et les inconvénients. Qu’il nous suffise de dire que certains défauts ont été palliés dans notre questionnaire, à savoir : la confusion entre échelle ordinale et numérique, l’équivoque sémantique, l’unilatéralité et la normativité.

61Traditionnellement, c’est-à-dire depuis Lickert jusqu’aux propositions les plus récentes de logiciels de traitements des enquêtes, il est demandé aux répondants de voter dans des cases (sur une échelle de 2, 3... 9 degrés !) qui portent des étiquettes « tout à fait d’accord », « moyennement d’accord » « pas d’accord du tout », par exemple. Ces cases sont explicitement numérotées 1, 2, 3,... 9 et lors de l’analyse, il est gaillardement considéré que l’échelle est continue et que les numéros des cases correspondent à des poids, si bien qu’il semble licite d’en extraire des moyennes et autres indices, de joindre le sommet des colonnes, etc.

62Nous avons démontré (Abernot, 1982) que les cases n’ont absolument pas le statut d’une échelle de rapport. En effet, 3 n’est pas la mesure d’une impression trois fois supérieure à 1. Par ailleurs, sur les échelles à cinq cases, la 2e et la 4e sont systématiquement moins utilisées que la première, la 3e et la 5e, si bien qu’il a été possible de repérer des votants extrémistes (1 ou 5) plus nombreux que les votants modérés préférant les cases 2 et 4. Nous considérons donc les cases de notre échelle de Lickert comme autant de modalités nominales.

63Dans une enquête préliminaire, nous avions constaté que certains enseignants regrettaient de ne pas pouvoir apporter leur contribution à la description de la situation, reprochant aux questionnaires classiques d’être unilatéraux. Comme indiqué en 3.1, nous avons proposé exactement le même questionnaire aux enseignants en auto-évaluation (Jorro, 1998). Ils étaient donc à la fois, agents et objets d’évaluation (Allal, 2004). Ainsi avons-nous pu faire porter l’évaluation davantage sur la comparaison des avis des deux parties que sur la seule position des étudiants, palliant ainsi, autant que possible, la critique d’unilatéralité.

64Le tableau 1 montre comment l’information est regroupée par item. L’enseignant ne vote que d’une croix sur lui-même et d’une croix sur l’idéal alors que les votes des étudiants sont cumulés. Il s’ensuit une distribution qui n’est représentative que de la population concernée (et non d’une population parente). Le problème n’est pas ici de solidifier un avis mais au contraire de le voir évoluer en fonction des variations d’attitudes ou de pratiques de l’enseignant au cours de l’année ou du changement de regard des étudiants. Le problème de la représentativité n’est pas posé puisqu’il ne s’agit pas d’un avis d’échantillon mais d’un avis plus ou moins dispersé qui sera discuté avec l’enseignant mais aussi entre étudiants en cas d’oppositions modales aux extrémités de l’échelle.

65Statistiquement, la comparaison d’un avis unique (celui de l’enseignant) à des avis cumulés (ceux des étudiants) obligerait à choisir un indice de tendance centrale (sur variable ordinale) plus ou moins conforté par une indication de la dispersion. Mais dans notre cas, il s’agit simplement de susciter la discussion sur la base d’une image à interpréter visuellement.

Triangulation avec d’autres indicateurs E.N.Q.A

66Le croisement avec les références européennes et lignes directrices pour le management interne de la qualité au sein des établissements d’enseignement supérieur, listés dans le référentiel 1 de l’E.N.Q.A., intègre les questionnaires d’E.E.E./E.F.E. dans un ensemble dont ils ne constituent qu’une partie. C’est la vision d’ensemble qui permet d’avoir une bonne représentation de la qualité de l’établissement intégrant, bien entendu, celle de ses enseignements et formations.

67L’E.N.Q.A. a listé sept références contribuant à l’amélioration de la qualité, certaines étant de la responsabilité de l’institution, d’autres de celle des enseignants, certaines ayant un rôle normatif afin de garantir la qualité notamment à travers la mise en place de procédures, d’autres reposant sur des évaluations a posteriori qui nous intéressent plus spécialement dans cet article. Parmi celles-ci, nous en retiendrons trois qui complèteront l’E.E.E./E.F.E.

68Ainsi, la deuxième référence E.N.Q.A. portant sur l’approbation, l’examen et la révision périodique des programmes et des diplômes, impose notamment à l’établissement un examen des progrès et réussites des étudiants, une évaluation périodique des programmes dans laquelle interviennent des personnes extérieures, l’interrogation régulière de représentants du marché du travail, à côté de la participation des étudiants aux activités de management de la qualité.

69La quatrième référence exige des établissements qu’ils puissent s’assurer de la compétence et de la qualité de leur corps enseignant. Plus particulièrement, les enseignants doivent pouvoir bénéficier d’un retour d’appréciation sur la qualité de leurs activités d’enseignement, par les étudiants, mais aussi par certains de leurs pairs formés en la matière.

70Enfin, nous citerons encore la sixième référence sur les systèmes d’information qui précise que les établissements doivent garantir qu’ils collectent, analysent et se servent des informations nécessaires au pilotage efficace de leurs programmes de formation. Sont plus spécifiquement cités la progression des étudiants et taux de réussite, l’employabilité des diplômés, l’efficacité des enseignants, et bien sûr le niveau de satisfaction des étudiants vis-à-vis des programmes.

71En conséquence, les questionnaires étudiants ne peuvent être qu’un des aspects de l’E.E.E./E.F.E. et c’est la triangulation avec les autres indicateurs auxquels se réfère l’E.N.Q.A. (suivi des apprentissages des étudiants, taux de réussite, employabilité dont l’insertion professionnelle constitue un aspect, évaluation externe des programmes) qui contribuera à assurer la représentativité de l’évaluation à partir d’une approche « multitraits », précédemment évoquée (Detroz 2008, p. 121). Cette multiplicité d’indicateurs rappelle, s’il en était besoin, que la satisfaction immédiate des étudiants ne peut pas être le seul objectif de l’Université et, en conséquence, ne peut pas être le signe exclusif de la qualité des enseignements et des formations.

Validité

Normativité et équivoque sémantique

72Une autre critique souvent avancée porte sur les aspects normatifs du questionnaire. Quand tous les étudiants répondent que le professeur est très directif (unanimité des votes sur les cases 1 et 2 de l’échelle en 5 degrés), que sait-on de leur critique ? Est-ce bien ainsi ? Désirent-ils un peu ou beaucoup moins de directivité ? C’est donc bien par rapport à une idée préconçue de « l’enseignant désiré » que les avis sont donnés.

73Ainsi avons-nous dans l’outil exploité à Aix-en-Provence, proposé une échelle sur « X » (le professeur volontaire) et une sur « I » (idéal en situation) pour chaque item. Un étudiant « a » peut voter en case 1 pour dire que l’enseignant considéré « X » est « très directif » et en case 3 sur « I » pour signifier que selon lui, l’idéal en situation (amphi ou salle, type de contenu, etc.) serait « moyennement directif ». Là encore, après cumul des votes, notre lecture a moins porté sur la distribution brute que sur la comparaison entre répartition sur « X » et sur « I ». Du même coup, tous les soucis de pluralité d’interprétation des mots utilisés dans l’item (équivoque sémantique) sont palliés, puisque le sens donné sur X est le même pour l’idéal. Seule cette distance nous intéresse, le sens n’a donc plus à être parfaitement commun entre votants, il suffit qu’il le soit entre les deux votes d’un même répondant.

74Le volontariat des répondants et en particulier celui de l’enseignant « X » (objet et agent d’évaluation) pose le problème de la représentation de la population globale par un échantillon éventuellement non représentatif. Il s’agira de s’en souvenir en conclusion en évitant toute généralisation ! Mais dans notre étude, le volontariat est en quelque sorte co-substantiel de la démarche puisqu’il s’agit d’évaluation formative (et d’abord informative) d’un enseignant qui pense a priori que l’avis des étudiants peut lui rendre service. Le volontariat n’est donc pas un biais de représentativité car nous n’avons aucune d’ambition d’inférence.

75Les trois axes ordinairement retenus (sous divers vocables) comme descriptifs factoriels de l’enseignant (compétence, didactique et relationnel) sont toujours présentés de manière orthogonale, ce qui suggère leur indépendance, comme s’il était possible de mettre parfaitement en forme un contenu qu’on ne maîtriserait pas ! Il n’en est évidemment rien, la personne de l’enseignant ne se laissant pas si impunément réduire à une somme de dimensions que le tout transcende (comme l’ont montré les tenants de la gestalt) ! Pour autant, Aleamoni (1999) ne trouvant sur des cas concrets aucune corrélation entre les trois axes, nous les considérerons comme utiles à une prise en compte formative des informations recueillies, regroupées et présentées en composantes.

Focus groupes

76En ce qui concerne le dispositif mis en place à l’université de Haute-Alsace, le procédé du focus groupe déplace selon nous le problème de la validité des outils d’E.E.E./E.F.E. Il ne s’agit plus en effet de s’accorder sur ce qui fait la qualité d’un enseignement universitaire préalablement à la rédaction d’un questionnaire. On peut d’ailleurs soulever au passage les risques de redondance qu’une telle démarche comporte : imaginons que l’un des critères retenus concerne la rapidité des parcours des étudiants, et qu’ensuite on recherche les corrélations entre un tel questionnaire et les taux de réussite aux examens, on n’obtiendrait qu’un artefact résultant du mode de construction de l’instrument, les deux indicateurs comparés n’étant pas orthogonaux, relevant en fait de la même dimension. Ce que les questionnaires construits pour la présente étude prétendent mesurer n’est au contraire que le degré de satisfaction des étudiants. Les autres outils décrits au chapitre précédent apporteront des compléments d’information valides chacun d’un autre point de vue. Les interviews en groupes homogènes (par la composante d’appartenance, par le niveau d’ancienneté dans le métier d’étudiant) poussent les individus interrogés à approfondir leurs positions respectives, à construire collégialement leurs critères de qualité.

77Nous pouvons par conséquent estimer recueillir ces « énonciations types » qui pour Clot (1999, p. 35) constituent ce qu’il nomme un genre, défini comme suit : « L’énoncé n’est pas, comme le croit Saussure, une combinaison libre de formes de la langue. La parole n’est pas un acte individuel opposé à la langue comme phénomène social. Il existe un autre régime social du langage : celui des formes sociales attendues de la parole dans un domaine d’activité » (ibid. ; c’est nous qui soulignons). Ce « genre étudiant » devient durant l’entretien un objet de travail et de pensée collective, dans le but de « faire revivre les formes dissonantes du travail humain, l’affrontement des possibles retenus dans chaque situation » (ibid., p. 136). Si nous remontons à l’une des sources invoquées par Clot (Bakhtine 1979), nous pouvons mieux décrire la situation de production de ces discours : un énoncé n’a pas besoin seulement d’un énonciateur et d’un thème, mais aussi d’un allocutaire ; tout énoncé est dialogique et s’insère dans une chaîne d’interactions : « Tôt ou tard, ce qui a été entendu et compris de façon active trouve un écho dans le discours ou le comportement subséquent de l’auditeur » (Bakhtine 1979, p. 275), « un énoncé est tourné non seulement vers son objet mais aussi vers le discours d’autrui portant sur cet objet » (ibid., p. 302). Dans notre recherche, les étudiants proposent des thématiques récurrentes dans leur genre, leurs collègues s’en saisissent, y répondent, les reformulent, les réinterprètent. Leur discours est proprement polyphonique : chacun cherche à manifester sa compréhension du discours de ses pairs, mais en même temps s’en distingue, s’en défend, tout en cherchant argument dans sa propre description du réel. Dans ces conditions, « le langage n’est pas seulement un moyen de verbalisation [...], mais aussi une activité » (Clot 1999, p. 141), avec ici en particulier la volonté de parvenir à un accord entre étudiants de façon à promouvoir et à exploiter de manière constructive une série d’indicateurs de qualité des formations universitaires. Nous espérons, par cette sédimentation de strates de sens successives, parvenir à une certaine « validité écologique » des situations étudiées (ibid., p. 131), pour mieux comprendre des phénomènes vécus en commun mais à partir de positions parfois distinctes.

Fidélité

Évolution dans le temps : d’un trimestre à l’autre

78Toute observation sur une période longue (ici un an) prête le flanc à la critique d’une évolution non due à l’élément expérimental introduit. En effet, rien n’assure que si les étudiants votent majoritairement « peu clair » en début d’année et « moyennement clair » en fin d’année, il n’en soit pas toujours ainsi, avec ou sans E.E.E. pendant l’année. En général, ce risque est pallié par l’adjonction d’un groupe témoin mais dans notre cas monographique, l’enseignant « X » est difficilement comparable à un enseignant « Y » qui en dehors de cette différence présenterait tout les dehors d’un cas « toutes choses égales par ailleurs ». Une autre solution de comparaison aurait pu être constituée par l’introduction du questionnaire dans un groupe d’étudiants du professeur X et non présenté dans un autre groupe (comparable) de X aussi. Mais premièrement, cet autre groupe comparable n’existe pas, deuxièmement, notre ambition n’est pas la détermination expérimentale des critères susceptibles d’évoluer ! Cumulé au fait que les éventuelles évolutions constatées peuvent être dues autant aux évolutions du professeur qu’à celles des étudiants, il convient d’être prudent dans les interprétations. C’est la discussion suscitée qui porte le bénéfice des variations dans le temps, même si les résultats visualisés ne sont que des supports.

79L’analyse des avis des étudiants est ici fondée sur la forme de la distribution qui résulte du cumul de leurs positions sur l’échelle en 5 degrés. Il va de soi que la validité de cet indice est variable en fonction de la dispersion des avis (de très concentrés à très épars). Si la question de recherche était là, il faudrait se donner les moyens de d’appréhender scientifiquement cette relativité (sans passer par les indices classiques réservés aux échelles numériques). Pour ce qui nous concerne, un déplacement de répartition sur l’échelle numérotée indiquera un mouvement d’opinion. Il pourrait aussi être relevé que deux répartitions identiques cachent parfois des déplacements individuels compensés ! Cette remarque est tout aussi pertinente pour la comparaison de répartitions non identiques : nous ne savons pas qui a bougé, ni dans quel sens. Il faudrait avoir repéré chaque répondant (a, b, c,...) et le suivre d’un graphique à l’autre. Cette fois, l’hypothèse est directement impliquée (puisque nous travaillons sur les évolutions) mais c’est la granularité qui est décalée : nous ne sommes pas à ce degré de finesse (qui pourrait faire l’objet d’une suite de travaux et mener à une typologie de comportements de vote, en complément de travaux antérieurs (Abernot, 1983)).

80Rien n’est dit dans ce rapport de recherche sur l’éventuelle perdurée des évolutions. Nous ne savons rien de l’enseignant X un an plus tard et encore moins ce qu’il présentera comme caractéristiques dans dix ans ! Il n’est pas loisible ici de discuter de la profondeur des évolutions constatées (dans des recherches de ce type) mais il peut malgré tout être évoqué une évidence de différence entre des caractéristiques facilement modifiables et d’autres, tellement constitutives de l’individu, qu’elles ne sont susceptibles d’évolution qu’à un coût psychologique élevé. Evoquons encore quelques éléments apparemment simples à faire évoluer mais qui sont, en fait, les symptômes de traits profonds incompréhensiblement tenaces (comme certains tics, manières de se tenir, écriture, etc.).

81Nous n’avons pas évoqué une éventuelle promotion de la démagogie d’un enseignant soignant davantage le vote de ses étudiants que le service de ses valeurs ! De même, la peur des étudiants de mettre (même anonymement) le professeur de mauvaise humeur... est souvent évoqué. Mais dans ce domaine, de la force et de la faiblesse des personnalités, il ne semble pas que l’E.E.E. ait un grand pouvoir modificateur sur des adultes (de plus, ici, volontaires).

Évolution dans le temps : leviers d’amélioration

82La question peut alors se poser de savoir si une comparaison des évaluations d’une année sur l’autre pour un même cours fait par un même enseignant dans une même formation peut être révélatrice d’une évolution de la satisfaction des étudiants, présumée être la résultante d’une amélioration — ou détérioration — de la qualité des enseignements et des formations découlant des dites évaluations. Serait-il ainsi possible de mesurer les améliorations qu’apporterait un tel questionnaire afin de pouvoir affirmer qu’il s’agit sans conteste d’un levier de progrès ? La fidélité ne serait pas alors la stabilité mais la capacité à mesurer une évolution d’une année sur l’autre à travers les réponses aux questionnaires. Mais le même biais que celui précédemment évoqué apparaît, à savoir qu’il n’est pas possible de décider si l’évolution est due plus à celle de l’enseignant qu’à celle des étudiants. Nous ne pouvons pas déterminer si c’est le niveau des attentes et exigences des apprenants ou la réponse qui y est apportée par le professeur, les autres étudiants et l’institution qui varient et dans quelle mesure. Même une stabilité dans le résultat peut en réalité souligner des évolutions des deux composantes du rapport de satisfaction observé. Néanmoins, pour bien déterminer le niveau de fidélité d’une enquête, il convient d’identifier d’abord ce qu’elle vise à mesurer. Les étudiants ne font état que de leur « point de vue » et « comme tout point de vue, celui des étudiants est nécessairement incomplet et imparfait » (Romainville 2009, p. 261). Mais il permet à l’enseignant de cerner la représentation que les étudiants se font de la qualité de son enseignement et de leur satisfaction perçue et cela « constitue une réalité en soi » (ibid.), et donc un fait observable. Dans cette approche, le modèle proposé au sein de l’U.H.A., en se fondant sur des critères de qualité identifiés par les étudiants, reconnaît le caractère nécessairement subjectif du regard porté par les évaluateurs tout en donnant sa cohérence aux résultats obtenus. Ainsi, les évolutions de la satisfaction des étudiants révèlent les variations de leur représentation de la qualité de l’enseignement dont les causes peuvent être multi-factorielles et ne peuvent être éclairées qu’en confrontant les résultats avec les différences de niveaux des étudiants, les résultats obtenus plus largement par les autres collègues, les modifications imposées dans les programmes, modalités ou objectifs d’un cours et, bien, entendu, en prenant en compte les changements que l’enseignant a intégrés à son cours.

83Cependant, s’agissant d’évaluations non sommatives, et en l’absence par conséquent d’une référence à une norme fixe prédéfinie, il paraît utile de se fonder sur des tendances pluri-annuelles dans une mise en ordre chronologique des réponses aux questionnaires. À la suite de Romainville (2009, p. 242), nous rappellerons utilement que « l’évaluation auprès des étudiants n’est qu’un moyen au service de la réflexion sur ce qui fonde la qualité de l’enseignement supérieur et les conditions qui renforcent tant l’enseignement que les apprentissages des étudiants » et cette réflexion, qui est au fondement même des systèmes d’E.E.E./E.F.E., doit elle-même être permanente. À ce titre, nous pourrions considérer que les questionnaires administrés ont sans doute vocation à être uniquement informatifs mais c’est alors l’ensemble du dispositif d’E.E.E./E.F.E., tel qu’il est construit, qui doit reposer sur une vision formative.

Conclusion

84Quels enseignements relatifs aux questions métrologiques posées à l’E.E.E./E.F.E. pouvons-nous tirer de la présentation critique de nos deux dispositifs locaux ? Nous proposons pour commencer de dépasser le confortable a priori qui consiste à dire que seul un enseignant peut évaluer son enseignement, soit en confrontant régulièrement cette autoévaluation avec les réponses des étudiants (université de Provence), soit en croisant les résultats de l’E.E.E./E.F.E. avec d’autres indicateurs retenus au niveau européen, afin d’en assurer la représentativité, dans un cas comme dans l’autre.

85Une validité accrue peut être ensuite obtenue en étant plus explicite sur ce que prétendent mesurer des outils d’E.E.E./E.F.E. : un degré de satisfaction ressenti à chaud, relativement à un système d’attentes construit par les publics intéressés eux-mêmes, système qui varie selon le contexte et, plus encore, selon les individus.

86Enfin, en-dehors de quelques dispositifs (quasi-) expérimentaux visant à tester la concordance inter-correcteurs (étudiants regroupés selon leurs antécédents scolaires, ou selon leur réussite/échec à la formation évaluée, etc.), c’est surtout aux évolutions temporelles induites par l’E.E.E./E.F.E. que l’on s’intéressera, soit à l’échelle d’un cours annuel (évaluations par trimestre), soit d’une année à l’autre (groupes qualité).

87Après l’actuelle période de conception et de test de nos outils, nos travaux futurs s’engagent sur trois voies. D’une part, celle de la dédramatisation de l’E.E.E./E.F.E. dans une perspective de formation des enseignants (Genoud 2006). Ces dispositifs constituent en effet autant d’aiguillons de l’innovation, d’analyseurs de nos pratiques professionnelles si on les considère du point de vue de l’évaluation formative. Le risque de promotion d’une norme unique qui s’imposerait à tous nous semble amoindri en ce que les items sur lesquels les étudiants sont appelés à se prononcer sont toujours relativisés, par leur origine affichée (focus groupes) ou parce qu’ils sont explicitement fluctuants. La triangulation avec d’autres résultats empiriques nous rappelle de plus que les éléments de formation appréciés par les étudiants sont ceux qui correspondent le mieux à leurs représentations actuelles du métier futur. Ces E.E.E./E.F.E. diffèrent sans doute de celles des jeunes professionnels qui ont passé le premier stade de « survie » dans leur nouveau métier. On retrouve là le modèle de Kirkpatrick (1959/2006) : évaluation à chaud de la satisfaction, évaluation des apprentissages, évaluation à froid du réinvestissement de la formation dans le travail (cf. les exemples proposés par Ricci 2006, p. 40). Il reste à signaler cependant qu’une E.E.E./E.F.E. ne donne pas explicitement les solutions aux problèmes qu’elle met en lumière (Cohen 1980, p. 323) : demeure toujours la nécessité de l’accompagner d’un conseil pédagogique individualisé. La simple diffusion de rapports d’évaluation ne présentant que des données brutes ne suffit pas, les destinataires ne sont pas forcément armés pour les interpréter objectivement (Aleamoni 1999, p. 159).

88La systématisation des outils et le dépouillement de résultats obtenus à grande échelle nous serviront d’autre part à perfectionner le dispositif en lui-même. Certains libellés devront être encore clarifiés. Mais rien n’interdit, par exemple, de présenter le questionnaire d’E.E.E./E.F.E. aux étudiants en début de semestre et de définir avec eux quelle compréhension spécifique retenir de chaque question. Ils pourraient de plus être ainsi rendus attentifs aux signes de qualité retenus par leurs représentants, afin d’émettre un jugement solidement étayé en fin de cursus. La recherche de corrélations statistiques servira par ailleurs à repérer les items fortement liés, afin d’éviter par la suite une trop grande redondance et d’alléger ainsi les questionnaires.

89Enfin, l’exploitation des données ainsi construites sera un support tout à fait valable pour alimenter les discussions entre étudiants et responsables pédagogiques, ce qui nous permettra d’étudier la « validité conséquentielle » de l’E.E.E./E.F.E. (Detroz 2008, p. 131), ses effets dans la régulation des enseignements.

Haut de page

Bibliographie

Aballea F. et Bercovitz A., « Pour une approche non dogmatique des démarches qualité », Études et expérimentations en formation continue, no 6, 1990, p. 41-47.

Abernot Y., L’enseignant idéal. Introduction du principe de norme fluctuante dans les questionnaires d’évaluation Thèse de troisième cycle Strasbourg : ULP, 1981.

Abernot Y., « Comportements de vote et dispersion des étudiants sur les caractéristiques de l’enseignant », Actes du 50e congrès de l’A.1.P.E.L.F., Bizerte, 1982. Résumé dans : La revue des Sciences de l’Éducation, no 3-4, 1983.

Abernot Y., « Approche qualitative multidimensionnelle de l’enseignant. Perceptions et attentes des étudiants », Recherche et formation, 2, 1987, p. 21-36.

Aleamoni L. M., « Student rating myths versus research facts from 1924 to 1998 », Journal of personnel evaluation in education, vol. 13/2, 1999, p. 153-166.

Allal L., « Auto-évaluation en situation de formation », Mesure et évaluation en éducation, vol. 27, 2, 2004, p. 1-8.

Bakhtine M., Esthétique de la création verbale. Paris : Minuit, 1984.

Bernard H., « Évaluer pour améliorer l’enseignement », Mesure et évaluation en éducation, vol. 21/2, 1998, p. 1-3.

Bernard H., Postiaux N., Salcin A., « Les paradoxes de l’évaluation de l’enseignement universitaire », Revue des sciences de l’éducation, vol. 26/3, 2000, p. 625-650.

Berthiaume D. et al., « L’évaluation des enseignements par les étudiants comme mesure de soutien au développement professionnel des enseignants », Recherche et formation, 2011, à paraître.

Blanchet A., Ghiglione R. et al., Les techniques d’enquête en sciences sociales. Observer, interviewer, questionner, Paris : Dunod, 2005.

Clot Y., La fonction psychologique du travail, Paris : PUF, 1999.

Cohen P. A., « Effectiveness of student rating feedback for improving college instruction », Research in Higher Education, vol. 13/4, 1980,p. 321-341.

Crawford L. E. D. & Shutler P., « Total quality management in education : Problems and issues for the classroom », The International Journal of Educational Management, 1999, p. 67-72.

Crosby P.B., Quality is free, in Crawford L.E.D & Shutler P., « Total quality management in education : Problems and issues for the classroom », The International Journal of Educational Management, 1999, p. 67-72.

De Ketele J.-M., « La pédagogie universitaire : un courant en plein développement », Revue française de pédagogie, no 175, 2010, p. 5-13.

De Peretti A., Boniface J. et Legrand J.-A., Encyclopédie de l’évaluation en formation et en éducation : Guide pratique. Paris : ESF, 2009.

De Singly F., L’enquête et ses méthodes : Le questionnaire, Paris : Armand Colin, 2005.

Detroz P., « L’évaluation des enseignements par les étudiants : état de la recherche et perspectives », Revue français de pédagogie, no 165, 2008, p. 117-135.

Genoud P. A., « Le regard des élèves : un apport à la formation initiale des enseignants », Recherche et Formation, no 52, 2006, p. 117-130.

Gingras Y., La fièvre de l’évaluation de la recherche. Du mauvais usage de faux indicateurs, Note de recherche, UQAM, 2008.

Guillaume P., La psychologie de la forme, Paris : Flammarion, 1979.

Jorro A., « Réflexivité et auto-évaluation dans les pratiques enseignantes », Mesure et évaluation en éducation, 27, 2, 1998, p. 33-48.

Kirkpatrick D. L., Evaluating training programs, Mcgraw-Hill Publishing Company, 1959, éd. 2006.

Rege Colet N., « L’évaluation de l’enseignement pour promouvoir la qualité de l’enseignement », Actes du Colloque A.D.M.E.E. 2002, 2002.

Ricci J.-L., « La qualité de l’enseignement au supérieur : un vaste chantier qui déborde largement de l’opinion des étudiants », dans Romainville M. et Coggi C., L’évaluation de l’enseignement par les étudiants. Approches critiques et pratiques innovantes, Bruxelles : De Boeck, 2009, p. 35-56.

Romainville M., « Une expérience collective d’élaboration de critères de qualité », dans Romainville M. et Coggi C., L’évaluation de l’enseignement par les étudiants. Approches critiques et pratiques innovantes, Bruxelles : De Boeck, 2009, p. 145-165.

Romainville M. et Coggi, C., L’évaluation de l’enseignement par les étudiants. Approches critiques et pratiques innovantes, Bruxelles : De Boeck, 2009.

Thivierge A. et Bernard H., « Les croyances des étudiants à l’égard de l’évaluation de l’enseignement », Mesure et évaluation en éducation, 18(3), 1996, p. 59-84.

Haut de page

Notes

1 Le C.N.E. a été remplacé aujourd’hui par l’A.E.R.E.S.

2 www.rgpp. modernisation.gouv.fr/index.php ?id =21.

3 www.aeres-evaluation.fr/index.php/Evaluation/Evaluation-des-formations-diplomes/Principes-d-evaluation.

4 European Universities Association.

5 European Association for Quality Assurance in Higher Éducation : www.cne-evaluation.fr/fr/present/interstandardsENQA.htm.

Haut de page

Pour citer cet article

Référence électronique

Yvan Abernot, Christine Gangloff-Ziegler et Marc Weisser, « Contribution à l’épistémologie de l’évaluation des enseignements par les étudiants », Éducation et socialisation [En ligne], 32 | 2012, mis en ligne le 01 septembre 2013, consulté le 26 juin 2017. URL : http://edso.revues.org/361 ; DOI : 10.4000/edso.361

Haut de page

Auteurs

Yvan Abernot

U.M.R. Apprentissage-didactique-évaluation-formation (U.M.R. A.D.E.F. d’Aix-Marseille — Aix-Marseille Université)

Christine Gangloff-Ziegler

Laboratoire interuniversitaire des sciences de l’éducation et de la communication (L.I.S.E.C., E.A. 2310)

Marc Weisser

Laboratoire interuniversitaire des sciences de l’éducation et de la communication (L.I.S.E.C., E.A. 2310)

Haut de page

Droits d’auteur

Licence Creative Commons
La revue Éducation et socialisation est mise à disposition selon les termes de la Licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International.

Haut de page
  • Logo Presses universitaires de la Méditerranée
  • Revues.org