Module Professionnel et Pédagogique 5

Enseigner les méthodes d’enquêtes quantitatives. Echange d’expériences
Learning quantitative surveying methods. Exchange of experiences

Responsable

Pierre Bréchon (Institut d’études politiques de Grenoble, PACTE) pierre.brechon@iep-grenoble.fr

Présentation scientifique

Alors que, dans tous les domaines, l’appréhension chiffrée de la réalité semble de plus en plus s’imposer, la science politique paraît souvent rejeter les méthodologies quantitatives, parfois explicitement (elles ne permettaient pas d’atteindre le sens profond des attitudes et comportements humains), plus souvent implicitement (toutes les méthodes sont valides, mais de fait chacun choisit de faire des entretiens qualitatifs, qui seraient la méthode qui s’impose à lui pour de multiples bonnes raisons). La situation de l’enseignement des méthodes quantitatives dans les cursus de science politique français peut être considérée comme très mauvaise, voire même calamiteuse. Plus précisément, on peut diagnostiquer un double problème.

Des enseignants eux-mêmes très peu formés

La place donnée aux méthodes quantitatives dans les enseignements de science politique est très faible, parfois (ou souvent ?) quasi inexistante. On ne dispose pas d’un état des lieux précis et récent des contenus dispensés se rapportant aux méthodes quantitatives, mais trois indicateurs sont particulièrement révélateurs.
Les écoles d’été consacrées aux méthodologies quantitatives attirent un public limité, comparé à ce qu’on observe dans de nombreux autres pays européens. Les rapports diffusés récemment, qu’on peut lire sur le site de l’AFSP, concernant d’une part Quantilille, école de Lille consacrée aux Méthodes quantitatives des sciences sociales, d’autre part l’ECPR Summer School in Methods and Techniques à Ljubljana, sont particulièrement éloquents. Dans ce dernier cas, il n’y avait que 4 participants français alors qu’assistaient 76 Allemands, 38 Néerlandais, 34 Suisses, 25 Britanniques et 23 Belges. Heureusement, l’école de Lille, à destination d’un public francophone, trouve un public nettement plus large : 96 candidats en 2010, de 20 nationalités. 27 Français sur 40 participants ont été sélectionnés, mais tous ne venaient pas de la science politique. Il est révélateur que ce soit le module, déjà programmé en 2009, sur le traitement statistique des données biographiques qui attire beaucoup. Le module sur les méthodes d’analyse multi-niveaux ne semble pas avoir beaucoup passionné.
Très peu d’enquêtes quantitatives sont réalisées à l’occasion des thèses. L’entretien qualitatif tend à devenir l’outil méthodologique incontournable, sans d’ailleurs être toujours pratiqué de manière très professionnelle (voir Bongrand Philippe, Laborier Pascale. « L’entretien dans l’analyse des politiques publiques : un impensé méthodologique ? », Revue Française de science politique, 55/1, 2005, p. 73-111).
A l’agrégation de science politique, le nombre de candidats choisissant l’épreuve de Méthodes des sciences sociales est toujours très faible. Et lorsqu’un poste de maître de conférences de science politique est clairement fléché sur la Méthodologie de la discipline (ce qui est extrêmement rare), le nombre de candidatures correspondant au profil demandé est très limité. Et elles proviennent d’ailleurs en partie de la sociologie.
On peut penser que la faible place donnée aux enseignements méthodologiques quantitatifs tient d’abord au manque de formation des enseignants eux-mêmes. La plupart des enseignants de la discipline maîtrisent très mal les outils quantitatifs, notamment le recours à l’enquête et le traitement des données qui en sont issues. Ils enseignent donc très rarement cette méthodologie de recherche et n’incitent pas à la choisir pour des travaux de recherche.

Une pédagogie souvent défaillante

Outre la faible formation des enseignants, on peut pointer un deuxième problème, celui des contenus enseignés. L’orientation des enseignements de méthodes est diverse. Elle peut se transformer parfois en épistémologie des sciences sociales et en théorie de la connaissance. Elles peut dans d’autres cas être limitée à la présentation des méthodes qualitatives.
De plus les méthodes quantitatives, lorsqu’elles sont présentées, le sont parfois de manière contre-productive. Dans certains cursus, l’enseignement est très théorique. On apprend par exemple la théorie probabiliste sans évoquer les problèmes concrets de constitution des échantillons représentatifs. On apprend les outils statistiques d’analyse des données sans se préoccuper de leur application à des cas concrets. On risque ainsi de produire des étudiants qui ne comprennent pas l’intérêt de ce type d’enseignement et rejetteront – comme certains de leurs enseignants – l’approche quantitative des faits politiques et sociaux.

Echanger des expériences

Au-delà du pessimisme que cette situation peut faire naître chez ceux qui croient que les méthodes constituent un élément essentiel de toute démarche scientifique, y compris dans les sciences sociales, il y a aussi des signes d’espérance. Notamment à travers les pratiques pédagogiques – anciennes ou récentes – que certains s’efforcent de développer dans leurs enseignements des méthodes d’enquêtes quantitatives. Le module sera organisé de façon à mettre en exergue ces raisons d’espérer.
Quatre expériences typiques seront d’abord brièvement présentées (en premier cycle, dans les masters, en formation doctorale, dans les écoles d’été), soit en IEP soit dans les universités.
Un temps sera consacré aux échanges sur ces expériences, avec éventuelle présentation brève d’autres expériences par les participants (30’).
Enfin on évoquera quelle pédagogie est possible à partir des sites internet des grandes enquêtes internationales. Les données d’enquêtes quantitatives sont aujourd’hui nombreuses et y accéder rapidement est devenu très facile à partir des sites internet. Les données des enquêtes quantitatives disponibles sont plutôt sous-exploitées. L’analyse quantitative (simple ou plus complexe) pourrait être facilement intégrée pour un très large spectre de sujets de mémoire et donner lieu à des modules d’enseignements dès le premier cycle.

If we consider the learning of quantitative methods in the curricula of Political Science, we can say that the situation is very poor. Two problems can be underlined:
- Little importance is given to the learning of methods at all the levels of the French academic system. The number of young teachers/researchers in Political Science attending the French or European Methodology Summer Schools is very low; it is rare to carry out a quantitative survey during a PhD thesis; for the French competitive exam to become a professor (named in French “l’agrégation”), Methodology of Political Science is very rarely chosen as a discipline by the candidates; when a Political Science vacancy is announced in Political Science Methodology, there are very few applications corresponding to the job profile. For all these reasons, the teachers of the discipline often poorly master the quantitative tools, they have never fielded a quantitative survey nor analysed data issued from it. And they rarely teach a discipline that they in fact don’t really know.
- When we consider the content of the teaching of Methodology, we find out that the orientations are rather diverse. Sometimes all the programme is devoted to Social Science epistemology, other times all the programme deals with qualitative methods. And when quantitative methods are taken into account, the result may be counter-productive; in some programs, the teaching is uniquely theoretically based: The random method is perfectly explained but without any interest for the practical and empirical problems about the setting up of representative samples. Statistical tools to analyse data are learned without worrying about their application to practical cases. The risk is that students do not understand the point of this kind of theoretical teaching and reject, like some of their teachers, the quantitative approach to political and social facts.
The module will present four experiments on a more pedagogical approach to quantitative methodology carried out by colleagues. A general discussion will follow. Finally, the use in our degree programmes of internet websites dealing with the main international quantitative surveys will be presented.

Programme

Présentation des sites des grandes enquêtes internationales. Leur utilisation pédagogique :
- European Values Study (EVS) : www.valeurs-france.fr / www.europeanvaluesstudy.eu
- World Values Survey (WVS) : www.worldvaluessurvey.org
- International Social survey Programme (ISSP) : www.issp-france.info et www.issp.org
- European Social Survey : www.europeansocialsurvey.org
- Eurobarometers : http://ec.europa.eu/public_opinion/index_fr.htm

Résumés

Bréchon Pierre (IEP Grenoble, PACTE)

Enseigner les méthodes d’enquêtes quantitatives à l’IEP de Grenoble

La volonté de former les étudiants de la section Politique aux méthodes d’enquêtes quantitatives (dès la seconde année d’IEP) a été formulée dès les années 1980. On a dès le départ voulu faire pratiquer concrètement les étudiants, c’est à dire leur faire expérimenter les principales étapes d’un travail d’enquête, de sa conception à son exploitation. Aujourd’hui la semestrialisation a conduit à davantage orienter l’enseignement sur l’exploitation des données que sur la mise au point du questionnaire ou la réalisation des entretiens. Chaque binôme d’étudiants doit produire un rapport consistant en l’exploitation d’une ou deux questions (ou batterie formant échelle) en utilisant SPSS. Les enquêtes en ligne pour les étudiants sont les grandes enquêtes internationales. Le plus important n’est pas la réflexion épistémologique sur les données, ni la simple découverte des travaux des chercheurs confirmés, mais les apprentissages par la pratique qui permettent de bien comprendre, de l’intérieur, les avantages et les limites de ces outils.

Learning quantitative survey methods at the Institute of Political Studies of Grenoble

The will to train the students of the Political Department to the quantitative survey methods (from the second year of IEP) was expressed since the 80’s. From the beginning, the objective was to allow students to experiment the main steps of a survey from its design to the analysis of collected data. The organisation of the academic year in semesters leaded for some years to more direct teaching on data processing than on building a questionnaire or carrying out an interview. Each group of two students has to produce a report consisting in an analysis of one or two questions (or an attitudinal scale) using SPSS. For students, the online surveys to do so are the main international surveys. The more important is not the epistemological thought about data, not the only finding of workings of confirmed researchers but training by the practice which allows students to well understand advantages and limits of these tools.

Nathalie Dompnier (Université Lyon 2, Triangle)

Enseigner les méthodes d’enquêtes quantitatives en filière Science politique à Lyon 2

« Statistiques et méthodes quantitatives en science politique » est un cours optionnel proposé à des étudiants de M1 en science politique qui, pour la plupart, n’ont jamais eu d’enseignement de méthodes quantitatives dans leur cursus antérieur. L’objectif est qu’ils parviennent à analyser des données, à en comprendre les conditions de production, et éventuellement à contribuer à leur production. Il s’agit donc de leur présenter les principaux outils et les principales méthodes d’élaboration d’un dispositif d’enquête, de traitement et d’analyse des données. S’il n’est pas évident de convaincre les étudiants de choisir un tel cours tant les réticences sont nombreuses, l’expérience s’avère finalement riche et stimulante, pour les étudiants comme pour l’enseignante…

Teaching quantitative methods in a political science degree, University Lyon 2

« Statistics and quantitative Methods for political science » is an optional course for master students (M1) in political science. Most of them have never had courses in quantitative techniques before. The objective is to enable the students to analyze data, to understand how these data are produced, and possibly to take part in their production. The course aims to provide students with the main tools and techniques of survey methods, statistical treatment and analysis of data. Although it’s hard to convince them to choose this course because of some reluctances, it finally appears as a rich and stimulating experience for students and teacher.

Bruno Cautrès (CEVIPOF/Sciences Po)

Enseigner les méthodes d’enquêtes quantitatives à Sciences Po

L’enseignement des méthodes, notamment mais pas seulement quantitatives, a fait l’objet d’un ensemble de réflexions, de mises en œuvre et de réformes relativement importantes depuis plusieurs années à Sciences Po. C’est davantage l’enseignement des méthodes quantitatives et leurs applications au traitement des données d’enquêtes que les techniques d’enquêtes elles-mêmes (survey research, questionnaire design, échantillons, même si cela n’est pas absent) qui ont été développés à Sciences Po. Quel bilan tirer de cette expérience ? où sont les points forts, les points faibles et quelle stratégie l’expérience de Sciences Po incarne-t-elle pour la formation de politistes sur un profil international ? De quelle manière les techniques et les données d’enquêtes sont-elles sollicitées ? Les différentes expériences et réformes pédagogiques mises en œuvre à Sciences Po ont produit deux réformes d’ampleur : l’enseignement des méthodes statistiques, voire des mathématiques dès la première année du Bachelor ; un « parcours avancée de méthodes en sciences sociales » (Pamss), proposé pour les masters et parcours doctoraux. L’accès et la formation des étudiants à des logiciels (SPSS, STATA, SPAD) standards a également fait l’objet d’un fort investissement. A terme, ces réformes devraient augmenter fortement les compétences méthodologiques des étudiants de Sciences Po et leur permettre de participer aux évolutions internationales de la discipline.

Teaching quantitative surveys methods in Sciences Po.

Teaching methods, specially but not only quantitative, has been the object of a series of reflections, implemented and relatively important reforms for several years at Sciences Po. It's more the teaching of quantitative methods and their applications to the analysis of survey data than the surveys designs techniques that have been developed at Sciences Po (rather than survey research, questionnaire design, sampling techniques, even if this is not absent for the Sciences Po perspectives) which were developed at Sciences Po What main conclusions are coming from this experience? Where are the strengths, weaknesses and what strategy the experience of Sciences Po traces for the formation of political scientists on an international profile? How the surveys techniques and data are solicited in the teachings? These experiences have ultimately produced two major reforms: the teaching of statistical methods or mathematics in the first year of the Bachelor; an integrated set of courses in advanced social science methods (Pamss) proposed for the Masters and doctoral courses. Access and formation of students to the international standard softwares (SPSS, STATA, SPAD) has also been the object of many efforts. Eventually, these reforms should increase very significantly the methodological skills of students from Sciences Po and enable them to participate in international developments in the discipline.

Jean-Gabriel Contamin et Emmanuel Pierru (Lille 2, CERAPS)

L’expérience de l’école d’été de Lille en méthodes quantitatives des sciences sociales

L’école d’été de Lille en méthodes quantitatives des sciences sociales est aujourd’hui la plus ancienne école thématique récurrente du CNRS et une des cinq formations récurrentes en Méthodes des Sciences Sociales reconnues et soutenues officiellement par l’ECPR. Il s’agit de la seule de ces formations qui soit francophone et l’une de celles qui s’efforce le plus directement de rassembler doctorants et chercheurs confirmés, sur une base à la fois disciplinaire et pluridisciplinaire. Initialement créée par Frédéric Bon, elle a été reprise par une nouvelle équipe depuis quatre ans alors qu’Annie Laurent avait assuré son bon fonctionnement et sa pérennité pendant près de 20 ans. Il s’agira à l’occasion de cette communication de s’interroger sur les enseignements qu’on peut tirer de cette expérience quant à la place des méthodes quantitatives dans les sciences sociales francophones actuelles, quant aux conditions d’apprentissage de ces méthodes dans un tel cadre et quant à la variété des usages qui peuvent être faits de ce type de formation.

The experience of the Lille Summer School in Quantitative Methods of Social Sciences

The Lille Summer School in Quantitative Methods of Social Sciences (Quantilille) is now the oldest recurrent CNRS thematic school of CNRS and one of the five recurrent training in methods of social sciences officially recognized and supported by the ECPR. This is the only French-speaking one among these trainings and a rare one to gather PhD students and senior researchers, on a both disciplinary and multi-disciplinary basis. Originally created by Frederic Bon, it was taken over by a new team for four years while Annie Laurent had assured its management and its sustainability for almost 20 years. This contribution aims to reflect on the lessons which might be drawn from this experience about the role of quantitative methods in French-speaking social sciences, about the learning conditions of these methods in such a training and about the variety of uses that can be made from this type of training.

Bréchon Pierre (IEP Grenoble, PACTE)

Présentation des sites des grandes enquêtes internationales. Pour une utilisation pédagogique

Le module se terminera par une très rapide présentation des sites internet des grandes enquêtes internationales, qui peuvent servir de support pour la pédagogie :
- European Values Study (EVS) : www.valeurs-france.fr / www.europeanvaluesstudy.eu
- World Values Survey (WVS) : www.worldvaluessurvey.org
- International Social survey Programme (ISSP) : www.issp-france.info et www.issp.org
- European Social Survey : www.europeansocialsurvey.org
- Eurobarometers : http://ec.europa.eu/public_opinion/index_fr.htm

Presentation of the websites of the main international surveys. For a pedagogical use

The module will ended by a very quick presentation of the websites listed above: which pedagogical use of this sites is it possible to carry out?

Intervenants

BRÉCHON Pierre pierre.brechon@iep-grenoble.fr
CAUTRÈS Bruno bruno.cautres@sciences-po.fr
CONTAMIN Jean-Gabriel jean-grabriel.contamin@univ-lille2.fr
DOMPNIER Nathalie nathalie.dompnier@univ-lyon2.fr
PIERRU Emmanuel emmanuel.pierru@univ-lille2.fr

Session

2 septembre 2011
8h45-10h15
IEP de Strasbourg (salle 212)