Protocole d’enquête et de mesure

 Protocole d’enquête et de mesure

Nous aborderons de façon détaillée les approches fondées sur des enquêtes privilégiant les formes de question fermées. Cependant ces types d’effets qualitatifs qui impliquent d’identifier des transformations au sein des structures ou dans leurs interactions avec les politiques territoriales, peuvent aussi être appréhendés par des entretiens semi-directifs avec les acteurs ou, comme c’est fait de plus en plus souvent,

par des ateliers participatifs et/ou expérimentaux (focus group délibératif, jeux de rôle, policy design…) qui permettent de recenser et de confronter la diversité des points de vue en fonction des types d’acteurs. De plus en plus souvent, ces approches délibératives sont associées aux enquêtes et interviennent soit en amont de ces enquêtes pour mieux formaliser les questionnaires, soit en aval pour discuter et interpréter les résultats.

Formulation des enquêtes

L’évaluation des effets organisationnels et institutionnels, et plus généralement qualitatifs implique des protocoles spécifiques nécessitant de définir des thèmes, des critères et des indicateurs appropriés. Ce type d’évaluation implique une métrique rigoureuse sachant qu’il s’agit de recueillir des perceptions par définition subjectives et donc très sensibles aux effets de format des questionnaires. Par exemple, nous avons vu que l’évaluation implique différents types d’échelles de notation.

Or, les enquêtés peuvent être plus ou moins à l’aise avec des échelles de Likert ou des échelles numériques. Il est possible de proposer alors par exemple la grille de correspondance suivante pour faciliter l’appropriation de l’échelle d’évaluation. 

Très insatisfait Extrêmement insatisfait

Selon les cas, le nombre de classes peut varier de trois, ou cinq… jusqu’à dix pour les échelles décimales (Tableau 5.2). À ce niveau il est préférable :  D’avoir un nombre de classes assez large pour appréhender les positions de façon plus nuancées (quitte à faire des regroupements ensuite pour certains traitements, notamment dans le cadre des analyses multivariées où le nombre de classes nécessite d’être réduit) ;  De choisir un nombre de classes pair de façon à éviter le « refuge » de la moyenne pour les indécis23.

Il est important d’associer des questions sur les caractéristiques sociodémographiques des enquêtés, notamment quand les enquêtes se situent à l’échelle de la population, pour pouvoir ensuite évaluer les motivations ou le rôle déterminant de certaines variables structurelles et culturelles. 

Traitement des données Au-delà des représentations traditionnelles des résultats, souvent sous forme de graphiques radars ou d’histogrammes, il est possible d’établir des moyennes ou des médianes, notamment pour comparer plusieurs critères et plusieurs terrains ou d’établir une somme des scores… ce qui est toujours préférable.

Les principales difficultés de ce type d’approche interviennent dès lors que l’on souhaite agréger plusieurs critères pour avoir, par exemple, des résultats par composante… ou par sous-groupe. En effet, toute agrégation suppose une 22 Attention, le fait de commencer par 10 à gauche et 1 à droite ou l’inverse n’est pas neutre. 23 Il est recommandé de mettre systématiquement des options « sans avis » et « ne sais pas » pour éviter ce risque.

pondération, sachant qu’une moyenne simple entre les critères revient à une pondération uniforme avec un poids équivalent à tous les critères. Des analyses en composante principales, ou en composantes multiples quand on raisonne par classes, peuvent aussi permettre d’établir des partitions entre les perceptions et de proposer des pondérations basées sur les résultats statistiques.

Exemple d’effets organisationnels et institutionnels

Nous rendons compte ici de quelques résultats de plusieurs enquêtes, celles sur les coupes rases et les cartes d’occupation du sol présentées dans le chapitre précédent ainsi qu’une enquête menée sur les effets de l’IDG SIG-LR (Rey-Valette et al., 2017) qui est une des plus anciennes infrastructures de données spatiales françaises (créée en 1994) et qui dispose d’un nombre important et diversifié d’utilisateurs mis en réseau à travers une communauté de pratique*.