Télécharger le fichier original (Mémoire de fin d’études)
Contenu du travail de recherche
Nous proposons un modèle de l’évaluation à destination des évaluateurs. Celui-ci est défini comme un guide qui aide à concevoir et à réaliser les évaluations. Nous avons choisi une approche dans laquelle l’évaluateur est à la fois le concepteur et l’opérateur de l’évaluation. Ce choix est justifié par la nécessité d’évaluer des stratégies de sécurité qui sont diverses et dont l’environnement est en perpétuelle évolution. Il n’est donc pas possible d’avoir un modèle déterministe de l’évaluation. La conception est nécessaire pour faire face aux nouveautés (changements des stratégies de sécurité, de l’environnement, des attentes des acteurs de la sécurité routière, etc.).
Notre modèle est focalisé sur les deux premières phases de l’activité d’évaluation : la phase d’analyse du cas d’étude et la phase de conception des indicateurs. Elles sont toutes deux décrites par (1) des modèles structurels et (2) des modèles fonctionnels. Ces modèles sont utilisés par les évaluateurs pour identifier les problèmes d’évaluation et pour concevoir des indicateurs qui soient pertinents par rapport à ces problèmes.
Les trois autres phases, que nous n’avons pas traitées en détail, concernent le recueil des données, leur traitement et la valorisation des résultats. Nous avons cependant travaillé à formaliser le lien permettant de relier notre travail à ces trois étapes opérationnelles de l’évaluation18.
Nous insistons sur la nécessité pour les évaluateurs d’acquérir une vision spécifique de l’évaluation (vision innovatrice afin de faire face aux nouveautés). Cela implique une modification ou une adaptation de la pensée évaluatrice actuelle qui est utilisée en sécurité routière. Ce changement est primordial pour garantir une atteinte des objectifs que nous avons exprimés.
Enfin, l’ensemble des modèles que nous proposons sont formalisés de façon à définir un cahier des charges utilisable pour la conception d’une solution logicielle. Elle servira à rendre pleinement opérationnel notre modèle.
18 Nous travaillons sur ce sujet dans le cadre du projet européen DaCoTa – Data Collection Transfer & Analysis (http://www.dacota-project.eu).
Afin d’améliorer la sécurité routière à l’échelle nationale, européenne et mondiale, de nombreuses stratégies doivent encore être mises en place. Elles concernent l’ensemble des enjeux de la sécurité routière (santé, social, technique, économique, politique, etc.) et les trois éléments du système routier (véhicules, usagers, et l’infrastructure).
L’activité d’évaluation fournit des connaissances sur les stratégies afin de mesurer leurs performances. Ces connaissances sont destinées aux parties prenantes et ont pour objectif de les aider à la réalisation de leurs activités (conception, décision, validation, optimisation, etc.).
Une des missions du LAB est la réalisation d’évaluation des stratégies de sécurité pour différentes parties prenantes. C’est dans le cadre de cette activité que ce laboratoire a initié un travail de recherche. Son objectif est de fournir un cadre conceptuel de l’évaluation. Celui-ci servira à décrire l’évaluation telle qu’elle est aujourd’hui et telle qu’elle devra être dans le futur. Il faut la penser de façon à ce qu’elle anticipe les mutations du système routier et les besoins de sécurité routière.
Notre réflexion sur l’évaluation est justifiée par le fait que nous n’avons pas identifié de méthodes ou d’approches suffisantes pour répondre aux attentes que nous avons identifiées. Ces attentes sont décomposées suivant quatre axes : les indicateurs d’évaluation (réflexion sur leur pertinence et leur conception), les approches et les pratiques, les capacités d’évolution de l’évaluation et enfin les positionnements de l’évaluation.
La solution que nous proposons est basée sur une approche innovatrice de l’évaluation. Elle est décrite comme une activité réalisée par l’évaluateur. Ce dernier doit concevoir et exécuter les évaluations. Afin de l’aider, nous proposons des modèles structurels et fonctionnels pour le guider dans ses tâches.
Problèmes de l’évaluation en sécurité routière
Cette deuxième partie est focalisée sur l’analyse de l’activité d’évaluation. Nous commençons, dans le premier chapitre, par la description des pratiques et des enjeux de l’évaluation en sécurité routière. Nous proposons également dans celui-ci des connaissances générales sur l’activité d’évaluation. Elles sont issues de domaines divers, tels que l’éducation, l’ingénierie ou l’économie, et forment les bases théoriques sur lesquelles s’appuie notre proposition.
Dans le deuxième chapitre, nous présentons nos enjeux et nos positionnements par rapport à l’épistémologie, l’ingénierie des connaissances et l’activité de conception. Ce sont les domaines qui sont pertinents pour la construction d’un modèle de l’évaluation appliqué à la sécurité routière.
L’évaluation permet de maîtriser la réalisation d’activités en proposant un feed-back a priori ou a posteriori de l’impact des actions. Ce moyen de régulation ou de contrôle est décliné en un objectif de construction de connaissances : les indicateurs et toutes les informations issues de la réalisation des évaluations.
La réalisation d’évaluation est une activité créative qui nécessite des comportements et des compétences particulières de la part des évaluateurs. Ce positionnement est différent des approches technocentriques pour lesquelles l’évaluateur est considéré uniquement comme un technicien qui applique des processus formalisés. Son rôle se limite à des considérations opérationnelles. Dans la vision créative, l’évaluateur a pour rôle, en plus de celui de la réalisation, la conception de méthodes et d’indicateurs d’évaluation qui s’adaptent aux besoins et au contexte. Cette vision de l’évaluation impose la prise en compte des capacités cognitives des évaluateurs à concevoir les méthodes et les indicateurs.
Les trois premières sections de ce chapitre concernent l’activité d’évaluation en sécurité routière. Nous commençons par la description des pratiques et les enjeux de l’évaluation par rapport au management de la sécurité routière. L’objectif est de fournir un panorama des pratiques existantes mais aussi de détailler les enjeux liés à la conception et l’utilisation des méthodes d’évaluation. Nous continuons l’étude de l’évaluation en présentant ses acteurs, ses finalités et sa dynamique (l’évaluation est une activité dynamique qui évolue en fonction des changements de son contexte – le système routier et les parties prenantes). Nous poursuivons par l’étude des indicateurs.
Nous proposons dans un second temps une section sur la compréhension générale de l’activité d’évaluation. Elle est basée sur les connaissances de divers domaines pour lesquels des travaux de recherche ont été effectués. Nous utilisons par exemple les domaines tels que l’éducation, la santé et l’ingénierie. Cette partie sert à définir les bases théoriques de l’évaluation utiles à sa modélisation.
A travers ces quatre sections, nous dressons un panorama des méthodes et des enjeux existants liés à l’activité d’évaluation. La prise en compte de différents domaines permet de montrer la diversité des approches tout en gardant à l’esprit notre domaine d’application : la sécurité routière. L’objectif est de formaliser des connaissances pertinentes dans le but de construire un modèle général de l’évaluation à destination des évaluateurs pour les aider à répondre au mieux aux attentes/questions d’évaluation
Table des matières
Guide de lecture.
Partie I – Contexte et présentation de la problématique.
CHAPITRE 1. CONTEXTE DE RECHERCHE
1.1. LA SÉCURITÉ ROUTIÈRE
1.1.1. Etat des lieux de la situation en sécurité routière
1.1.2. La compréhension des accidents de la route
1.1.3. Les stratégies pour l’amélioration de la sécurité routière
1.1.4. Synthèse sur la situation en sécurité routière
1.2. LE LAB
1.3. USAGE DE L’ÉVALUATION EN SÉCURITÉ ROUTIÈRE
CHAPITRE 2. PROBLÉMATIQUE ET CONTENU DU TRAVAIL DE RECHERCHE
2.1. PROBLÉMATIQUE GÉNÉRALE DU TRAVAIL DE RECHERCHE
2.2. CONTENU DU TRAVAIL DE RECHERCHE.
Synthèse de la Partie 1
Partie II – Problèmes de l’évaluation en sécurité routière
CHAPITRE 3. L’ACTIVITÉ D’ÉVALUATION
3.1. LES PRATIQUES DE L’ÉVALUATION EN SÉCURITÉ ROUTIÈRE.
3.1.1. L’évaluation pour la mesure de l’efficacité
3.1.2. L’évaluation pour le management de la sécurité routière
3.2. CARACTÉRISATION DE L’ACTIVITÉ D’ÉVALUATION EN SÉCURITÉ ROUTIÈRE
3.2.1. Les acteurs de l’évaluation et leurs attentes
3.2.2. Les finalités
3.3. INDICATEUR D’ÉVALUATION EN SÉCURITÉ ROUTIÈRE
3.3.1. Description structurelle des indicateurs
3.3.2. La génération des indicateurs
3.3.3. Utilisation des indicateurs
3.3.4. Evolution des indicateurs
3.4. CARACTÉRISATION GÉNÉRALE DE L’ACTIVITÉ D’ÉVALUATION
3.4.1. Les définitions
3.4.2. Les paradigmes évaluatifs
3.4.3. L’évolution de l’activité d’évaluation
3.4.4. La performance et le jugement de valeur.
3.4.4.1. Le carré des performances
3.4.4.2. Transformation de la performance dans le milieu industriel
3.4.4.3. Le jugement de valeur.
3.5. SYNTHÈSE
CHAPITRE 4. CADRE DE RÉFLEXION ET POSITIONNEMENT
4.1. ENJEUX LIÉS À LA COMPLEXITÉ
4.1.1. Définition de la complexité dans le cadre des travaux de J-L. Le Moigne et E. Morin
4.1.2. La complexité du système routier et de l’évaluation
4.1.3. Positionnement épistémologique
4.2. ENJEUX ET POSITIONNEMENT SUR LA MODÉLISATION DES CONNAISSANCES
4.2.1. Enjeux sur l’activité de modélisation
4.2.2. Positionnement par rapport à l’activité de modélisation
4.3. ENJEUX ET POSITIONNEMENT DE LA CONCEPTION DES ÉVALUATIONS
4.3.1. Enjeux sur la conception des indicateurs
4.3.2. Positionnement par rapport à l’activité de conception
4.4. SYNTHÈSE
Partie III – Cadre et positionnements théoriques
CHAPITRE 5. COMPLEXITÉ ET MODÉLISATION SYSTÉMIQUE
5.1. LA RECHERCHE D’UN POSITIONNEMENT ÉPISTÉMOLOGIQUE
5.1.1. Le positivisme
5.1.2. Le constructivisme
5.1.3. L’adoption d’une épistémologie selon Le Moigne
5.2. THÉORIE GÉNÉRALE DES SYSTÈMES ET SYSTÉMIQUE
5.2.1. La notion de modèle
5.2.2. Notions historiques sur la systémique
5.2.3. La systémique
5.2.4. Opérationnalisation de la systémique
5.2.5. Positionnement par rapport à l’ingénierie système
5.3. VALIDATION DES CONNAISSANCES
5.4. SYNTHÈSE ET RAPPELS
CHAPITRE 6. MODÉLISATION DES CONNAISSANCES ET INGÉNIERIE DE LA
CONNAISSANCE.
6.1. DÉFINITION DE LA CONNAISSANCE
6.2. L’INGÉNIERIE DES CONNAISSANCES (IC).
6.3. LES MÉTHODES DE MODÉLISATION DES CONNAISSANCES
6.3.1. Construction du modèle conceptuel du domaine.
6.3.2. Opérationnalisation des modèles de connaissances
6.4. LA VALIDATION DES MODÈLES DE CONNAISSANCES
6.5. MÉMOIRE DE PROJET.
6.6. SYNTHÈSE ET RAPPELS
CHAPITRE 7. LES THÉORIES DE LA CONCEPTION
7.1. DÉFINITION DE L’ACTIVITÉ DE CONCEPTION.
7.2. IDENTIFICATION D’UNE THÉORIE POUR LA CONCEPTION DES INDICATEURS
7.2.1. Caractérisation de l’activité de conception
7.2.1.1. Les cinq modèles mentaux de la conception
7.2.1.2. La décomposition modulaire de la conception
7.2.2. Caractérisation des théories de conception existantes
7.2.3. Les besoins en conception par rapport à l’activité d’évaluation et la génération des
indicateurs.
7.2.4. Adoption d’une théorie de conception
7.2.5. La théorie C-K
7.3. SYNTHÈSE ET POSITIONNEMENT.
Partie IV – Extraction & modélisation de la connaissance sur
l’évaluation.
CHAPITRE 8. DÉMARCHE GÉNÉRALE POUR LA MODÉLISATION DE L’ACTIVITÉ
D’ÉVALUATION
8.1. POSITIONNEMENT PAR RAPPORT À L’ACTIVITÉ D’ÉVALUATION
8.2. MÉTHODOLOGIE DE CONSTRUCTION DU MODÈLE DE L’ÉVALUATION
8.2.1. La systémographie et la modélisation des connaissances.
8.2.2. Détails sur la formalisation de notre système général
8.2.3. Réalisation de séance de travail sur le thème de l’activité d’évaluation
8.2.3.1. Motivation de la réalisation des séances de travail
8.2.3.2. Méthodologie de réalisation des séances
La conception des séances de travail
La réalisation des séances.
Traitement et valorisation des résultats
8.2.3.3. Les résultats des séances de travail
Première étape : brainstorming sur le thème de l’évaluation
Deuxième étape : présentation théorique et discussion
Troisième étape : travail en groupe sur l’évaluation d’un système de sécurité
8.2.3.4. Synthèse et valorisation des résultats des séances de travail
8.2.4. Détails sur la structure du méta-modèle – Le langage UML
8.3. CADRAGE DES PHASES AMONT DE L’ACTIVITÉ D’ÉVALUATION.
8.4. SYNTHÈSE
CHAPITRE 9. MODÉLISATION DU CAS D’ÉVALUATION
9.1. MOTIVATIONS ET OBJECTIFS DE LA PHASE D’ANALYSE DES CAS D’ÉTUDE
9.2. MÉTA-MODÈLE POUR LA MODÉLISATION DES ATTENTES DES PARTIES PRENANTES
9.3. MÉTA-MODÈLE POUR LA MODÉLISATION DES STRATÉGIES DE SÉCURITÉ
9.3.1. Les concepts
9.3.2. La structuration des concepts pour la modélisation
9.4. SYNTHÈSE
CHAPITRE 10. MODÉLISATION DES INDICATEURS D’ÉVALUATION
10.1. MOTIVATIONS ET OBJECTIFS DE LA MODÉLISATION DES INDICATEURS D’ÉVALUATION.
10.2. PROPOSITION D’UNE DÉFINITION D’UN INDICATEUR
10.3. DESCRIPTION MATHÉMATIQUE DES INDICATEURS D’ÉVALUATION
10.3.1. La métrique
10.3.2. Indicateur élémentaire et indicateur.
10.4. SYNTHÈSE.
Partie V – Opérationnalisation et mise en oeuvre
CHAPITRE 11. APPLICATION DE LA MODÉLISATION DU CAS D’ÉVALUATION
11.1. DESCRIPTION FONCTIONNELLE DE L’APPROCHE DE MODÉLISATION DES ATTENTES DES PRENANTES ET DES PROBLÈMES D’ÉVALUATION
11.1.1. Diagramme pour la déclaration des requêtes d’évaluation
11.1.2. Les diagrammes pour la déclaration d’un cas d’évaluation
11.1.3. Conception et extension des problèmes d’évaluation
11.2. DESCRIPTION FONCTIONNELLE DE L’APPROCHE DE MODÉLISATION DES STRATÉGIES
11.2.1. Retranscription des informations sur les stratégies de sécurité
11.2.2. Evolution des modèles des stratégies de sécurité
11.3. SOLUTION LOGICIELLE.
11.4. SYNTHÈSE.
CHAPITRE 12. LA GÉNÉRATION D’INDICATEURS D’ÉVALUATION
12.1. PRINCIPE GÉNÉRAL DE LA GÉNÉRATION DES INDICATEURS.
12.2. CONSTRUCTION DES INDICATEURS PAR LA RÉUTILISATION.
12.3. GÉNÉRATION DES INDICATEURS PAR L’UTILISATION DE L’APPROCHE AUTOMATIQUE
CONCEPTION
12.4. GÉNÉRATION DES INDICATEURS PAR L’UTILISATION DE LA THÉORIE C-K.
12.4.1. Conception d’indicateurs à partir de connaissances existantes
12.4.2. Conception d’indicateurs et extension des connaissances
12.4.3. Fin du raisonnement de conception
12.5. SYNTHÈSE.
Synthèse des travaux
Limitations sur l’utilisation des résultats
Discussion
Perspectives
Bibliographie
Télécharger le rapport complet