Expérimentations de faisabilité

Protocole expérimental

L’objectif étant de démontrer une amélioration de l’exploitation des règles de conception grâce à l’assistant intelligent, nous comparons deux groupes de participants. Seul le moyen d’accéder aux règles de conception diffère entre ces deux groupes (Figure 51).
Le groupe contrôle représente la situation actuelle en entreprise. Les participants de ce groupe ont accès aux règles de conception via un document PDF. Le groupe test quant à lui accède aux mêmes règles de conception par l’intermédiaire du démonstrateur de CACDA. Les deux groupes réaliseront le même travail de modélisation et auront accès aux mêmes règles de conception.
La comparaison entre les performances des deux groupes dans leurs activités de recherche d’information et de modélisation permettra donc de mesurer l’impact de la recommandation de règles sur le processus de conception.
On peut noter qu’on se place dans un cas défavorable puisque notre prototype va exploiter un nombre de règles et de manuels de conception limité. En effet, les participants du groupe contrôle savent que toutes les règles nécessaires à leur tâche se situent dans un document bien précis. Dans l’industrie, les règles applicables peuvent être disséminées dans plusieurs documents volumineux et aux formats parfois différents (PDF, Word, Excel, Base de données, etc.).

Activité de modélisation

Le cas d’étude industriel doit être le plus représentatif possible de la conception en entreprise. Cependant, il n’est pas possible de reproduire de façon expérimentale les conditions exactes de la conception en entreprise. Ainsi, l’activité de modélisation est adaptée pour être réalisable en 2 à 3 heures. De plus, pour savoir si les participants arrivent à identifier les règles applicables, nous devons nous assurer qu’un sous-ensemble de règles soit utile à la conception de la pièce. C’est pourquoi nous proposons des pièces tests, des données initiales et des consignes de conception cohérentes entre elles.
Les pièces tests utilisées sont toutes conçues pour une fabrication en fraisage conventionnel (3 axes) dans un brut d’aluminium. Ce brut est fourni dans les données initiales. Il permet de délimiter le volume maximal de la pièce à concevoir.
Aucun calcul de dimensionnement mécanique n’est nécessaire pour modéliser la pièce test. On suppose que des dimensionnements mécaniques ont préalablement servi pour déterminer des épaisseurs minimums. Le volume de la pièce a donc une limite haute donnée par le brut d’usinage et une limite basse fixée par les limites d’épaisseurs imposées aux participants.
Toujours dans l’objectif de limiter les calculs habituellement nécessaires à la conception, des consignes de dimensionnement permettent aux participants de trancher les choix qui ne sont pas imposés par des règles de conception. Ces consignes sont les suivantes :
Les participants doivent respecter l’ensemble des règles de conception applicables qu’ils identifient dans la documentation.
Ils doivent limiter autant que possible le volume de la pièce finale.
En cas de modélisation de liaisons vissées, les participants doivent sélectionner les vis les plus petites possibles et maximiser leur nombre.

Ensemble de règles de conception

Les règles de conception utilisées dans les tests sont toutes issues de la documentation d’une grande entreprise de l’aéronautique. Elles sont séparées en deux catégories :
Les règles nécessaires aux participants pour réaliser une pièce sans erreur de conception sont appelées règles applicables. Elles imposent des approches de modélisation, des rayons de congés et des surépaisseurs.
Les règles non nécessaires aux participants sont appelées règles non applicables. Elles ne concernent pas le contexte de conception de notre cas d’étude. Elles peuvent correspondre à des procédés de fabrication non utilisés pour la pièce test, à d’autres matériaux ou à des parties spécifiques de l’avion.
Le nombre de règles considérées varie d’une expérience à l’autre. Les règles de conception sont cependant toujours plus nombreuses que les règles applicables comme c’est le cas en entreprise.
Une fois l’ensemble de règles fixé pour une expérimentation, un PDF regroupant les extraits de documentations contenant toutes ces règles est construit pour le groupe contrôle. Le graphe de connaissances de l’expérimentation est ensuite modélisé comme indiqué dans la partie 3.2.1 afin que le groupe test puisse accéder à l’ensemble des règles de conception de l’expérimentation via le démonstrateur de CACDA.

Axes de mesure

Afin de quantifier l’impact de notre démonstrateur sur le processus de conception, nous avons identifié quatre axes de mesures susceptibles de comporter des différences entre les deux groupes.

Axe de recherche de règles

L’identification des règles de conception applicables à la pièce test représente une part importante de la tâche à réaliser par les participants. Les participants doivent noter les règles de conception qu’ils décident d’utiliser pour la modélisation de leur pièce. Les participants du groupe test disposent d’un numéro de règle fourni par le démonstrateur. Les participants du groupe contrôle doivent copier dans un tableur une partie de l’énoncé de la règle utilisée ainsi que le numéro de page afin que la règle puisse être identifiée pendant l’analyse des résultats. Les participants peuvent à tout moment de l’expérimentation ajouter ou supprimer des règles de cette liste.
Afin de mesurer les performances d’identification des règles applicables, nous réalisons une mesure de précision et de rappel [177]. Pour réaliser cette mesure, on compte comme vrai positif (VP) les règles appliquées qui sont effectivement applicables à la pièce test. Les règles appliquées qui ne sont pas applicables constituent les faux positifs (FP) et les règles applicables non appliquées les faux négatifs (FN). A partir de ces décomptes, on calcule plusieurs indicateurs dont les formules sont données dans le :
La précision indique la qualité des règles identifiées. Plus un participant applique des règles non applicables, plus la précision sera faible. Une précision de 0 correspond à un participant n’appliquant que des règles non applicables. Une précision de 1 correspond à un participant appliquant uniquement des règles applicables.
Le rappel indique la quantité de règles appliquées sur l’ensembles de règles applicables. Plus un participant applique correctement un grand nombre de règles applicables, plus la mesure de rappel est élevée. Un rappel de 0 correspond à un participant n’appliquant aucune règle applicable. Un rappel de 1 correspond à un participant appliquant l’ensemble des règles applicables disponibles dans le corpus.
Les mesures de précision et de rappel ne suffisent pas pour apprécier la qualité d’une recherche d’information. En effet, il est possible d’avoir une très bonne précision en sélectionnant une seule règle de conception applicable. Inversement, sélectionner l’ensemble des règles permet d’obtenir un rappel de 1. Le facteur F permet de pondérer les scores de précision et de rappel afin d’obtenir un indicateur général de la qualité d’une recherche.
Le nombre de règles appliquées par les participants peut également varier entre les deux groupes et indiquer un effort de recherche plus important.

Axe temporel

Les consignes expérimentales n’imposent pas de temps minimum, il est donc possible qu’un groupe soit plus rapide qu’un autre, d’où l’importance de mesurer la durée d’expérimentation des participants. De plus, notre protocole expérimental impose deux activités : la modélisation 3D et la recherche de règles. Aucune répartition de temps entre ces activités n’est imposée aux participants. Il est donc nécessaire de mesurer le temps passé sur chaque activité par les participants. Il est difficile de différentier le temps passé à rechercher une règle, à la lire et à la comprendre. Nous mesurons donc le temps passé à modéliser activement la pièce. La différence entre la durée de modélisation et la durée totale de l’expérimentation est considérée comme étant consacrée à la recherche et la compréhension des règles de conception. Le temps dédié à autre chose qu’aux deux activités de l’expérimentation n’est pas décompté.

Axe cognitif

L’un des objectifs principaux d’un assistant cognitif est de réduire la charge cognitive de ses utilisateurs. Il est donc nécessaire de mesurer cette charge cognitive lors de nos expérimentations. La méthode la plus standard et reconnue pour mesurer la charge cognitive d’une activité est le NASA-TLX [178]. La charge cognitive est décrite comme le cumul de six facteurs : l’exigence mentale, physique, temporelle, la performance, l’effort et la frustration. Les participants doivent noter leur ressenti personnel pour chacun de ces facteurs sur un axe gradué de zéro à cent (Figure 52). NASA-TLX est considéré par la communauté scientifique comme un outil approprié pour représenter la charge cognitive d’une personne ou la difficulté d’une opération de conception [179], [180].
Afin de compléter la mesure globale de la charge cognitive, nous mesurons également la difficulté ressentie par les participants pour la recherche de règles de conception et la modélisation. Ces mesures sont présentées de façon similaires aux échelles graduées NASA-TLX.

Axe de qualité du modèle numérique

Le respect des règles de conception est l’objectif final de notre démonstrateur. La pièce finale des participants est analysée en fin d’expérimentation afin d’attribuer un score de respect des règles de conception. La notation la plus intuitive serait de noter les erreurs de conception des participants. Cependant cela avantagerait les participants n’allant pas au bout de leur conception et donc ne prenant pas le risque de commettre d’erreurs. Le score d’application des règles de conception décompte donc le nombre de règles correctement appliquées. Le score est augmenté de 1 pour chaque règle appliquée avec succès et de 0.5 si la règle n’est que partiellement respectée.
Une règle identifiée par un concepteur peut ne pas être correctement appliquée, pour des raisons de temps ou de compréhension. Mesurer le nombre de règles correctement identifiées par les participants mais non respectées dans leurs modèles peut permettre d’identifier une telle tendance.
L’une des consignes de conception étant de minimiser le volume de la pièce, on mesure le volume final des pièces afin de détecter d’éventuelles différences de performances entre les deux groupes.