Reconnaissance de l’orientation des piétons par les réseaux de Capsules dans un environnement non structuré pour un ADAS

Reconnaissance de l’orientation des piétons par les réseaux de Capsules dans un environnement non structuré pour un ADAS

Systèmes Avancés d’Aide à la Conduite

L’objectif des Systèmes Avancés d’Aide à la Conduite (ADAS) est de prévenir les accidents de la route, ou de réduire les conséquences au cas où l’accident ne peut pas être évité. Le développement des systèmes d’assistance à la conduite a commencé avec les systèmes de freinage (ABS) introduits dans une production en série à la fin des années 70. Les principales étapes du développement des systèmes d’aide à la conduite peuvent être classées comme suit : 1. L’utilisation des capteurs proprioceptifs (permettant de mesurer l’état interne du véhicule tels que la vitesse, position des roues, etc) 2. L’intégration des capteurs extéroceptifs (permettant de réagir aux stimulis externes du véhicule) 3. L’utilisation des réseaux de capteurs Les capteurs proprioceptifs sont capables de détecter et de réagir à une situation de danger en analysant le comportement du véhicule (vitesse ou position des roues, etc). Par contre les extéroceptifs tels que les ultrasons, radar, lidar, infrarouge et de vision sont capables de réagir rapidement et de prévoir les dangers possibles en analysant l’environnement extérieur du véhicule. Des améliorations supplémentaires sont attendues par l’application de plates-formes multisensorielles et de réseaux de capteurs de trafic. Dans cette section, nous allons faire le point sur les capteurs extéroceptifs. Les ADAS n’agissent pas de manière autonome mais fournissent des informations supplémentaires sur la situation du trafic pour accompagner un conducteur et l’assister dans la mise en œuvre des actions critiques. La synchronisation des actions du conducteur et des informations de l’environnement ainsi que la reconnaissance des éventuelles manœuvres du véhicule sont essentielles pour la performance efficace des diverses applications d’ADAS. Quelques exemples d’application ADAS sont décrits ci-dessous. La détection des angles morts (BSD) surveille la zone à côté d’un véhicule. La fonction d’un système de détection des angles morts est d’avertir le conducteur lors9 qu’il y a des objets dans les angles morts, avec un signal visuel tel qu’un voyant qui s’allume sur le rétroviseur ou avec un alerte sonore. Le but de ce système est d’éviter les accidents potentiels, en particulier lors des manœuvres de changement de voie vers un trafic dense [123, 124, 60, 110, 145, 45, 62]. L’alerte de circulation transversale arrière (RCTA) permet d’éviter les accidents lors de la marche arrière spécialement dans un parking, ce qui peut souvent entraîner de graves accidents avec des piétons ou cyclistes qui impliquent des blessures corporelles. Pour cette fonction, l’environnement derrière le véhicule est surveillé et vérifié. Dans le cas où un objet est détecté dans le sens de marche arrière, le conducteur reçoit un avertissement sonore et visible [55, 72, 21, 147, 148, 68]. La commande intelligente des phares (IHC) régule les feux d’un véhicule selon les conditions environnementales. Cette application optimise les changements entre les feux de route et les feux de croisement pendant les trajets de nuit. Conduire la nuit ou à travers les tunnels est ainsi plus confortable et plus sécurisé. De plus, les conducteurs venant en sens inverse des véhicules ne sont plus aveuglés par les feux des véhicules [111, 112, 85, 78, 82, 41, 125]. Une autre application de sécurité est l’assistance aux panneaux de signalisation (TSA). Ce système reconnaît automatiquement les panneaux de signalisation (également les panneaux de différents pays) et peut traiter les informations qu’ils contiennent. Par conséquent, un conducteur est en mesure de recevoir des informations importantes telles que les limites de vitesse légales ou les règles de priorité réelles. Lorsque ces informations sont fournies, l’assistance aux panneaux de signalisation permet une conduite plus détendue et plus sûre [51, 92, 118, 10, 18, 130, 129, 86, 153]. L’avertissement de sortie de voie (LDW) scanne les côtés de la route et détecte quand un véhicule quitte involontairement sa voie ou une sortie de route. En contrôlant le mouvement de direction, le système est en mesure d’évaluer si le changement de voie est intentionnel. Le système avertit le conducteur que les voies ont été changées par inadvertance avec un avertissement visuel ou haptique tel que les vibrations du volant. Ce système permet de réduire les accidents de circulation causés par des véhicules quittant la route [66, 15, 144, 94, 77]. 10 L’assistance au freinage d’urgence (AEB) améliore la sécurité de conduite grâce au freinage actif permettant de freiner automatiquement dans les situations dangereuses. Les collisions par arrière peuvent donc être évitées entièrement. De plus, les conséquences des accidents sont réduites en raison de la réduction de la vitesse d’impact et de l’énergie d’impact. Le frein d’urgence est également une interface possible pour les applications pré-collision et les systèmes de protection des piétons [20, 126, 56]. Le régulateur de vitesse adaptatif avec fonctions Stop & Go (ACC + S&G) contrôle la distance par rapport au véhicule qui précède, même en cas d’arrêt et de départ. Et ce, soit en avertissant le conducteur soit en ralentissant activement la vitesse du véhicule lorsque la distance relative devient plus courte. Cette application est bénéfique en particulier dans les situations de trafic congestionné, permettant au conducteur une conduite plus confortable et plus décontractée avec la fluidité du trafic. La sécurité est améliorée grâce à une distance prédéfinie, en cas d’urgence un freinage d’urgence est nécessaire [88, 132, 135, 91]. De nombreuses nouvelles applications mentionnées dans [14] sont en cours de développement et optimisées en permanence pour améliorer la sécurité des passagers, des piétons ou des animaux. Elles offrent un véritable confort de conduite et réduisent la fatigue sur la route.

Evolution des ADAS

L’évolution des systèmes d’assistance du conducteur d’un point de vue technologique est illustrée sur la Figure 1-1, montrant son développement depuis 1980 avec une évolution future potentielle après les années 2030. L’un des premiers systèmes d’assistance actifs basés sur les capteurs proprioceptifs est le système de freinage antiblocage (ABS), avec une production en série à partir de 1978. Le système de contrôle de Traction (TCS) a par la suite complété l’évolution des ABS. Des années plus tard en 1995, l’introduction des systèmes de contrôle dynamique, tels que le contrôle électronique de la stabilité (ESC), a marqué une étape importante dans le développement des ADAS. En terme de sécurité routière, des études ont montré que les systèmes de contrôle dynamique sont les plus efficaces pour la sécurité des passagers, après la ceinture du siège [2]. Avec la reconnaissance publique de la sécurité potentielle des systèmes de contrôle dynamique, la fréquence de la mise en œuvre de ces systèmes a augmenté de manière significative, et ils ont, en conséquence, sauvés plusieurs milliers de vies. À partir de novembre 2014, ESC (en plus des systèmes d’assistance de freinage développés en parallèle) sont devenus même une obligation légale pour chaque nouvelle voiture dans l’Union Européenne. Les capteurs extéroceptifs (ultrasons, radar, lidar ou caméras, …), quant à eux, acquièrent des informations du côté extérieur du véhicule. Ces capteurs fournissent des informations à propos de la route à parcourir, sur la présence des autres utilisateurs de la route, ainsi que sur la position du véhicule en utilisant les systèmes de positionnement par satellite (GNSS). La deuxième génération des Systèmes d’Aide à la Conduite, introduite pour la première fois vers 1990, est basée sur les capteurs extéroceptifs. Elle se concentre sur la fourniture d’informations au conducteur, sur son avertissement en cas de besoin 12 ainsi que sur l’amélioration de son confort de conduite. Grâce à la réduction des coûts de navigation sur les appareils mobiles, la technologie utilisant le GNSS est devenue répandue dans les véhicules de nos jours. Permettant ainsi de réduire le risque des accidents dues à l’inattention, en aidant le conducteur dans son orientation et en réduisant ainsi la charge de travail du conducteur, en consacrant son attention à sa tâche primaire qui est la conduite. Les Systèmes de Prévention de Collision (CAS) sont des systèmes proactifs de pré-collision permettant de prévenir un accident imminent en alertant le conducteur. En utilisant les niveaux d’alertes croissants, le conducteur est averti d’une collision imminente. Si ce dernier ne réagit pas à l’alerte, le véhicule freine activement pour atténuer la gravité de l’accident une fois qu’il n’est plus évitable [89]. Parmi ces systèmes, nous trouvons les systèmes anti-collision piétons-engins qui visent à réduire les accidents avec l’utilisateur de route le plus vulnérable qui est le piéton. Ces derniers systèmes utilisent des techniques de détection de piéton pour alerter le conducteur de sa présence mais n’incluent aucune information sur sa direction de marche. Notre intérêt dans cette thèse est d’améliorer les systèmes de prévention de collisions, notamment sur les zones peu structurées. Dans ce cadre, nous proposons un nouveau système d’alerte prenant en considération les piétons ayant un comportement à risque en se basant sur leur direction de marche. Le secteur ADAS est actuellement dominé par les technologies basées sur les radars et les caméras. L’objectif à court terme est d’automatiser la conduite pour certaines situations. A titre d’exemple, les systèmes d’assistance aux embouteillages basés sur le radar et les caméras stéréo ont été récemment introduits. Ces systèmes sont conçus pour automatiser la conduite à basse vitesse sur les autoroutes encombrées, grâce à l’intégration du contrôle latéral et longitudinal. La vitesse de déplacement maximale est encore faible (30 km / h), limitée à des situations d’arrêt et de départ, mais cette fonction peut éventuellement émerger vers la conduite automatisée sur autoroute. D’autres extensions des ADAS actuels sont à venir, tels que l’assistance pour la détection du trafic venant en sens inverse dans des conditions de vision défavorables. Certains de ces systèmes nécessitent l’échange de données entre les acteurs de la route 13 ou avec l’infrastructure. Dans le cadre de cette thèse, nous proposons un nouvel ADAS pour la protection des piétons ayant un comportement à risque, notamment sur les environnements non structurés, en se basant sur la direction de marche du piéton. 

Méthodes de détection de piétons

Les techniques de détection des piétons sont basées soit sur des descripteurs, soit sur l’apprentissage profond. Au cours des dernières années, les approches d’apprentissage profond ont maintenu leur supériorité sur les approches classiques. Compte tenu de cela, nous nous concentrons dans la suite de cette thèse, sur les approches basées sur l’apprentissage profond. Dans ce chapitre, nous mettons particulièrement l’accent sur la création d’une taxonomie des techniques de détection des piétons. Nous commençons cette section en notant que presque toutes les techniques contemporaines de détection des piétons basées sur l’apprentissage profond sont dérivées de détecteurs d’objets classiques. Par conséquent, les mécanismes suivis dans différents détecteurs d’objets classiques ont un impact sur la conception et le fonctionnement de divers détecteurs de piétons. Partant de ce point de vue, nous classons d’abord les détecteurs d’objets classiques, puis nous les décrivons. Nous décrivons ensuite divers détecteurs de piétons comme des extensions et des modifications de détecteurs d’objets classiques. 

Classification par descripteurs

Avant le succès des réseaux de neurones convolutifs dans le domaine de la vision par ordinateur, une variété de descripteurs de caractéristiques traditionnels, y compris SIFT [93], LBP [143], SURF [9], HOG [35] et Haar [138], ont été étudiés dans le contexte de la détection d’objets en général et dans la détection des piétons en particulier. Ces caractéristiques classiques extraient généralement de l’image des informations sur la couleur, la texture ou les bords. 14 Il existe deux types de descripteurs : les descripteurs locaux et les descripteurs globaux. Les premiers décrivent une simple portion de l’image. Généralement, il s’agit du voisinage d’un point précis de l’image qui contient des informations intéressantes pour décrire la scène ou l’objet présent dans celle-ci. Ces points appelés points d’intérêt sont généralement choisis via un détecteur. Une fois les points détectés, ils sont décrits par un descripteur local qui utilise le voisinage de ces points. Les descripteurs globaux font, quant à eux, une description de l’ensemble de l’image. Généralement, l’image est découpée et traitée en sous-blocs. Une description de chaque partie est calculée et au final une description de l’image entière est obtenue. Nous allons présenter dans cette section les descripteurs les plus utilisés pour la détection du piéton. Ondelettes de Haar L’analyse par ondelettes a été introduite dans les années 1980 pour étudier des signaux. Cette représentation donne simultanément des informations temporelles et fréquentielles, facilitant ainsi l’identification des caractéristiques physiques de la source du signal. D’abord utilisées en traitement du signal, leur champ d’applications s’est étendu à bien d’autres domaines, notamment au traitement d’images. Aujourd’hui elles représentent un descripteur largement répandu en reconnaissance des formes. Papageorgiou et al. [103] ont adapté ces ondelettes afin de les utiliser en tant que descripteur d’images pour la reconnaissance d’objets. L’idée est d’encoder les différences d’intensité entre des zones particulières d’une image. Prenons l’exemple d’une image de visage en niveaux de gris (voir figure 1-2a) : il apparaît aisément que la bouche, le nez et les yeux sont des zones de changements d’intensité. Les ondelettes de Haar permettent alors de capturer ces caractéristiques en les adaptant en position, en taille et en orientation. La figure 1-2b schématise les différentes orientations usuellement exploitées en reconnaissance d’objets. Pour caractériser au mieux un objet, chaque ondelette est adaptée en position et taille. Par exemple, pour un visage, une ondelette d’orientation horizontale est très souvent utilisée pour la bouche avec une taille adéquate, et une ondelette verticale 15 (a) (b) Figure 1-2 – (a) Description d’un visage avec les ondelettes de Haar. (b) Exemples des ondelettes de Haar [103] pour caractériser le nez comme sur la figure 1-2a. Mais pour améliorer le modèle, les ondelettes sont déplacées autour de la position initiale afin d’obtenir un ensemble complet pour décrire l’image. Histogramme de Gradient Orienté (HOG) Une des méthodes les plus populaires et les plus utilisées pour la détection des piétons est l’histogramme du gradient (HOG) [35, 48, 133, 70, 8]. La technique se base sur le calcul de gradient qui peut se faire en tout point d’une image. De façon générique, le gradient permet de calculer les variations d’une fonction par rapport aux variations de ses différents paramètres. En ce qui concerne le calcul de gradients dans les images de luminance, il s’agit de calculer la variation de l’intensité des pixels dans différentes directions. Cela revient à un calcul de gradient 1D dans les directions intéressantes (classiquement en horizontal, vertical ou diagonal). Un gradient 1D horizontal ou vertical est tout simplement un calcul de la dérivée partielle de la fonction image I(x, y). Les histogrammes de gradients orientés, permettent de calculer les occurrences des orientations du gradient dans une portion localisée de l’image.