Information classique avec des variables continues

Information classique avec des variables continues

Le projet général de cette thèse s’inscrit dans la conception et la réalisation de nouveaux protocoles de traitement de l’information à partir de la manipulation des propriétés quantiques du champ lumineux. Avant d’aborder le domaine de l’information quantique proprement dite, il est utile de rappeler les concepts et les résultats majeurs de la théorie classique de l’information. Ces résultats caractérisent les limites classiques des protocoles de communication et nous guideront ainsi naturellement dans nos choix de dispositifs expérimentaux et de protocoles quantiques de traitement de l’information. C’est donc avec une arrière-pensée d’utilisateur que nous abordons cette théorie classique, en vue d’une transposition dans le domaine quantique.Les fondements de la théorie de l’information telle que nous la connaissons aujourd’hui ont été posés par Claude Shannon dans un article devenu une référence célèbre [6] toujours d’actualité. Son intuition majeure est d’identifier un processus de communication comme un processus fonda- mentalement aléatoire où une source (communément nommée Alice) envoie un message inconnu à un récepteur (appelé Bob) à travers un canal physique qui est le siège d’inévitables perturba- tions. Si banale qu’elle puisse nous paraître maintenant, l’identification de ce schéma était une condition nécessaire à l’élaboration de la théorie de l’information, et dans une plus large mesure, à la conception de l’information en tant que grandeur physique au sens propre.

 Introduction par les variables discrètes

Pour introduire la mesure quantitative et la communication de l’information, il est pratique de considérer une source discrète et finie. Les messages émis par une telle source sont des suites de symboles issus d’un ensemble fini qui constitue l’alphabet de la source. Nous pouvons déjà préciser d’autres caractéristiques de cette source : du point de vue du destinataire, les signaux émis sont nécessairement aléatoires (s’ils étaient parfaitement déterministes, le problème de la communication ne se poserait pas). Par ailleurs, la source réalisant une succession d’événement répétitifs, nous supposerons par la suite que la distribution de probabilité des messages est invariante dans le temps, ce qui nous amène à considérer le cas d’un système stationnaire et ergodique. Ces remarques ont conduit Shannon à traiter une source d’information comme le siège d’événements aléatoires formant le message et à définir la quantité d’information de ce message comme une mesure de son imprévisibilité [6]. Une analogie avec la thermodynamique conduit alors à introduire l’entropie d’une variable statistique.Si le nombre de messages à considérer est fini, alors n’importe qu’elle fonction monotone de ce nombre peut être considérée comme une mesure de l’information véhiculée par chacun des messages. Cette information apportée étant directement liée au caractère imprévisible du message, la mesure quantitative de l’information devra donc être reliée à l’inattendu. Ainsi, un événement certain apportera une quantité d’information nulle alors qu’un ensemble d’événements d’égales probabilités apportera une quantité d’information maximale. Par ailleurs, notre intuition de deux événements indépendants nous amène à concevoir leur quantité d’information mutuelle comme la somme de leurs quantités d’information individuelles. Ces critères conduisent alors naturellement vers une quantification de l’information basée sur la fonction logarithme.

supplémentaire à fournir pour corriger le message reçu. Symétriquement, la seconde ligne s’interprète comme l’information reçue moins l’incertitude sur le symbole reçu quand le sym- bole émis est donné. Enfin, la troisième ligne se conçoit comme la somme des informations de chaque partie, moins l’indétermination commune : en un sens, il s’agit du nombre de bits utiles communs aux deux stations.(L) est le nombre de messages possibles de longueur en symboles L transitant à travers le canal et compatibles avec ses contraintes techniques. En l’absence de bruit, la capacité est alors la quantité d’information maximale que chacun des symboles peut apporter en sortie.En présence de bruit, la capacité d’un canal est donnée par le taux maximal de transfert d’information sans distorsion irrémédiable du signal. Le maximum s’entend par rapport au seul paramètre extérieur variable, c’est-à-dire par rapport à toutes les distributions de sources stationnaires et ergodiques d’alphabet fixé.Le théorème fondamental de codage de canal [6, 7, 8] assure qu’il est possible, en utilisantun codage approprié, de transmettre un message à travers un canal bruité avec une qualité de restitution arbitrairement élevée, du moment que l’entropie de la source H(A) est inférieure àcommunications, le transfert d’information est optimal lorsque l’entropie de la source est adaptée à la capacité du canal. Mais si la théorie de Shannon affirme qu’un tel taux de transfert est atteignable, elle ne fournit malheureusement pas de codage explicite pour atteindre un tel niveau. Par la suite, nous considérerons que la distribution de la source est connue et fixée et que le canal de transmission est adapté à la source, c’est-à-dire qu’il n’introduit pas de déformation non- corrigeable au signal. Dans ce cas, le paramètre pertinent pour la transmission est l’information mutuelle.