Extrait du cours sur les systemes de communication et mesure de l’information

Chapitre 1 Systemes de communication
1.1 Introduction
La theorie des communications s’interesse aux moyens de transmettre une information depuis une source jusqu’a un utilisateur (cf. Figure 1.1). La nature de la source peut-etre tres variee. Il peut s’agir par exemple d’une voix, d’un signal electromagnetique ou d’une sequence de symboles binaires. Le canal peut etre une ligne telephonique, une liaison radio ou encore un support magnetique ou optique : bande magnetique ou disque compact. Le canal sera generalement perturbe par un bruit qui dependra de l’environnement et de la nature canal : perturbations electriques, rayures, . . .. Le codeur represente l’ensemble des operations effectuees sur la sortie de la source avant la transmission. Ces operations peuvent etre, par exemple, la modulation, la compression ou encore l’ajout d’une redondance pour  combattre les effets du bruit. Elles ont pour but de rendre la sortie de la source compatible avec le canal. Enfin, le decodeur devra etre capable, a partir de la sortie du canal de restituer de facon acceptable l’information fournie par la source.
1.2.3 Autres modeles de sources
On peut citer egalement parmi les classes de modeles de source, les sources discretes avec memoire, pour lesquelles une entropie peut etre definie de fa¸con analogue. Enfin, les sources non discretes, ou sources continues, ont une grande importance pour les applications. La sortie d’une telle source sera une fonction continue du temps, par exemple une tension, qu’il faut coder en une sequence binaire. La fonction continue devra etre decrite le plus fidelement possible par la sequence binaire generee par le codeur de source. Le probleme essentiel dans ce cas consiste a minimiser le nombre de symboles transmis pour un niveau de distorsion donne.
1.3.3 Capacite d’un canal
L’un des parametres les plus important d’un canal est sa capacite, nous verrons que cette capacite peut s’interpreter comme une mesure de la quantite d’information, exprimee en bits par seconde par exemple, pouvant etre transmise a travers ce canal. L’interet de  cette grandeur nous vient essentielement du theoreme sur le codage des canaux bruites : grossierement, ce theoreme dit que dans un canal de capacite C bits/s, si l’on veut faire transiter une quantite d’information a un taux utile de R bits/s, tel que R < C , alors il existe une procedure de codage et une procedure de decodage telles que le taux d’erreur
Chapitre 2 Une mesure de l’information
Nous donnons dans ce chapitre une mesure de la quantite d’information adaptee a la description statistique des sources et des canaux. Les enonces qui en resultent faisant largement appel aux probabilites discretes, nous commencerons l’expose par le rappel de quelques elements de theorie des probabilites.
2.1 Rappels de theorie des probabilites discretes
2.1.1 Espace probabilise discret
Une experience aleatoire se decrit mathematiquement par la donnee de l’ensemble des resultats, ou issues, possibles de cette experience, cet ensemble est appele espace des epreuves.
2.2 Une definition de l’information
2.2.1 Incertitude et information
a – Description qualitative et quantitative de l’information
Avant de trouver un moyen de mesurer quantitativement l’information, nous allons essayer de preciser le concept d’information.
Nous l’avons vu, la fa¸con la plus appropriee de decrire un systeme de communication est d’en donner un modele probabiliste. Fournir une information a un utilisateur consiste a choisir un evenement parmi plusieurs possibles. Qualitativement, fournir une information consiste donc a lever une incertitude sur l’issue d’une experience aleatoire.

……..

Si le lien ne fonctionne pas correctement, veuillez nous contacter (mentionner le lien dans votre message)
Cours sur les systemes de communication et mesure de l’information (400 KO) (Cours PDF)