Ecrivez-nous

information, théorie de l', théorie mathématique de la transmission et du traitement de l’information.

Cette théorie s’intéresse à la mesure de la quantité d’information, à la représentation de cette information, encore appelée codage, ainsi qu’aux systèmes de communication qui la transmettent et la traitent. Ce codage peut ainsi se référer à la conversion de sons et d’images en signaux électromagnétiques, mais également au chiffrage de messages confidentiels grâce aux techniques de la cryptographie. Outre les télécommunications, l’électronique et l’informatique, la théorie de l’information s’applique à divers domaines comme la cybernétique, la linguistique ou la psychologie.

Le besoin d’une base théorique aux techniques de communication fut suscité par l’accroissement en complexité et en nombre de leurs applications (téléphone, radio, etc.).

En 1948, le mathématicien américain Claude Elwood Shannon fut ainsi le premier à formuler une théorie de l’information dans son ouvrage Théorie mathématique de la communication. Telle qu’elle fut décrite par Shannon, cette théorie s’avère être aujourd’hui d’une portée générale, concernant l’ensemble des formes de communication qui ont été développées depuis : télévision, codage et transmission des informations dans les ordinateurs, stockage des données sur support magnétique ou optique, etc.

La théorie de l’information s’applique au modèle général d’un système de communication (dispositif de télécommunication quelconque, système de transmission de données entre les différents composants d’un ordinateur, etc.). Ce système se compose des éléments suivants : une source d’information, qui produit le message à transmettre, un canal de communication, par lequel transite ce message, et un récepteur, destinataire du message.

Tout système de communication présente quelques imperfections inévitables : la capacité forcément limitée du canal, et l’altération du message due aux interférences, au bruit et à une atténuation naturelle. Pour pallier cette altération, la théorie de l’information propose de placer, aux deux extrémités du canal, des dispositifs appelés modulateur et démodulateur, ou codeur et décodeur, qui permettent de transmettre le message efficacement et correctement, malgré les imperfections du canal.

Considérons par exemple le système de communication constitué par une liaison téléphonique entre deux abonnés. L’un des deux individus, source d’information, parle dans le microphone de son poste téléphonique, qui convertit alors les paroles prononcées en signaux électromagnétiques. Ces signaux sont ensuite transmis par le réseau téléphonique jusqu’au poste destinataire, qui les transforme à nouveau en impulsions sonores, afin que la seconde personne puisse entendre le message dans le haut-parleur. Dans cet exemple, le canal de transmission, figuré par une succession de câbles, de dispositifs électroniques, voire de faisceaux hertziens, subit de nombreuses interférences dues notamment aux orages et aux appareils électriques. Ces interférences, qui déforment et dégradent les signaux, sont fréquemment perçues au téléphone sous la forme de « parasites » ou « friture ». Voir Téléphone.

On nomme bruit, l’ensemble des informations dénuées d’intérêt qui viennent s’ajouter à l’information pertinente à transmettre (signal). Le rapport signal / bruit permet de mesurer la qualité d’un système de communication, la compréhension finale d’un message étant d’autant meilleure que ce rapport est élevé.

La théorie de l’information manipule le concept d’information en tant que contenu mesurable, en termes statistiques, des messages transmis : par conséquent, elle ne prétend pas évaluer le sens de ces messages, se penchant uniquement sur leur quantité. Toutefois, elle n’en suggère pas moins quelques réflexions sur l’information au sens habituel du terme. Shannon détermina ainsi qu’une information a d’autant plus de valeur que sa probabilité est faible. Par exemple, il peut être utile d’apprendre que « l’autoroute est coupée dans 20 km » car cet événement se présente relativement rarement ; en revanche, signaler que « l’opposition n’est pas d’accord avec le gouvernement » est une information de faible valeur, car fortement probable.

L’information contenue dans un message est donc une quantité mathématiquement mesurable, liée à la probabilité que ce message soit choisi parmi un ensemble de messages possibles. Plus le message est probable, plus la quantité d’information qu’il transporte est faible. Par conséquent, un message attendu avec certitude possède une quantité d’information nulle.

La quantité d’information contenue dans un message est liée à la probabilité p du message par la formule de Shannon : I = log₂1/p où log₂ est le logarithme de base 2 de 1/p, c’est-à-dire l’exposant qui doit être attribué au nombre 2 afin d’obtenir le nombre 1/p. Par exemple, log₂8 = 3 parce que 2³ = 8.

Imaginons, par exemple, que l’on lance une pièce en l’air et que l’on décrive le résultat par le message « pile ou face » : ce message ne révélant rien, sa quantité d’information est donc nulle. En revanche, si l’on décrit le résultat par les messages séparés « pile » ou « face », ces derniers traduisent des résultats équiprobables, de probabilité 1/2. En utilisant la formule de Shannon, on peut déterminer que les messages « pile » ou « face » ont une quantité d’information égale à log₂2 = 1.

Ainsi définie par la formule de Shannon, la quantité d’information d’un message représente également le nombre de symboles binaires nécessaires pour représenter ce message. Ces symboles, appelés bits, correspondent aux chiffres utilisés en base 2, à savoir 0 et 1. Dans l’exemple cité ci-dessus, il suffit en effet d’un seul symbole pour décrire chacun des deux messages, par exemple le symbole 0 pour « pile » et le symbole 1 pour « face ». Si une pièce est lancée en l’air trois fois de suite, les huit résultats possibles (« face-face-face », « face-face-pile », « face-pile-pile », « face-pile-face », « pile-pile-pile », « pile-pile-face », « pile-face-face » et « pile-face-pile ») peuvent être représentés par les messages 000, 001, 010, 011, 100, 101, 110 et 111. On peut noter que la probabilité de chaque message valant 1/8, sa quantité d’information est par conséquent égale à log₂8 = 3 : trois bits sont effectivement nécessaires pour représenter chaque message.

Prenons l’exemple de messages composés de combinaisons aléatoires des 26 lettres de l’alphabet, de l’espace et de 5 signes de ponctuation, et supposons que tous ces caractères aient la même probabilité. La quantité d’information de chaque caractère est donc I = log₂32 = 5, ce qui signifie que 5 bits sont nécessaires pour coder chaque caractère, et donc chaque message.

En réalité, si l’on traite un texte, on s’aperçoit que les suites de lettres sont loin d’être le fruit du hasard. Par exemple, la probabilité est très forte pour que la lettre suivant la séquence « informatio » soit un « n ». Il apparaît donc possible de réduire le nombre de bits nécessaires au codage, optimisant ainsi la transmission ou le stockage de l’information. On peut montrer que le français écrit ordinaire véhicule de l’information d’environ 1 bit par lettre, ce qui signifie que la langue française, comme d’ailleurs toute autre langue, possède un haut degré de redondance intrinsèque, appelée redondance naturelle. Cette redondance n’a pas que des inconvénients : elle permet en effet de comprendre des messages dans lesquels les voyelles ont été enlevées, ou encore de déchiffrer une écriture peu lisible.

Grâce à la théorie de l’information, il est donc possible de mesurer la redondance des messages à transmettre, puis de la réduire afin d’utiliser au maximum les canaux de transmission. Les systèmes de communication actuels procèdent ainsi à l’encodage des messages faisant appel au plus petit nombre de bits possible. Cependant, pour réduire l’impact du bruit sur le canal, et donc éviter les erreurs lors de la transmission des messages, ces systèmes ajoutent à cet encodage une redondance artificielle.

Dans la plupart des applications pratiques, lorsque l’on décide d’envoyer un message, on le choisit parmi un ensemble de messages possibles. Tous ces messages sont susceptibles d’être transmis, mais avec une probabilité qui leur est propre. On désigne alors par entropie, terme emprunté à la thermodynamique, la moyenne des quantités d’information des différents messages possibles. Dans le cas simple où les N messages ont tous la même probabilité, l’entropie totale H se traduit alors par la formule H = log₂N.

Voir aussi science de l’information.