Claude Shannon Article, Signification, Explication
Claude Elwood Shannon (30 avril 1916 - 24 février 2001), ingénieur électrique est l'auteur de la théorie de l'information.
| Table of contents |
|
|
Il étudia le génie électrique et les mathématiques à l'Université du Michigan en 1932. Il utilisa notamment l'algèbre booléenne pour sa thèse au MIT, dans laquelle il expliqua comment construire des circuits intégrés.
En 1948, il fit publier un ouvrage A Mathematical Theory of Communications (ISBN 0252725484). Cet ouvrage est centré autour de la problématique de la transmission de l'information d'un émetteur vers un récepteur. Shannon considéra l'entropie de l'information contenue dans le message transmis comme mesure de la redondance.
Il travailla 20 ans au MIT, de 1958 Ã 1978.
Un apport essentiel des travaux de Shannon était la notion d'entropie. Si l'on considère N événements de probabilité p1, p2... pN, mutuellement exclusifs, alors leur entropie de Shannon est définie comme :
Entropie =
Il a par ailleurs :
Biographie
Entropie au sens de Shannon
La découverte du concept ouvrait ainsi la voie aux méthodes dites d'entropie maximale (voir probabilité), donc au scanner médical, à la reconnaissance automatique des caractères et à l'apprentissage par les machines.