Les relations entre la théorie de l'information et d'autres disciplines

Théorie de l'information
et du codage

Louis Wehenkel
Université de Liège, Institut Montefiore

ELEN060-0 :
- OBLIGATOIRE : 1M Ingénieur Electricien et Informaticien

Attention: premier cours le jeudi 15 septembre 2011, 9h-12h30, local II/93, Institut Montefiore

Nouveau en date du 17.12.2011:

- Liste de questions et informations pour préparer pour l'examen écrit de janvier 2012 (pdf)

Nouveau en date du 18.12.2010:

- Liste de questions à préparer pour l'examen de janvier 2011 (pdf)
- Chaque étudiant devra répondre par écrit à deux questions choisies au hasard parmi cette liste
- Il sera ensuite interrogé oralement sur ces réponses et sur quelques points couvrant le reste de la matière

Nouveau en date du 9.10.2009:

- Livre de référence sur les modèles graphiques (pdf)
- Slides des leçons sur les modèles graphiques (version 2009-2010) (pdf)

Nouveau en date du 18.12.2008:

- Matière de l'examen oral de janvier 2009 (pdf)
- Résultats de l'interrogation écrite de novembre 2008 (pdf)

Pour votre préparation :
- Interrogation écrite de l'année 2000-2001 (énoncés et corrigés) Version pdf (101671 bytes) Version ps.gz (50995 bytes)
- Questions de l'examen écrit 2004-2005: partie théorie (pdf)
- Questions de l'examen écrit 2004-2005: partie exercices (pdf)
- Matière de l'examen écrit du 24 janvier 2006: (pdf)
- Matière de l'examen oral de janvier 2008: (pdf)

TRAVAUX par groupe (nouveau, en date du 21/11/2008)

Travail sur le compressed sensing (2008-2009):

Vous trouverez ci-dessous les documents utiles

énoncé du travail (928482 bytes)

transparents de Fr. Schnitzler (928482 bytes)

Article introductif (à lire pour le 28/11) (383730 bytes)

Descriptif :

La théorie de l'information fournit une mesure quantitative de la notion d'information apportée par un message (ou une observation). Cette notion fut introduite par Claude Shannon en 1948 afin d'étudier les limites du possible en matière de compression de données et de transmission d'informations au moyen de canaux bruités. Elle a trouvé depuis lors de nombreuses applications en télécommunications, en informatique et en statistique notamment.
Le cours se compose de trois parties.
1. Les bases de la théorie de l'information et du raisonnement probabiliste.
2. Le grands théorèmes de Shannon (limites théoriques en matière de codage de source et de canal).
3. Une introduction aux techniques de codage dans le domaine de la compression de données, des codes correcteurs d'erreurs et de la cryptographie.
4. Une revue de différentes applications de la théorie de l'information en dehors du domaine de l'informatique et des transmissions de données.

Horaire :

Jeudi PM (12h30), premier semestre. Local II.93 - Institut Montefiore

Modalités :

Travail pratique.

Examen oral en janvier (exercices et théorie).

Notes :

Vous trouverez ci-dessous les versions .pdf et .ps des notes du cours.

Version .pdf avec liens hypertexte (10 Mbytes)

Version .ps.gz imprimable (3.6 Mbytes)

Rappels :

Vous trouverez ci-dessous les versions .pdf et .ps des appendices (rappels de probabilites, statistiques, algebre et analyse) au cours

Version .pdf avec liens hypertexte (928482 bytes)

Version .ps.gz imprimable (383730 bytes)

Transparents :

Vous trouverez ci-dessous et au fur et à mesure, les versions .pdf des transparents utilisés pour la présentation des modèles probabilistes graphiques, lors du cours oral en 2008-2009. Cette partie du cours est basée sur le livre "Probabilistic reasoning in intelligent systems - Networks of plausible inference" de Judea Pearl (1988, Mogran Kauffman).

Chapitre 3 et 8 (modèles d'indépendances graphiques) 310490 bytes.

Transparents complémentaires utilisés en 2008:

Codage canal 2

Codage canal 3

Codage canal 4

Vous trouverez ci-dessous les versions .ps des transparents qui seront utilisés pour le cours oral (revus en 2005-2006).

0. Motivation/Organistion 125699 bytes.

1. Premier et second cours 125699 bytes.

2. Suite second cours 114757 bytes.

3. Inference et apprentissage 82754 bytes.

4. Codage de sources (théorie) 92784 bytes.

5. Compression de données 96561 bytes.

6. Compression d'images 1248655 bytes.

7. Jeux de courses 34326 bytes.

8. Codage de Canal (Introduction) 86238 bytes.

9. Codage de Canal (suite et fin) 252622 bytes.

Travaux pratiques :

Les travaux pratiques consisteront pour l'année 2003-2004 en des répétitions et en un travail personnel optionnel. L'énoncé du travail est disponible ci-dessous:

Version .pdf avec liens hypertexte (1119448 bytes)

Page d'accueil de JavaBayes :

Simulateur de réseaux bayesiens JAVABAYES. Manipulations des RB vus au cours oral

Retour