IFT603 - Techniques d'apprentissage


Objectifs du cours

L’apprentissage automatique ou l’apprentissage par machine (Machine Learning) s'intéresse à la conception, l'analyse, l'implémentation et l’application de programmes d’ordinateur capables de s’améliorer, au fil du temps, soit sur la base de leur propre expérience, soit à partir des données antérieures fournies par d’autres programmes. De nos jours, l’apprentissage automatique joue un rôle essentiel dans de nombreux domaines d’applications, tels que la vision par ordinateur, le traitement automatique du langage, la reconnaissance vocale, les systèmes tutoriels intelligents, la modélisation de l’usager, la robotique, la bio-informatique, les finances, le marketing, les jeux vidéos, la télédétection, etc. En fait, la plupart des programmes de l’intelligence artificielle contiennent un module d’apprentissage. Presque tous les systèmes de reconnaissances de formes sont basés sur des techniques d’apprentissage.


Manuel

Il est possible de réussir le cours sans acheter le manuel de référence. Cependant, il est FORTEMENT recommandé d'en faire l'achat car le cours en est tiré. Le livre de référence est Pattern Recognition and Machine Learning de Christopher M. Bishop. Il est possible de le commandér sur Amazon. Une copie est également en réserve à la bibliothèque des sciences et de génie.

Pour ceux et celles qui ne rechignent pas à l'idée de lire un livre sur un écran d'ordinateur, le manuel de Bishop est disponible en format pdf


Notes de cours

Date Contenu Sections
du livre
LU 09/01
ME 11/01
Présentation du cours [pdf]
Mise à niveau
 • Tutoriel Python
 • Dérivées
 • Dérivées partielles
 • Algèbre linéaire (Bishop : Appendix C)
LU 16/01
ME 18/01
Concepts fondamentaux [pdf]
 • Motivation (3:48)
 • Notation et nomenclature (3:41)
 • Types d'apprentissage (10:45)
 • Exemple : régression polynomiale (11:07)
 • Sur-apprentissage / sous-apprentissage (9:45)
 • Régularisation (8:05)
 • Sélection de modèle (11:23)
 • Malédiction de la dimensionnalité (9:47)
 • Résumé (2:38)

1.0
|
|
1.1
|
|
1.3
1.4
x
LU 23/01
ME 26/01
Formulation probabiliste [pdf-1] [pdf-2] [ipython notebook]
 • Rappel de la théorie des probabilités (14:47)
 • Variable aléatoire continue (9:15)
 • Espérance, variance et covariance (12:59)
 • Loi gaussienne / normale (10:01)
 • Régression polynomiale revisitée (12:00)
 • Maximum a posteriori (7:17)
 • Théorie de l'information (16:47)
 • Divergence de Kullback-Leibler (5:05)

1.2
1.2.1
1.2.2
1.2.4
1.2.5
|
1.6
1.6.1
LU 30/01
MA 01/02
Régression linéaire [pdf] [ipython notebook]
 • Modèle (4:57)
 • Fonction de bases (8:58)
 • Maximum de vraisemblance (11:57)
 • Régularisation (4:22)
 • Prédictions multiples (5:37)
 • Théorie de la décision (16:37)
 • Décomposition biais-variance (11:38)
 • Résumé (1:41)

3.1
|
3.1.1
3.1.4
3.1.5
1.5
3.2
x
LU 06/02
ME 08/02
LU 13/02
ME 15/02
LU 20/02
ME 22/02
Classification linéaire [pdf 1] [pdf 2] [ipython notebook]
 • Fonction discriminante (17:17)
 • Méthode des moindres carrés (4:53)
 • Analyse discriminante linéaire (12:43)
 • Approche probabiliste générative (24:02)
 • Approche probabiliste discriminante (17:12)
 • Classificiation à multiples classes (6:23)
 • Résumé (8:05)

4.1
4.1.3
4.1.4
4.2
4.3
4.1.2
x
LU 27/02 Semaine de lecture
LU 06/03 Semaine d'examens périodiques
Exame intra : Mercredi 8 mars, 10h30, local:D3-2035
LU 13/03
ME 15/03
Méthodes à noyau [pdf] [ipython notebook]
 • Motivation (4:30)
 • Représentation duale (régression) (15:48)
 • Astuce du noyau (12:38)
 • Construction de noyaux (12:43)
 • Résumé (6:40)


x
6.1
6.2
|
x
LU 20/03
ME 22/03
Machine à vecteurs de support [pdf]
 • Motivation (4:41)
 • Marge (6:13)
 • Classifieur à marge maximale (9:55)
 • Représentation duale (15:33)
 • Chevauchement de classes (10:26)
 • Lien avec la régression logistique (11:22)
 • Résumé (7:05)

7.0
7.1
|
|
7.1.1
7.1.2
x
LU 27/03
ME 29/03

Concepts fondamentaux (3)
[pdf]
 • Décomposition en valeurs propres (11:31)
Formulation probabiliste (2) [pdf]
 • Loi normale / gaussienne (2) (17:20)
Réduction de dimensionnalité ( [pdf] [ipython notebook]
 • Motivation (12:36)
 • Analyse en composantes principales (11:48)
 • ACP en pratique (14:57)
 • ACP à noyau (23:47)
 • Centrage du noyau (5:07)
 • Résumé (9:36)

x


2.3


12.0
12.1
|
12.3
|
x
LU 03/04
ME 05/04
Mélange de gaussiennes [pdf] [pdf 2]
 • Motivation (3:04)
 • Modèle (13:24)
 • Partitionnement de données (9:20)
 • Maximum de vraisemblance (EM) (21:08)
 • Dérivation générale de EM (25:49)
 • Résumé (12:14)

x
9.2
|
|
9.4
x
LU 10/04
MA 12/04
Combinaison de modèles [pdf] [ipython notebook]
 • Motivation (4:45)
 • Bagging (6:41)
 • Propriétés du bagging (7:18)
 • Boosting (17:34)
 • Propriétés du boosting (13:39)
 • Résumé (4:35)

14.0
14.2
|
14.3
14.3.1
x
LU 10/04
MW 12/04
Formulation probabiliste (3) [pdf]
 • Loi marginale d'une gaussienne (7:37)
 • Loi conditionnelle d'une gaussienne (9:51)

Apprentissage bayésien [pdf] [ipython notebook]
 • Motivation (8:17)
 • Régression linéaire bayésienne (13:01)
 • Exemple : régression linéaire bayésienne (6:31)
 • Loi prédictive a posteriori (11:27)
 • Régression bayésienne à noyau (7:19)
 • Processus gaussien (16:51)
 • Résumé (6:06)

2.3.1
2.3.2


1.2.6
3.3.1
|
3.3.2
x
6.4.2
x
LU 10/04
MW 12/04
Méthodes d'échantillonnage(Si le temps le permet) [pdf]
 • Motivation (7:17)
 • Variable aléatoire discrète scalaire (5:24)
 • Variable aléatoire continue scalaire (5:06)
 • Variable aléatoire gaussienne vectorielle (6:04)
 • Méthode de rejet (8:22)
 • Échantillonnage préférentiel (6:31)
 • Metropolis-Hastings (11:45)
 • Échantillonnage de Gibbs (7:07)
 • Résumé (5:25)

11.0
11.1.1
|
|
11.1.2
11.1.4
11.2
11.3
x


Travaux Pratiques
Tp1 Description code
Tp2 Description (remise : 20 mars) code
Tp3 Description (remise : 31 mars) code
Tp4 Description (remise : 13 avril) code
Sommaire
Session
Hiver 2017

Professeur
Pierre-Marc Jodoin

Correcteur
Clément Zotti

Périodes de cours
Lundi de 16h30 à 17h20
Mercredi de 10h30 à 12h20

Période de TD
Mercredi de 10h30 à 12h20

Locaux
D4-2022 (cours magistraux)
D4-0023 et D4-0024 (TD)

Période de disponibilités
Jeudi de 9h30 à 17h30

Horaire et plan de cours
(Cliquez ici)

Created by Pierre-Marc Jodoin