Master 1 · 21 heures

Mathématiques pour le ML et le DL

Les fondations mathématiques du deep learning : algèbre linéaire et SVD, calcul différentiel multivarié, optimisation et théorie de l'information, avec des TD en Python.

Objectifs

• Calculer gradients, jacobiennes et hessiennes, et formaliser la rétropropagation
• Appliquer la SVD et l'ACP à la réduction de dimension
• Comprendre la convergence, les points selle et la régularisation L1 et L2
• Relier entropie croisée et divergence KL au choix d'une fonction de perte

Plan du cours Aperçu gratuit

1. Algèbre linéaire, SVD et ACP
2. TD : SVD sur images et ACP
3. Calcul différentiel multivarié
4. TD : gradients d'un réseau à deux couches, autograd et JAX
5. Probabilités et théorie de l'information
6. TD : SGD et Adam en pratique