Groupe de Lecture Apprentissage Profond

Format (Proposition Initiale)

• Créneau de 30-40 min sur la pause méridienne toutes les une à deux semaines

Thèmes (Proposition Initiale)

L’idée est de se focaliser sur la description la plus simple et élémentaire du thème en question. On pourra repasser de manière approfondie ultérieurement.

1. Introduction 27/01/2026
   • slides
   • notebook
2. Relaxation Probabiliste 04/02/2026
   • slides
   • notebook
3. Réseaux de Neurones
   • Fonctions d’activation
   • Approximation universelle
4. Minimisation
   • Formelle
   • Gradient
   • Gradient Stochastique
5. Différenciation Automatique. Algorithme de Back Propagation.
6. Régularisation des fonctionnelles de loss. Interprétation bayésienne.
7. Échantillonnage de lois paramétrées
8. Probabilité subjectives, entropies
9. Historique de l’IA
10. PINN (Physically Informed Neural Network)
11. Processus Gaussien
12. Neural Operators
13. Tokenization, Vector Embedding
14. Autocencoders et manifold hypothesis
15. CNN (Convolutional Neural Networks) et images
16. RNN (Recurent Neural Networks)
17. LSTM (Long Short Term Memory)
18. GAN (Generative Adversarial Networks)
19. Transformer et mécanisme d’attention
20. Modèles de Diffusion
21. MCTS (Monte Carlo Tree Search)
22. Renforcement
23. Exemples d’implémentation (pytorch/jax)
24. Biais/Variance, LLM Poisoning

Ressources

Livres

1. MacKay: Information Theory, Inference and Learning Algorithms (bibliothèque laboratoire)
2. Bishop : Deep Learning (bibliothèque laboratoire)
3. Bach : Learning From First Principles (bibliothèque laboratoire)
4. Goodfellow et al : Deep Learning (bibliothèque laboratoire)

Vulgarisation

• LeCun: Quand la machine apprend

Cours

1. B. Galerne : Introduction to Deep Learning
2. B. Galerne : Réseaux de Neurones profonds pour l’Apprentissage