Apprentissage par renforcement avec Python - Partie 1

Présentation

8:59

Concepts et terminologie

5:36

Fonctionnement de l'apprentissage par renforcement

4:32

Autres concepts

5:11

Processus de décision Markovien (MDP) déterministes

6:38

MDP stochastiques

2:42

Exemple de MDP en 2D sous Python

4:04

Table des transitions stochastiques

6:49

Formulation mathématique des MDP

6:21

Problématique du bandit manchot

7:17

Paramétrage des distributions (loi normale)

5:57

Calcul de la valeur d'une action

5:46

Programme Python du bandit manchot

7:13

Utiliser les tenseurs en Python avec Numpy

9:47

Programme de simulation

3:56

Simulation avec la méthode Epsilon-Greedy

3:29

Simulation avec la méthode UCB

3:29

Fonction valeur d'état

7:48

Fonction valeur d'action

2:45

Equation de Bellman pour la valeur d'état

10:18

Equation de Bellman pour la valeur d'action

4:18

Optimalité

1:18

Exemple en Python - Présentation du problème

4:43

Exemple en Python - Construction de la table de transition

8:49

Exemple en Python - Application de l'algorithme

13:13

Présentation du projet

9:33

Instanciation de la classe et table des transitions

6:56

Table des valeurs des actions et des états

1:17

Application Bellman avec stratégie Greddy

9:30

Application Bellman avec stratégie Epsilon-Greedy

4:52

Introduction à la programmation dynamique

3:52

Exemple d'algorithme récursif et dynamique

4:15

Rappels sur l'optimalité des fonctions de valeurs d'actions et d'états

3:08

Algorithme itératif pour l'évaluation des stratégies

10:17

Algorithme d'amélioration des stratégies

9:08

Algorithme final d'itération des stratégies

3:05

Exemple Frozen Lake non déterministe

13:01

Exemple Frozen Lake quasi-déterministe

2:47

Algorithme par itération des valeurs

5:52

Application sur le projet du magasin

11:03

Introduction aux méthodes de Monte Carlo

4:57

Estimation de la fonction des valeurs des états

4:11

Exemple : présentation du jeu et création des trajectoires

10:33

Estimation des valeurs des états avec les algorithmes FVMC et EVMC

6:38

Blackjack - Règles du jeu et avantage de la méthode de Monte Carlo

7:32

Blackjack - Création des stratégies initiales et des trajectoires

10:08

Blackjack - Estimation de la fonction des valeurs des états

9:10

Estimation de la fonction des valeurs des actions

6:53

Blackjack - Estimation de la fonction des valeurs des actions

8:49

Approximation des stratégies optimales

6:55

Blackjack - Approximation des stratégies optimales

9:19

Stratégies de type epsilon-soft

3:16

Blackjack - Stratégies de type epsilon soft

7:17

Prédictions avec échantillonnage préférentiel - On-policy et Off-policy

5:46

Ratio d'échantillonnage préférentiel

7:29

Méthode de calcul de la prédiction

9:48

Algorithme itératif de prédiction

10:41

Test de convergence des algorithmes d'échantillonnage préférentiel et ordina

17:55

Contrôle Monte Carlo de type Off Policy

6:49

Introduction à l'apprentissage de type TD

3:54

Petit retour sur la méthode de Monte-Carlo

6:39

Prédiction par différences temporelles

9:12

Exemple d'illustration

10:21

Avantages des méthodes TD

2:51

Explications de l'algorithme TD(0) sur la marche aléatoire

5:17

Expérimentations avec les méthodes TD(0) et MC-alpha constant

9:28

L'apprentissage par lots

2:57

Expériences avec la marche aléatoire

6:01

Analyse des résultats

4:01

Méthode Sarsa

6:51

Exemple d'illustration

4:23

Exemple d'application Sarsa avec stratégie epsilon greedy

9:59

Méthode Q-learning

4:38

Exemple d'illustration

2:20

Exemple d'application Q-learning avec stratégie epsilon-soft

8:21

Comparaison Sarsa et Q-learning avec stratégie epsilon-soft

7:03

Comparaison Sarsa et Q-learning avec stratégie epsilon-greedy

4:32

Introduction aux méthodes n-step

1:02

Prédiction avec les méthodes TD n-step

10:47

Exemple - Présentation de la problématique

4:18

Applicaton de l'algorithme n-step

5:15

Avantage des méthodes n-step sur les erreurs d'estimation commises

5:30

Contrôle avec la méthode Sarsa n-step

5:39

Exemple d'application Sarsa n-step

9:55

Apprentissage de type Off-policy avec les méthodes n-step

5:29

Exemple d'application Off-policy Sarsa n-step

10:26

Apprentissage de type Off-policy sans échantillonnage préférentiel

5:24

Mise en équation et construction de l'algorithme n-step à Arbre

7:05

Exemple d'application n-step à Arbre

6:53

Conclusion

1:22