Apprentissage par renforcement avec Python - Partie 2

Introduction

6:46

Approximation de la fonction des valeurs des états

6:31

Fonction objectif de prédiction

10:41

Principe de la méthode SGD

6:45

Méthodes du gradient et du semi-gradient

8:03

Technique d'agrégation des états

3:57

Exemple d'application - Mise en place de l'environnement

6:05

Calcul des vraies valeurs des états par programmation dynamique

5:00

Application de l'algorithme SGD par agrégation des états

6:19

Analyse des résultats

6:05

Principe d'approximation par les méthodes linéaires

3:35

Convergence des méthodes linéaire et majoration de l'erreur

8:04

Algorithme du semi-gradient TD n-step

2:25

Exemple d'application semi-gradient TD(0)

5:35

Analyse des erreurs obtenues pour différentes valeurs de alpha et de n

2:59

Introduction

4:11

Bases polynomiales

5:16

Exemple avec les bases polynomiales - implantation du modèle

12:19

Exécution du modèle et analyse des résultats

11:10

Les bases de Fourier en 1D

5:31

Exemple de base de Fourier et d'approximation de fonction en 1D

4:11

Exemple de base de Fourier et d'approximation de fonction en 2D

11:14

Exemple avec les bases de Fourier

10:19

Comparaison bases Polynomiales et de Fourier

6:28

Intelligence artificielle, machine learning et deep learning

3:49

Les types d'apprentissages en deep learning

5:39

Structure d'un réseau de neurones artificiels

9:48

Fonction d'activation de type Sigmoide

6:50

Fonction de prédiction, de perte et de coût

3:42

Algorithme du gradient

7:05

Utiliser un réseau de neurones avec Tensorflow-Keras : Introduction

4:00

Utiliser un réseau de neurones avec Tensorflow-Keras - Création du modèle

6:47

Utiliser un réseau de neurones avec Tensorflow-Keras - Entrainement + prédiction

8:01

Exemple d'application avec un réseau de neurones - Création du réseau

5:33

Exemple d'application avec un réseau de neurones - Algorithme n-step TD

14:00

Exemple d'application avec un réseau de neurones - Configuration de l'optimiseur

6:24

Exemple d'application avec un réseau de neurones - Entrainement du modèle

3:54

Introduction

6:09

Contrôle semi-gradient sur des tâches épisodiques

14:46

Exemple d'application Sarsa 1-pas épisodique avec Fourier - Environnement du jeu

17:02

Exemple d'application Sarsa 1-pas épisodique avec Fourier - Fnc. d'approximation

14:20

Exemple d'application Sarsa 1-pas épisodique avec Fourier - Algorithme avec

11:26

Exemple d'application Sarsa 1-pas épisodique avec Fourier - Résultats

11:38

Contrôle semi-gradient sur des tâches continues

9:24

Exemple de tâche continue - Présentation de l'environnement

9:26

Exemple de tâche continue - Entrainement avec l'algorithme Sarsa différentiel

4:49

Exemple de tâche continue - Analyse des résultats

4:27

Algorithme différentiel semi gradient Sarsa n-step

9:42

Exemple de contrôle différentiel semi gradient Sarsa n-step

9:31

Présentation du problème

10:45

Construction du réseau de neurones

9:35

Algorithme d'apprentissage

8:06

Présentation de l'algorithme Python

9:25

Explications de l'algorithme Python

3:08

Résultats et analyse

5:47

Introduction

6:39

Méthodes semi gradient

9:45

Exemples d'instabilités

6:58

Exemple de Baird

11:10

Méthode TD(0) off-policy sur l'exemple de Baird

5:12

Méthode Q-learning sur l'exemple de Baird

4:16

La triade de la mort

6:57

Aspect géométrique des fonctions des valeurs

4:18

Aspect géométrique de la méthode de Monte-Carlo

7:45

Aspect géométrique de la méthode par programmation dynamique

5:16

Aspect géométrique de la méthode par différences temporelles

5:27

Méthode SGD sur l'erreur TD(0)

4:26

Exemple de mauvaise convergence de l'algorithme naïf résiduel du gradient

11:34

Méthode SGD sur l'erreur de Bellman

3:35

Exemple de mauvaise convergence de l'algorithme résiduel du gradient

4:00

Concept d'apprenabilité

8:05

La fonction objectif VE n'est pas apprenable

5:02

Présentation de l'environnement pour tester l'erreur de Bellman

5:32

L'erreur de Bellman n'est pas apprenable

5:32

L'erreur de Bellman ne partage pas les paramètres optimaux

8:17

Méthodes par gradient TD - Notations matricielles et rappels géométriques

15:29

Méthodes par gradient TD - Expression du projecteur orthogonal

7:51

Méthodes par gradient TD - Construction de l'algorithme

12:15

Méthode Gradient TD - Exemple de Baird

10:57

Méthodes Emphatic-TD

11:20

Méthode Emphatic TD - Exemple de Baird

8:47

Présentation de l'environnement

3:16

Illustration animée de l'environnement

3:33

Entrainement du modèle

11:48

Animation des résultats

3:04