Les fondements mathématiques de l'investissement basé sur les objectifs

L'objectif de la gestion de patrimoine basée sur les objectifs (Goal-Based Wealth Management, GBWM) est simple à énoncer mais puissant en pratique : étant donné un horizon d'investissement fixe $T$ (par exemple dix ans) et un niveau de patrimoine cible $G$ (le montant dont tu as besoin pour atteindre ton objectif), trouver la meilleure stratégie de portefeuille possible ${\pi }^{*}$ — une stratégie qui s'adapte au fil du temps à l'évolution des marchés — afin de maximiser la probabilité d'y parvenir. Formellement, nous cherchons :

$${\pi }^{*}=\underset{\pi }{max}\mathbb{P}(W_T\ge G).$$

Théorie de la programmation dynamique

Pour résoudre ce problème de manière rigoureuse, nous nous appuyons sur la théorie mathématique de la programmation dynamique. Cette section présente la théorie de base sous une forme abstraite et générale — indépendante du contexte de l'investissement pour l'instant. Imagine que nous construisons l'échafaudage formel avant d'aménager la pièce. Nous appliquerons cette théorie directement à notre problème GBWM dans la section suivante. Commençons par quelques définitions clés.

Définition 1. Un modèle de contrôle markovien est un quintuplet

$$(X,A,\{A(x)\mid x\in X\},\mathbb{Q},r)$$

composé de :

a) un espace de Borel $X$, appelé l'espace d'états (state space), dont les éléments sont appelés états (states) ;

b) un espace de Borel $A$, appelé l'ensemble de contrôle ou d'actions (control or action set) ;

c) une famille $\{A(x)\mid x\in X\}$ de sous-ensembles mesurables non vides $A(x)$ de $A$, où $A(x)$ représente l'ensemble des contrôles ou actions admissibles lorsque le système est dans l'état $x\in X$. L'ensemble des paires état-action admissibles $$𝕂:=\{(x,a):x\in X,a\in A(x)\}$$ est supposé être un sous-ensemble mesurable de $X\times A$ ;

d) une loi de transition (transition law) $\mathbb{Q}$ ;

e) une fonction mesurable $r:𝕂\to ℝ$ appelée la fonction de récompense à une étape (one-stage reward function).

En termes simples, un modèle de contrôle markovien est une façon formelle de décrire tout problème de décision séquentielle. Il précise : où le système peut se trouver (l'espace d'états $X$), quelles décisions sont disponibles (l'ensemble d'actions $A$), quelles décisions sont admissibles dans chaque état ($\{A(x)\mid x\in X\}$), comment le système évolue en réponse à une décision (la loi de transition $\mathbb{Q}$) et ce que tu gagnes au fil du temps (la fonction de récompense $r$).

Définition 2. Une politique de contrôle est une suite $\pi =\{{\pi }_t,t=0,\dots \}$ de variables aléatoires $A(x_t)$-mesurables $\{a_t\}$. S'il existe une suite $\{f_t\}$ de fonctions mesurables $f_t:X\to A$ telles que : $a_t=f_t(x_t)$, alors la politique $\pi$ est appelée une politique markovienne déterministe (deterministic Markov policy).

Intuitivement, une politique de contrôle $\pi$ est simplement une règle de décision — elle te dit quelle action entreprendre à chaque instant. Le type le plus naturel est une politique markovienne déterministe : à chaque étape, elle associe directement l'état courant à une action via une fonction fixe $f_t$, sans aléatoire dans la décision elle-même.

Étant donné un modèle de contrôle markovien, notre objectif est de maximiser la récompense totale espérée accumulée sur l'horizon entier $T$. Cela est capturé par la fonction critère :

$$J(\pi ,x):={𝔼}_x^{\pi }[\sum _{t=0}^{T-1}r(x_t,a_t)+r_T(x_T)]$$

où $r_T(x_T)$ est la fonction de récompense terminale. Ici, $J(\pi ,x)$ est la récompense totale espérée lorsqu'on démarre dans l'état $x$ et qu'on suit la politique $\pi$ : la somme collecte les récompenses à chaque étape intermédiaire, et $r_T(x_T)$ est la récompense reçue lors de la période finale.

Nous appelons $J^{*}(x)$ la fonction de valeur (value function) — elle enregistre la meilleure récompense espérée atteignable depuis l'état $x$, optimisée sur toutes les politiques admissibles dans $$ \Pi $:$

$$J^{*}(x):=\underset{\Pi }{sup}J(\pi ,x),$$

Notre objectif est alors de trouver une politique optimale ${\pi }^{*}\in \Pi$ — une qui atteint effectivement ce maximum pour chaque état de départ $x$ :

$$J({\pi }^{*},x)=J^{*}(x).$$

Sous des conditions techniques spécifiques, le théorème suivant garantit l'existence d'une politique optimale — et, surtout, nous indique exactement comment la trouver en remontant dans le temps.

Théorème 1. Soient $J_0,\dots ,J_T$ les fonctions sur $X$ définies à rebours par

$$\begin{array}{l}{J}_T(x):=r_T(x)\\ J_t(x):=\underset{A(x)}{max}[r(x,a)+{\int }_X{J}_{t+1}(y)\mathbb{Q}(dy|x,a)],t=T-1,\dots ,0.\end{array}$$

Supposons que ces fonctions soient mesurables et que, pour chaque $t=0,\dots ,T-1$, il existe une fonction mesurable $f_t$ telle que $f_t(x)\in A(x)$ atteigne le maximum dans l'équation ci-dessus pour tout $x\in X$, i.e. $\forall x\in X$, $t=0,\dots ,T-1$

$$J_t(x)=r(x,f_t)+\int J_{t+1}(y)\mathbb{Q}(dy|x,f_t).$$

Alors la politique (markovienne déterministe) ${\pi }^{*}=\{f_0,\dots ,f_{T-1}\}$ est optimale, et la fonction de valeur $J^{*}$ est égale à $J_0$, i.e.,

$$J^{*}(x)=J_0(x)=J({\pi }^{*},x)\forall x\in X.$$

Voici l'énoncé mathématique de l'induction à rebours. Plutôt que de parcourir toutes les stratégies possibles simultanément — une tâche insurmontable — nous résolvons le problème période par période, en partant de la fin. À chaque étape $t$, nous nous demandons : 'Étant donné ma situation actuelle, quelle action maximise ma récompense future espérée ?' La réponse à chaque étape devient le bloc de construction de l'étape précédente.

Pour une preuve du Théorème 1, consulte Hernandez-Lasserre (1996), Section 3.2.

Pour développer l'intuition de ce résultat, considère la récompense résiduelle (reward-to-go) — la récompense totale espérée que tu peux encore collecter à partir du moment $t$, sachant que tu te trouves actuellement dans l'état $x$ et que tu suis la politique $\pi$ :

$$R_t(\pi ,x)={𝔼}^{\pi }[\sum _{n=t}^{T-1}r(x_n,a_n)+r_T(x_T)|x_t=x]$$

Il est possible de démontrer que

$$J_t=\underset{\Pi }{sup}{R}_t(\pi ,x)\forall x\in X,t=0,\dots ,T,$$

Autrement dit, $J_t(x)$ est la meilleure récompense que tu peux espérer collecter de l'instant $t$ jusqu'à $T$, en partant de l'état $x$. Le Théorème 1 nous fournit donc un algorithme pratique : résoudre le problème en remontant depuis la période finale $T$ jusqu'au temps $0$, pas à pas — exactement la procédure d'induction à rebours décrite dans notre article précédent.

Il existe également un résultat complémentaire qui caractérise entièrement quand une politique est optimale. Une politique $\pi$ est optimale si et seulement si, pour tout $t=0,\dots ,T$ et tout état initial $x_0=x$, sa récompense résiduelle est égale à la fonction de valeur optimale :

$${𝔼}_x^{\pi }[R_t(\pi ,x_t)]={𝔼}_x^{\pi }[J_t(x_t)].$$

Ce résultat est connu sous le nom de Principe d'optimalité de Bellman (Bellman's Principle of Optimality) (voir Bellman (1957) pour une description complète et la preuve). Intuitivement, cela signifie qu'une stratégie globalement optimale doit également être localement optimale à chaque étape — il n'y a pas de 'sacrifices à court terme' bénéfiques. Si une politique est sous-optimale à partir d'un certain état, elle ne peut pas être globalement optimale.

Avant d'appliquer cette théorie à notre problème, nous devons aborder une exigence technique importante du Théorème 1 : à chaque étape du raisonnement à rebours, une action maximisante $f_t(x)$ doit réellement exister — non seulement être approchée en limite, mais bel et bien atteinte. L'Hypothèse 1 précise cela.

Hypothèse 1. Le modèle de contrôle markovien et une fonction mesurable donnée $u:X\to ℝ$ sont tels que

$$u^{*}(x)=\underset{A(x)}{sup}[r(x,a)+{\int }_{X}u(y)\mathbb{Q}(dy|x,a)],x\in X$$

est mesurable et il existe une fonction mesurable $f$ telle que la fonction entre crochets atteigne son maximum en $f(x)\in A(x)$ pour tout $x$, i.e.,

$$u^{*}(x)=r(x,f)+{\int }_{X}u(y)\mathbb{Q}(dy|x,f)\forall x\in X.$$

En d'autres termes, l'Hypothèse 1 garantit que la 'meilleure action' dans chaque état n'est pas seulement approchée, mais est effectivement atteinte par une fonction $f$ bien définie.

Hernandez-Lasserre (1996), Section 3.3, fournit trois ensembles de conditions suffisantes sous lesquelles l'Hypothèse 1 est vérifiée. Celui qui est le plus pertinent pour notre application est le suivant.

Théorème 2. Avec les mêmes notations que ci-dessus, l'ensemble de conditions suivant

a) $A(x)$ est non vide et compact pour tout $x\in X$, et la fonction $x\to A(x)$ est semi-continue supérieurement ;

b) la récompense à une étape $r$ est continue et bornée (par le haut) ;

c) la loi de transition $\mathbb{Q}$ satisfait la condition de Feller (Feller condition), i.e.

$$\int v(y)\mathbb{Q}(dy|x,a)$$

est bornée et continue sur $𝕂$ pour toute fonction $v$ continue bornée sur $X$,

implique l'Hypothèse 1 pour toute fonction mesurable non négative $u:X\to ℝ$.

En termes simples, le Théorème 2 dit : si l'ensemble des actions disponibles est compact et varie continûment avec l'état (a), la fonction de récompense est bien comportée — continue et bornée (b), et la loi de transition répond de façon régulière aux variations de l'état et de l'action, dans le sens où de petits changements en entrée produisent de petits changements dans les résultats espérés (la condition de Feller en c) — alors l'algorithme d'induction à rebours est garanti de fonctionner.

Le GBWM comme problème de programmation dynamique

Le fondement théorique étant maintenant établi, nous pouvons projeter notre problème d'investissement directement sur le cadre du modèle de contrôle markovien. En utilisant la terminologie introduite ci-dessus :

a) L'espace d'états $X$ est représenté dans notre cadre par l'espace de patrimoine ${\{W_t\}}_{t=0,\dots ,T}$, i.e. un état $x\in X$ est une valeur de patrimoine $W_t=x$ ;

b) L'ensemble d'actions $A$ est représenté par notre sélection de portefeuilles, i.e. $A={\{{\pi }_k(t)\}}_{k=1,\dots ,\mathrm{N},t=0,\dots ,T}$, où ${\pi }_k(t)$ est le portefeuille de catégorie de risque $k$ au moment $t$ ;

c) La famille $\{A(x)\mid x\in X\}$ de sous-ensembles de $A$ est représentée par l'ensemble des portefeuilles efficaces d'une période disponibles lorsque le système est dans l'état $W_t=x$ ;

d) La loi de transition $\mathbb{Q}(\cdot |x,{\pi }_k(t))$ est générée par les probabilités de transition calculées dans le cadre de notre modélisation.

L'espace d'états, l'ensemble d'actions et la loi de transition s'inscrivent naturellement dans notre cadre. La fonction de récompense $r:𝕂\to ℝ$ requiert cependant un peu plus d'attention.

Il existe deux différences entre la configuration standard de la programmation dynamique et notre problème. Premièrement, la programmation dynamique maximise typiquement une espérance, alors que nous souhaitons maximiser une probabilité. Deuxièmement, notre problème ne comporte qu'une seule récompense en fin d'horizon — atteindre l'objectif — tandis que la formulation standard permet des récompenses à des étapes intermédiaires (une variante que nous utilisons également sur notre plateforme pour certains objectifs avec des versements périodiques).

Pour combler ces deux différences, nous définissons la fonction de récompense comme suit :

$$\{\begin{array}{ll}r(x_t,{\pi }_k(t))=0,& t=0,\dots ,T\forall k=1,\dots ,\mathrm{N}\\ r_T={𝟙}_{\{W_T\ge G\}},& \end{array}$$

Cela signifie que la récompense est 1 si le patrimoine final atteint l'objectif $G$, et 0 sinon — un résultat de type tout ou rien en fin d'horizon. Puisque

$$𝔼[{𝟙}_{\{W_T\ge G\}}]=\mathbb{P}(W_T\ge G)$$

nous voyons que maximiser l'espérance de cette fonction indicatrice revient exactement à maximiser la probabilité d'atteindre l'objectif — ce qui résout la première différence.

Avec cette fonction de récompense, les conditions (a) et (c) du Théorème 2 sont faciles à vérifier dans notre cadre. La condition (b) est plus délicate : parce que la récompense est une fonction indicatrice — passant de 0 à 1 au seuil $G$ — elle n'est pas continue et ne satisfait donc pas directement l'exigence de continuité.

Nous n'entrons pas dans les détails techniques ici, mais il est possible de régulariser la fonction de récompense de façon à rétablir sa continuité, permettant ainsi de satisfaire également cette dernière condition.

Bibliographie

Hernandez-Lasserre (1996): Hernández-Lerma, O. and Lasserre, J. B. (1996). Discrete-time Markov control processes, volume 30 d'Applications of Mathematics (New York). Springer-Verlag, New York. Basic optimality criteria.

Bellman (1957): Bellman, R. (1957). Dynamic programming. Princeton Landmarks in Mathematics. Princeton University Press, Princeton, NJ. Réimpression de l'édition de 1957, avec une nouvelle introduction de Stuart Dreyfus.