Le basi matematiche dell'investimento basato sugli obiettivi

L'obiettivo della gestione patrimoniale basata sugli obiettivi (Goal-Based Wealth Management, GBWM) è semplice da enunciare ma potente nella pratica: dato un orizzonte temporale fisso $T$ (ad esempio dieci anni) e un livello di patrimonio obiettivo $G$ (l'importo di cui hai bisogno per raggiungere il tuo obiettivo), trovare la migliore strategia di portafoglio possibile ${\pi }^{*}$ — una che si adatti nel tempo all'evoluzione dei mercati — per massimizzare la probabilità di arrivarci. Formalmente, cerchiamo:

$${\pi }^{*}=\underset{\pi }{max}\mathbb{P}(W_T\ge G).$$

Teoria della programmazione dinamica

Per risolvere questo problema in modo rigoroso, ci affidiamo alla teoria matematica della programmazione dinamica. Questa sezione espone la teoria di base in forma astratta e generale — indipendente dal contesto degli investimenti per ora. Pensa a questo come alla costruzione dell'impalcatura formale prima di arredare la stanza. Applicheremo questa teoria direttamente al nostro problema GBWM nella sezione successiva. Iniziamo con alcune definizioni fondamentali.

Definizione 1. Un modello di controllo markoviano è una quintupla

$$(X,A,\{A(x)\mid x\in X\},\mathbb{Q},r)$$

composta da:

a) uno spazio di Borel $X$, detto spazio degli stati (state space), i cui elementi sono chiamati stati (states);

b) uno spazio di Borel $A$, detto insieme di controllo o di azioni (control or action set);

c) una famiglia $\{A(x)\mid x\in X\}$ di sottoinsiemi misurabili non vuoti $A(x)$ di $A$, dove $A(x)$ rappresenta l'insieme delle azioni ammissibili quando il sistema si trova nello stato $x\in X$. L'insieme delle coppie stato-azione ammissibili $$𝕂:=\{(x,a):x\in X,a\in A(x)\}$$ è assunto essere un sottoinsieme misurabile di $X\times A$;

d) una legge di transizione (transition law) $\mathbb{Q}$;

e) una funzione misurabile $r:𝕂\to ℝ$ detta funzione di ricompensa a una fase (one-stage reward function).

In parole semplici, un modello di controllo markoviano è un modo formale di descrivere qualsiasi problema di decisione sequenziale. Specifica: dove il sistema può trovarsi (lo spazio degli stati $X$), quali decisioni sono disponibili (l'insieme di azioni $A$), quali decisioni sono ammissibili in ogni stato ($\{A(x)\mid x\in X\}$), come il sistema evolve in risposta a una decisione (la legge di transizione $\mathbb{Q}$) e cosa guadagni lungo il percorso (la funzione di ricompensa $r$).

Definizione 2. Una politica di controllo è una sequenza $\pi =\{{\pi }_t,t=0,\dots \}$ di variabili casuali $A(x_t)$-misurabili $\{a_t\}$. Se esiste una sequenza $\{f_t\}$ di funzioni misurabili $f_t:X\to A$ tali che: $a_t=f_t(x_t)$, allora la politica $\pi$ è detta politica markoviana deterministica (deterministic Markov policy).

Intuitivamente, una politica di controllo $\pi$ è semplicemente una regola decisionale — ti dice quale azione intraprendere in ogni momento. Il tipo più praticabile è una politica markoviana deterministica: a ogni passo, associa direttamente lo stato corrente a un'azione tramite una funzione fissa $f_t$, senza aleatorietà nella decisione stessa.

Dato un modello di controllo markoviano, il nostro obiettivo è massimizzare la ricompensa totale attesa accumulata sull'intero orizzonte $T$. Questo è catturato dalla funzione criterio:

$$J(\pi ,x):={𝔼}_x^{\pi }[\sum _{t=0}^{T-1}r(x_t,a_t)+r_T(x_T)]$$

dove $r_T(x_T)$ è la funzione di ricompensa terminale. Qui, $J(\pi ,x)$ è la ricompensa totale attesa partendo dallo stato $x$ e seguendo la politica $\pi$: la somma raccoglie le ricompense a ogni passo intermedio, e $r_T(x_T)$ è la ricompensa ricevuta nell'ultimo periodo.

Chiamiamo $J^{*}(x)$ la funzione di valore (value function) — registra la migliore ricompensa attesa raggiungibile dallo stato $x$, ottimizzata su tutte le politiche ammissibili in $$ \Pi $:$

$$J^{*}(x):=\underset{\Pi }{sup}J(\pi ,x),$$

Il nostro obiettivo è quindi trovare una politica ottimale ${\pi }^{*}\in \Pi$ — una che raggiunga effettivamente questo massimo per ogni stato iniziale $x$:

$$J({\pi }^{*},x)=J^{*}(x).$$

Sotto specifiche condizioni tecniche, il seguente teorema garantisce l'esistenza di una politica ottimale — e, soprattutto, ci dice esattamente come trovarla procedendo a ritroso nel tempo.

Teorema 1. Siano $J_0,\dots ,J_T$ le funzioni su $X$ definite, a ritroso, da

$$\begin{array}{l}{J}_T(x):=r_T(x)\\ J_t(x):=\underset{A(x)}{max}[r(x,a)+{\int }_X{J}_{t+1}(y)\mathbb{Q}(dy|x,a)],t=T-1,\dots ,0.\end{array}$$

Supponiamo che queste funzioni siano misurabili e che, per ogni $t=0,\dots ,T-1$, esista una funzione misurabile $f_t$ tale che $f_t(x)\in A(x)$ raggiunga il massimo nell'equazione precedente per tutti gli $x\in X$, i.e. $\forall x\in X$, $t=0,\dots ,T-1$

$$J_t(x)=r(x,f_t)+\int J_{t+1}(y)\mathbb{Q}(dy|x,f_t).$$

Allora la politica (markoviana deterministica) ${\pi }^{*}=\{f_0,\dots ,f_{T-1}\}$ è ottimale, e la funzione di valore $J^{*}$ è uguale a $J_0$, i.e.,

$$J^{*}(x)=J_0(x)=J({\pi }^{*},x)\forall x\in X.$$

Questa è l'enunciazione matematica dell'induzione a ritroso. Invece di esplorare tutte le possibili strategie contemporaneamente — un compito travolgente — risolviamo il problema periodo per periodo, partendo dalla fine. A ogni passo $t$, ci chiediamo: 'Dato il mio stato attuale, quale azione massimizza la mia ricompensa futura attesa?' La risposta a ogni passo diventa il mattone per il passo precedente.

Per una dimostrazione del Teorema 1, si rimanda a Hernandez-Lasserre (1996), Sezione 3.2.

Per sviluppare l'intuizione di questo risultato, considera la ricompensa residua (reward-to-go) — la ricompensa totale attesa che puoi ancora raccogliere a partire dall'istante $t$, dato che ti trovi attualmente nello stato $x$ e stai seguendo la politica $\pi$:

$$R_t(\pi ,x)={𝔼}^{\pi }[\sum _{n=t}^{T-1}r(x_n,a_n)+r_T(x_T)|x_t=x]$$

È possibile dimostrare che

$$J_t=\underset{\Pi }{sup}{R}_t(\pi ,x)\forall x\in X,t=0,\dots ,T,$$

Ovvero, $J_t(x)$ è la migliore ricompensa che puoi sperare di raccogliere dall'istante $t$ fino a $T$, partendo dallo stato $x$. Il Teorema 1 ci fornisce quindi un algoritmo pratico: risolvere il problema procedendo a ritroso dalla periodo finale $T$ fino al tempo $0$, passo dopo passo — esattamente la procedura di induzione a ritroso descritta nel nostro articolo precedente.

Esiste anche un risultato complementare che caratterizza pienamente quando una politica è ottimale. Una politica $\pi$ è ottimale se e solo se, per ogni $t=0,\dots ,T$ e ogni stato iniziale $x_0=x$, la sua ricompensa residua è uguale alla funzione di valore ottimale:

$${𝔼}_x^{\pi }[R_t(\pi ,x_t)]={𝔼}_x^{\pi }[J_t(x_t)].$$

Questo risultato è noto come Principio di Ottimalità di Bellman (Bellman's Principle of Optimality) (si veda Bellman (1957) per una descrizione completa e la dimostrazione). Intuitivamente, significa che una strategia globalmente ottimale deve essere localmente ottimale a ogni passo — non esistono 'sacrifici a breve termine' vantaggiosi. Se una politica è subottimale a partire da un certo stato, non può essere globalmente ottimale.

Prima di applicare questa teoria al nostro problema, dobbiamo affrontare un importante requisito tecnico incorporato nel Teorema 1: a ogni passo a ritroso, un'azione massimizzante $f_t(x)$ deve effettivamente esistere — non solo essere avvicinata al limite, ma genuinamente raggiunta. L'Ipotesi 1 rende questo preciso.

Ipotesi 1. Il modello di controllo markoviano e una data funzione misurabile $u:X\to ℝ$ sono tali che

$$u^{*}(x)=\underset{A(x)}{sup}[r(x,a)+{\int }_{X}u(y)\mathbb{Q}(dy|x,a)],x\in X$$

è misurabile ed esiste una funzione misurabile $f$ tale che la funzione tra parentesi quadre raggiunga il suo massimo in $f(x)\in A(x)$ per tutti gli $x$, i.e.,

$$u^{*}(x)=r(x,f)+{\int }_{X}u(y)\mathbb{Q}(dy|x,f)\forall x\in X.$$

In altre parole, l'Ipotesi 1 garantisce che la 'migliore azione' in ogni stato non sia semplicemente avvicinata ma sia effettivamente raggiunta da una funzione $f$ ben definita.

Hernandez-Lasserre (1996), Sezione 3.3, fornisce tre insiemi di condizioni sufficienti sotto le quali l'Ipotesi 1 è verificata. Quello più rilevante per la nostra applicazione è il seguente.

Teorema 2. Con le stesse notazioni di cui sopra, il seguente insieme di condizioni

a) $A(x)$ è non vuoto e compatto per tutti gli $x\in X$, e la funzione $x\to A(x)$ è semicontinua superiormente;

b) la ricompensa a una fase $r$ è continua e limitata (dall'alto);

c) la legge di transizione $\mathbb{Q}$ soddisfa la condizione di Feller (Feller condition), i.e.

$$\int v(y)\mathbb{Q}(dy|x,a)$$

è limitata e continua su $𝕂$ per ogni funzione $v$ continua e limitata su $X$,

implica l'Ipotesi 1 per qualsiasi funzione misurabile non negativa $u:X\to ℝ$.

In parole semplici, il Teorema 2 dice: se l'insieme delle azioni disponibili è compatto e varia con continuità rispetto allo stato (a), la funzione di ricompensa è ben comportata — continua e limitata (b), e la legge di transizione risponde in modo regolare alle variazioni di stato e di azione, nel senso che piccole variazioni degli input producono piccole variazioni nei risultati attesi (la condizione di Feller in c) — allora è garantito che l'algoritmo di induzione a ritroso funzioni.

Il GBWM come problema di programmazione dinamica

Con le basi teoriche ora stabilite, possiamo proiettare il nostro problema di investimento direttamente sul framework del modello di controllo markoviano. Usando la stessa terminologia introdotta in precedenza:

a) Lo spazio degli stati $X$ è rappresentato nel nostro framework dallo spazio patrimoniale ${\{W_t\}}_{t=0,\dots ,T}$, i.e. uno stato $x\in X$ è un valore patrimoniale $W_t=x$;

b) L'insieme di azioni $A$ è rappresentato dalla nostra selezione di portafoglio, i.e. $A={\{{\pi }_k(t)\}}_{k=1,\dots ,\mathrm{N},t=0,\dots ,T}$ con ${\pi }_k(t)$ - portafoglio di categoria di rischio $k$ al tempo $t$;

c) La famiglia $\{A(x)\mid x\in X\}$ di sottoinsiemi di $A$ è rappresentata dall'insieme dei portafogli efficienti a un periodo disponibili quando il sistema è nello stato $W_t=x$;

d) La legge di transizione $\mathbb{Q}(\cdot |x,{\pi }_k(t))$ è generata dalle probabilità di transizione calcolate nell'ambito della nostra modellazione.

Lo spazio degli stati, l'insieme di azioni e la legge di transizione si mappano naturalmente sul nostro framework. La funzione di ricompensa $r:𝕂\to ℝ$, tuttavia, richiede un po' più di attenzione.

Ci sono due differenze tra l'impostazione standard della programmazione dinamica e il nostro problema. In primo luogo, la programmazione dinamica tipicamente massimizza un valore atteso, mentre noi vogliamo massimizzare una probabilità. In secondo luogo, il nostro problema ha un'unica ricompensa solo alla data finale — raggiungere l'obiettivo — mentre la formulazione standard consente ricompense anche in fasi intermedie (una variante che utilizziamo anche sulla nostra piattaforma per obiettivi con pagamenti periodici).

Per colmare entrambe le differenze, definiamo la funzione di ricompensa come segue:

$$\{\begin{array}{ll}r(x_t,{\pi }_k(t))=0,& t=0,\dots ,T\forall k=1,\dots ,\mathrm{N}\\ r_T={𝟙}_{\{W_T\ge G\}},& \end{array}$$

Ciò significa che la ricompensa è 1 se il patrimonio finale raggiunge l'obiettivo $G$ e 0 altrimenti — un esito netto di tutto o niente alla fine dell'orizzonte. Poiché

$$𝔼[{𝟙}_{\{W_T\ge G\}}]=\mathbb{P}(W_T\ge G)$$

vediamo che massimizzare il valore atteso di questa funzione indicatrice equivale esattamente a massimizzare la probabilità di raggiungere l'obiettivo — il che risolve la prima differenza.

Con questa funzione di ricompensa, le condizioni (a) e (c) del Teorema 2 sono semplici da verificare nel nostro contesto. La condizione (b) è più delicata: poiché la ricompensa è una funzione indicatrice — che salta da 0 a 1 alla soglia $G$ — non è continua e quindi non soddisfa direttamente il requisito di continuità.

Non entriamo qui nei dettagli tecnici, ma è possibile regolarizzare la funzione di ricompensa in modo da recuperarne la continuità, consentendo così di soddisfare anche quest'ultima condizione.

Bibliografia

Hernandez-Lasserre (1996): Hernández-Lerma, O. and Lasserre, J. B. (1996). Discrete-time Markov control processes, volume 30 di Applications of Mathematics (New York). Springer-Verlag, New York. Basic optimality criteria.

Bellman (1957): Bellman, R. (1957). Dynamic programming. Princeton Landmarks in Mathematics. Princeton University Press, Princeton, NJ. Ristampa dell'edizione del 1957, con una nuova introduzione di Stuart Dreyfus.