Una regola che regge sui dati passati crolla in avanti

Una regola operativa provata su tre anni di dati mostra una curva ordinata e una manciata di perdite contenute. Applicata dal giorno dopo, produce sei mesi di risultati che non somigliano a nulla di quanto la prova aveva mostrato. Non è sfortuna e quasi mai è un errore di programmazione.

Il difetto sta nel procedimento. Una regola con parametri scelti guardando l’intero periodo disponibile ha già visto tutti i dati su cui viene poi giudicata, quindi il suo risultato non misura la capacità di funzionare in avanti: misura quanto bene si adatta all’indietro. Le due cose non hanno alcuna relazione necessaria.

La procedura che separa le due misure si basa su una suddivisione ripetuta e sull’uso di segmenti mai visti in fase di scelta dei parametri. Quello che segue la descrive per intero, con i criteri numerici per decidere se una regola regge. Non contiene indicazioni operative né valutazioni sulla redditività di alcuna strategia: descrive un metodo di verifica, e nessun metodo di verifica rende una regola profittevole.

Il procedimento in cinque punti

• Si divide più volte, non una. La serie viene tagliata in coppie di segmenti consecutivi, ripetute lungo tutto il periodo disponibile.
• I parametri si scelgono solo a sinistra. Ogni coppia usa il primo segmento per l’ottimizzazione e il secondo, mai visto, per la misura.
• Conta la curva dei soli segmenti di misura. I risultati dei segmenti di ottimizzazione non entrano nel giudizio.
• Serve una taglia minima. Un segmento con meno di alcune decine di operazioni non produce un’informazione utilizzabile.
• La stabilità pesa quanto il risultato. Un parametro ottimale che salta da un segmento all’altro segnala un adattamento al rumore.

Perché una suddivisione in due parti non basta

La pratica più diffusa consiste nel dividere la serie in due, ottimizzare sulla prima metà e verificare sulla seconda. È meglio di niente e conserva due difetti seri.

Il primo è che produce una sola misura fuori campione. Un risultato positivo su un unico segmento può derivare dal fatto che quel segmento somigliava al precedente, e non esiste modo di distinguere le due ipotesi con un’osservazione sola. Il secondo è che, se il risultato non piace, la tentazione di rifare l’ottimizzazione cambiando qualcosa è quasi irresistibile, e in quel momento il segmento di verifica smette di essere tale.

La suddivisione ripetuta risolve entrambi i problemi. Produce molte misure indipendenti invece di una, e rende visibile la variabilità dei risultati fra un periodo e l’altro, che è l’informazione più utile dell’intero esercizio. Osservare che una regola funziona in sei segmenti su otto è un’affermazione diversa e più solida di osservare che ha funzionato una volta.

Come si imposta una walk forward analysis

La walk forward analysis si costruisce in otto passaggi, e l’ordine non è negoziabile: tre di essi servono a impedire che l’informazione dei segmenti di misura filtri nella fase di scelta dei parametri.

1. Fissa il periodo complessivo disponibile e mettine da parte l’ultima porzione, che non verrà toccata fino alla fine di tutto il lavoro.
2. Scegli la lunghezza del segmento di ottimizzazione e quella del segmento di misura, con il criterio descritto più avanti.
3. Definisci in anticipo la metrica di ottimizzazione e la regola di scelta in caso di parità, e scrivile prima di eseguire qualsiasi calcolo.
4. Sul primo segmento di ottimizzazione, prova l’insieme dei parametri e registra il valore migliore secondo la metrica scelta.
5. Applica quei parametri, senza modificarli, al segmento di misura immediatamente successivo, e registra i risultati operazione per operazione.
6. Sposta in avanti entrambi i segmenti di una lunghezza pari a quella del segmento di misura, e ripeti fino a esaurire il periodo.
7. Concatena i risultati dei soli segmenti di misura in un’unica sequenza: è l’unica curva su cui valga la pena ragionare.
8. Registra il numero complessivo di configurazioni provate, perché serve a stabilire quanto scontare il risultato finale.

Il terzo passaggio è quello che quasi nessuno esegue e che protegge dall’errore più insidioso. Scegliere la metrica dopo aver visto i risultati significa selezionare quella che li rende migliori, e quella scelta è a tutti gli effetti un’ottimizzazione compiuta sui dati di verifica.

La lunghezza delle finestre: due criteri, non uno

La lunghezza del segmento di ottimizzazione risponde a due esigenze opposte. Deve contenere abbastanza operazioni perché il parametro scelto non sia il prodotto del caso, e deve essere abbastanza breve perché le condizioni di mercato al suo interno restino omogenee.

Il primo criterio spinge verso finestre lunghe, il secondo verso finestre corte, e non esiste una risposta valida in generale. La regola pratica più diffusa fissa il segmento di ottimizzazione fra tre e quattro volte quello di misura: abbastanza da stimare i parametri, abbastanza vicino da restare pertinente.

Il segmento di misura, a sua volta, va scelto in funzione della frequenza operativa della regola. Una regola che genera un’operazione a settimana richiede segmenti di misura di diversi mesi per raccogliere abbastanza osservazioni; una che ne genera dieci al giorno può accontentarsi di poche settimane. Il conto si fa sulle operazioni, mai sui giorni di calendario, ed è la stessa distinzione che vale quando si osserva il comportamento dei prezzi su orizzonti diversi.

Finestra mobile o finestra crescente

Ci sono due modi di spostare la finestra di ottimizzazione. Nel primo la finestra ha lunghezza fissa e scorre in avanti, dimenticando i dati più vecchi. Nel secondo il punto di inizio resta fermo e la finestra si allunga a ogni passo, accumulando tutta la storia disponibile.

La scelta va fatta prima e non cambiata a metà. Provarle entrambe e tenere quella che dà il risultato migliore è un’ottimizzazione ulteriore, che va contata fra le configurazioni provate e che riduce il valore informativo del risultato finale.

Il numero minimo di operazioni per segmento

Un segmento di misura con cinque operazioni non dice nulla, indipendentemente da come sono andate. Con dieci operazioni la variabilità del risultato è ancora talmente ampia che due segmenti identici per merito possono apparire opposti.

La soglia pratica comunemente adottata è di almeno trenta operazioni per segmento di misura, e di alcune centinaia sull’intero percorso. Sotto quei numeri il rumore dell’esperimento supera l’effetto che si sta cercando di misurare, e nessun affinamento del procedimento può recuperare l’informazione che non c’è.

Chi non riesce a raggiungere quei numeri ha tre strade e nessuna è indolore: allungare i segmenti, sacrificando l’omogeneità delle condizioni; aumentare la frequenza operativa della regola, cambiandone la natura; oppure prendere atto che la serie disponibile non consente di verificarla. La terza è la meno gradita ed è spesso la corretta.

Il criterio di stabilità dei parametri

Il risultato numerico non è il primo elemento da guardare. Il primo è la sequenza dei parametri scelti in ciascun segmento di ottimizzazione, che va messa in fila e osservata come una serie a sé.

Se il parametro ottimale resta entro un intervallo ristretto lungo tutti i segmenti, la regola sta cogliendo qualcosa di persistente e i parametri hanno un significato. Se salta da un estremo all’altro dell’intervallo esplorato, la procedura sta scegliendo ogni volta il valore che meglio si adatta al rumore di quel particolare periodo, e la regola non ha appreso nulla di trasferibile.

Un secondo controllo riguarda la forma del risultato attorno all’ottimo. Se il valore migliore è circondato da valori quasi altrettanto buoni, si è su un altopiano e piccole variazioni non cambiano l’esito. Se è un picco isolato fra risultati mediocri, il valore scelto è una coincidenza numerica: la scelta corretta, in quel caso, è il centro dell’altopiano più ampio, non la punta più alta.

L’efficienza fuori campione

La misura sintetica del procedimento è il rapporto fra il risultato ottenuto sui segmenti di misura e quello ottenuto sui segmenti di ottimizzazione, entrambi espressi su base annua. È un numero che descrive quanta parte della prestazione ottenuta all’indietro si conserva in avanti.

Le soglie in uso sono convenzionali e vanno prese per quello che sono. Un rapporto stabilmente sopra la metà indica che una parte consistente del comportamento si trasferisce. Un rapporto sotto un terzo indica che quasi tutto ciò che si vedeva era adattamento ai dati passati. Un rapporto vicino o superiore all’unità non è un risultato eccellente: è un’anomalia che merita di essere indagata, perché in genere segnala un errore nella separazione dei segmenti.

Accanto al rapporto vanno guardati due numeri più semplici e altrettanto informativi: la quota di segmenti di misura chiusi in positivo e la perdita massima registrata sulla curva concatenata. Una regola che chiude in positivo sei segmenti su otto con un profilo di perdite regolare è preferibile a una che ne chiude tre su otto con un unico segmento eccezionale, anche a parità di risultato complessivo.

Una regola che regge, segmento per segmento

La tabella che segue riporta l’esito di un esercizio condotto su otto coppie di segmenti, con parametro esplorato in un intervallo da cinque a sessanta. I valori sono illustrativi e servono a mostrare la forma di un esito accettabile.

Due cose rendono questo esito credibile, e nessuna delle due è il numero di segmenti positivi. La prima è che il parametro resta fra diciotto e ventiquattro in tutti gli otto passaggi, cioè in una fascia stretta di un intervallo largo. La seconda è che i due segmenti negativi non sono contigui né catastrofici: la regola perde, come qualunque regola, ma perde in modo compatibile con il proprio profilo.

Una regola che crolla, e come si riconosce prima

Il caso opposto ha una firma altrettanto riconoscibile. Il parametro scelto salta da cinque a quarantaquattro, poi torna a dodici, poi si ferma a cinquantasette. Ogni segmento di ottimizzazione trova un ottimo diverso, e la ragione è che sta descrivendo il rumore di quel periodo invece di una proprietà del mercato.

Il risultato fuori campione, in questi casi, si distribuisce senza schema: uno o due segmenti molto positivi, gli altri mediocri o negativi, con la prestazione complessiva interamente prodotta da un singolo periodo. È il profilo che una prova convenzionale su tutto il campione avrebbe mostrato come una curva regolare, perché la media nasconde esattamente questa struttura.

Il segnale che consente di riconoscerlo prima di completare l’esercizio è la superficie dei risultati sul primo segmento di ottimizzazione. Se il valore migliore è un picco isolato e i valori adiacenti sono nettamente peggiori, l’esito dei passaggi successivi è quasi sempre quello descritto. Vale la pena fermarsi lì, invece di completare otto passaggi per confermare quanto era già leggibile al primo, evitando anche l’attaccamento all’ipotesi che rende difficile abbandonarla, uno dei meccanismi descritti a proposito di come si formano le convinzioni degli operatori.

Gli errori che rovinano anche una procedura corretta

Il primo è includere i costi solo in una parte dell’esercizio. Commissioni, differenziale fra le proposte e slittamento vanno applicati a entrambi i tipi di segmento, con gli stessi valori, e vanno stimati per eccesso. Una regola che genera molte operazioni può passare da positiva a negativa per effetto dei soli costi.

Il secondo è la ripetizione dell’intero esercizio con varianti diverse fino a ottenere un esito soddisfacente. Provare duecento configurazioni e tenere la migliore produce, per pura combinazione, un risultato apparentemente buono anche su dati privi di qualunque struttura. È il motivo per cui va tenuto il conto dei tentativi: quel numero è parte del risultato.

Il terzo è dimenticare che la serie storica è una sola realizzazione. Anche una procedura eseguita in modo impeccabile misura come una regola si sarebbe comportata in quello specifico passato, e i risultati passati non descrivono quelli futuri. Chi offre servizi di negoziazione nell’Unione europea è tenuto a presentare le informazioni in modo corretto e non fuorviante, secondo i principi descritti dall’autorità europea degli strumenti finanziari e dei mercati e, per il mercato italiano, dalla Consob. Quanto scritto qui riguarda un metodo di verifica e resta lontano dal profilo di una detenzione senza operatività, così come dalla semplice lettura degli indicatori.

Domande frequenti

Quanti segmenti servono perché il risultato sia significativo?

Sotto i sei passaggi la variabilità è troppo alta per distinguere una regola che funziona da una fortunata. Otto o dieci passaggi, con almeno trenta operazioni per segmento di misura, sono il minimo per formulare un giudizio, e restano un minimo.

Posso riottimizzare se un segmento di misura va male?

No, ed è il punto centrale dell’intera procedura. Nel momento in cui i risultati fuori campione influenzano la scelta dei parametri, quei segmenti smettono di essere fuori campione e l’esercizio perde ogni valore. L’unico modo di riottimizzare è ricominciare su dati mai usati.

Che differenza c’è rispetto a una prova convenzionale su tutto il campione?

Una prova convenzionale sceglie i parametri guardando l’intero periodo e poi misura il risultato sullo stesso periodo. La procedura descritta qui separa le due fasi e le ripete, quindi misura la capacità di trasferimento in avanti anziché la qualità dell’adattamento all’indietro.

Il parametro cambia a ogni segmento: devo cambiarlo anche in esercizio?

La procedura simula esattamente questo: applicare a ogni periodo il parametro ricavato dal periodo precedente. Se si intende operare con un parametro fisso, l’esercizio va impostato di conseguenza, senza riottimizzare a ogni passaggio.

Un rapporto fuori campione superiore all’unità è un buon segno?

Di solito no. Significa che i segmenti mai visti hanno reso più di quelli su cui i parametri erano stati scelti, cosa che raramente accade per merito. Nella maggior parte dei casi indica una contaminazione fra i segmenti o un errore nel calcolo dei costi.

Il valore di questa procedura non sta nel promuovere le regole buone: sta nell’eliminare in fretta quelle che sembravano tali. È una macchina per scartare, e va usata sapendo che il suo esito più frequente, anche quando tutto è fatto correttamente, è il rifiuto.