Sei errori metodologici bastano a rendere inutile un backtest

Una curva di capitale che sale da sinistra a destra senza incidenti, un rendimento annuo a due cifre e una perdita massima contenuta. Il documento è di tre pagine, i grafici sono puliti e i numeri tornano. Poi si chiede su quante operazioni sia calcolato tutto quanto, e la risposta è ventidue.

Un backtest è una simulazione, e come ogni simulazione vale quanto le ipotesi che la reggono. La differenza fra un esercizio informativo e un esercizio inutile non sta nella complessità del modello: sta in sei scelte metodologiche che si compiono quasi sempre in modo implicito, e che nessuna delle due parti dichiara.

Quello che segue serve a due cose. A riconoscere questi difetti in un rapporto ricevuto da qualcun altro, e a evitarli nei propri. Non contiene indicazioni operative, non suggerisce che cosa negoziare e non descrive risultati attesi: parla di metodo di misura, non di scelte di portafoglio.

Come si legge un rapporto altrui, in breve

• Conta le operazioni, non gli anni. Un periodo lungo con dieci scambi non dice niente di più di un periodo corto.
• Cerca i costi. Se non compare una riga di commissioni, spread e slittamento, il risultato è lordo e non paragonabile.
• Chiedi la lista degli strumenti esclusi. Il campione ripulito dai casi finiti male alza ogni metrica.
• Verifica la data del dato. Serie riviste a posteriori contengono informazione che allora non esisteva.
• Domanda quante combinazioni sono state provate. Il numero di tentativi è più informativo del risultato migliore.
• Guarda dove finisce il periodo di prova. Se coincide con la data del documento, non esiste verifica fuori campione.

I sei errori di backtest, in ordine di gravità

Non pesano tutti allo stesso modo. I primi due producono risultati che non si possono correggere a posteriori, perché il difetto sta nei dati e non nel calcolo: l’unica strada è rifare tutto con una fonte diversa. Il terzo e il quarto si correggono, a costo di veder scomparire buona parte del vantaggio apparente.

Il quinto e il sesto sono i più insidiosi perché somigliano a rigore metodologico. Chi ottimizza su griglie fitte e chi ricampiona per costruire intervalli di confidenza sta usando strumenti seri, e li sta usando male: il risultato porta con sé un’aria di solidità statistica che il metodo non giustifica.

L’ordine che segue è quello con cui conviene verificarli, dal più difficile da rimediare al più tecnico. Ognuno ha un segnale specifico che lo tradisce quando si legge il lavoro di qualcun altro.

L’informazione che non era ancora disponibile

È l’errore che gonfia i risultati più di qualunque altro, e nella maggior parte dei casi non è intenzionale. Consiste nell’usare, per una decisione datata a un certo istante, un dato che a quell’istante non esisteva o non era ancora noto.

Le forme ricorrenti sono tre. La prima è la decisione presa sul prezzo di chiusura ed eseguita allo stesso prezzo di chiusura: nella realtà si osserva la chiusura quando la sessione è finita, quindi l’esecuzione avviene dopo. La seconda è l’indicatore calcolato sull’intera serie e poi applicato all’indietro, per esempio una normalizzazione che usa media e variabilità di tutto il periodo, comprese le settimane successive alla decisione. La terza è l’uso di serie riviste, in cui un valore pubblicato in ritardo o corretto in seguito compare al posto della versione originaria.

Il segnale che lo rivela in un rapporto altrui è la qualità eccessiva delle uscite. Se le chiusure di posizione cadono sistematicamente vicino ai massimi locali, o se la perdita massima è sospettosamente contenuta rispetto alla variabilità dello strumento, l’ipotesi più economica è che il modello stia guardando in avanti di una barra. Il controllo si fa ritardando l’esecuzione di un intervallo e rieseguendo: se il risultato collassa, il difetto era quello.

Il campione da cui i falliti sono stati tolti

Il secondo errore riguarda la composizione dell’universo su cui si prova. Molte fonti di dati elencano gli strumenti attualmente negoziabili, non quelli che erano negoziabili nel passato. Tutto ciò che è stato ritirato, si è azzerato o ha smesso di essere scambiato semplicemente non compare.

La distorsione che ne deriva è severa e agisce in una sola direzione. Provare una regola su un elenco composto solo da sopravvissuti equivale a chiedersi come sarebbe andata scegliendo, anni fa, esclusivamente fra ciò che oggi sappiamo essere sopravvissuto. Su comparti ad alta mortalità l’effetto è tale da rendere positivo quasi qualunque criterio di selezione.

Ci sono due varianti meno evidenti. Una è il campione con inizio ritardato, in cui uno strumento entra nell’elenco solo dal momento in cui ha raggiunto una certa dimensione, escludendo per costruzione la fase in cui la maggior parte delle iniziative si ferma. L’altra è l’aggiornamento retroattivo dei periodi: se la fonte ricalcola la storia dopo un evento societario o una riorganizzazione, la serie che si legge oggi non è quella che si vedeva allora. La verifica consiste nel chiedere l’elenco degli strumenti usciti dal campione durante il periodo e ricontarli dentro. Chi non è in grado di fornirlo non ha il dato, e il risultato va letto come tale.

I costi lasciati fuori dal conto

Il terzo errore è aritmetico e per questo il più facile da correggere, ma è anche quello che elimina il maggior numero di risultati apparentemente validi. Un backtest lordo misura una cosa che nessuno può ottenere, perché ogni operazione comporta almeno tre voci: la commissione, la metà dello spread pagata in entrata e in uscita, e lo scostamento fra prezzo atteso e prezzo medio ottenuto.

Un esempio numerico chiarisce le proporzioni. Si supponga un guadagno lordo medio di otto punti base per operazione, cioè otto centesimi di punto percentuale, con cinquecento operazioni all’anno: il lordo annuo è di quattrocento punti base. Se il giro completo costa tredici punti base fra commissione, spread e slittamento, i costi valgono seimilacinquecento punti base sullo stesso periodo. Il risultato non si riduce: cambia segno, e non di poco.

Esistono voci ulteriori che i modelli semplificati trascurano. Il costo di mantenere una posizione oltre la giornata su strumenti a leva, l’eventuale commissione minima per operazione, e il fatto che gli ordini in attesa non vengono sempre eseguiti quando il prezzo tocca il livello. Quest’ultimo punto merita attenzione: un simulatore che considera eseguito ogni ordine il cui prezzo è stato sfiorato sta assegnando alla strategia le esecuzioni migliori e nessuna delle mancate. La stima corretta dei costi di ingresso e uscita è la stessa materia di cui si occupa chi misura gli indicatori sul dato reale invece che su quello ripulito.

Pochi scambi, non pochi anni

La lunghezza del periodo dice poco. Quello che conta è il numero di osservazioni indipendenti, cioè quante volte la regola ha effettivamente deciso qualcosa. Dieci anni di storia con venti operazioni valgono venti osservazioni, non dieci anni.

La ragione è statistica ed è semplice da ricordare: l’incertezza sulla media di un campione scende con la radice quadrata del numero di osservazioni. Per dimezzare l’errore di stima servono quattro volte più operazioni. Con poche decine di scambi, l’intervallo entro cui può realmente cadere il risultato medio è talmente ampio da comprendere sia un vantaggio consistente sia una perdita sistematica.

C’è anche una questione di regimi. Un periodo di prova che copre soltanto una fase di crescita ordinata non ha mai messo alla prova la regola in condizioni di variabilità elevata, di liquidità sottile o di movimenti bruschi in direzione contraria. Un campione onesto contiene almeno un episodio di stress vero, e chi lo presenta dovrebbe mostrare il comportamento in quel sottoperiodo separatamente, non annegato nella media. La sensibilità delle diverse fasi è lo stesso tema che riguarda la lettura della variabilità di uno strumento, e va guardata prima delle metriche riassuntive.

I parametri scelti guardando il risultato

Il quinto errore ha un nome preciso ed è il più diffuso fra chi lavora con serietà. Consiste nel provare molte configurazioni sullo stesso insieme di dati, scegliere la migliore e poi riportare il risultato di quella configurazione come se fosse stato ottenuto senza cercare.

L’aritmetica del problema è impietosa. Con quattro parametri e venti valori possibili ciascuno si ottengono centosessantamila combinazioni. Anche su dati completamente casuali, la migliore fra centosessantamila combinazioni ha un aspetto eccellente: non perché contenga informazione, ma perché è il massimo di un campione molto grande di risultati fortuiti. Riportare quel massimo senza dichiarare quante prove sono state fatte è la fonte principale di risultati non riproducibili.

La correzione richiede due accorgimenti. Il primo è separare fisicamente i dati usati per scegliere da quelli usati per misurare, e usare i secondi una volta sola: se si torna a ottimizzare dopo aver visto il risultato fuori campione, quel campione è bruciato. Il secondo è la verifica di stabilità: un parametro utile funziona anche con valori vicini, mentre un massimo isolato in mezzo a una superficie piatta è quasi sempre un artefatto. Chiedere la mappa dei risultati su tutta la griglia, e non solo il punto migliore, smonta questo difetto in trenta secondi.

Il ricampionamento che rompe l’ordine del tempo

L’ultimo errore nasce da una buona intenzione: costruire intervalli di confidenza estraendo campioni casuali dai risultati osservati. Il metodo è legittimo quando le osservazioni sono indipendenti, e i rendimenti di una serie storica quasi mai lo sono.

Estrarre singoli giorni o singole operazioni e rimescolarli distrugge la struttura temporale: sequenze di perdite consecutive, raggruppamenti di variabilità e dipendenze fra osservazioni vicine spariscono. L’intervallo di confidenza che ne risulta è troppo stretto e la perdita massima simulata è troppo piccola, perché nessuna delle serie ricostruite contiene le sequenze sfavorevoli che la realtà produce. Le tecniche corrette estraggono blocchi contigui, di lunghezza sufficiente a conservare la dipendenza, oppure lavorano su finestre mobili che rispettano l’ordine cronologico.

Alla stessa famiglia appartiene un difetto più banale e altrettanto frequente: l’aggregazione delle barre con un fuso orario diverso da quello in cui la regola dovrebbe operare. Una chiusura giornaliera spostata di poche ore cambia quali movimenti cadono dentro quale barra, e su strumenti scambiati senza interruzione la scelta del momento di chiusura è arbitraria. Provare la stessa regola su due allineamenti diversi è un controllo di robustezza che costa poco: se il risultato cambia in modo sostanziale, dipendeva dal taglio, non dal fenomeno.

I sei errori sulla stessa scala

Le sei righe non si compensano. Un rapporto può essere impeccabile sui costi e inservibile sul campione, e il difetto peggiore determina il valore complessivo del documento. Quando due o tre compaiono insieme, il risultato mostrato non è una stima ottimistica: è un numero che non misura niente.

Le domande che smontano un rapporto in cinque minuti

1. Quante operazioni chiuse contiene il risultato? Se la risposta sta sotto il centinaio, ogni metrica va letta con un margine di incertezza enorme.
2. Quali costi sono inclusi e con quale valore? La risposta deve essere un numero per giro completo, non una rassicurazione generica.
3. Da quale fonte viene l’elenco degli strumenti? E quanti sono usciti dall’elenco durante il periodo esaminato.
4. Quante configurazioni sono state provate prima di questa? Il numero di tentativi va dichiarato insieme al risultato.
5. Dove finisce il periodo usato per scegliere e dove comincia quello usato per misurare? Devono essere due intervalli distinti, con date.
6. Come si comporta nel sottoperiodo peggiore? Chiedere quel tratto separatamente, non la media dell’intero campione.

Vale una precisazione che riguarda il contesto in cui questi documenti circolano. In Italia la promozione di servizi di investimento è soggetta a regole precise, vigilate dalla Commissione nazionale per le società e la borsa e inquadrate a livello europeo dall’autorità degli strumenti finanziari e dei mercati. Un risultato simulato presentato come rendimento ottenibile non è soltanto discutibile sul piano metodologico. Nessuna delle verifiche descritte qui riguarda la convenienza di una strategia, e niente di quanto scritto va inteso come raccomandazione: si tratta esclusivamente di controlli sulla qualità di una misura, e il fatto che l’atteggiamento con cui si guarda un proprio risultato tenda a essere più indulgente è documentato da chi studia il comportamento di chi opera sui mercati.

Domande frequenti

Un backtest fatto bene garantisce che la regola funzioni?

No. Elimina alcune spiegazioni alternative del risultato, il che è già molto, ma non trasforma una simulazione in una previsione. Il passato contiene un solo percorso realizzato fra i molti possibili, e nessun metodo statistico può ricavare da quel singolo percorso la certezza che una relazione osservata continui a valere.

Quante operazioni servono perché il risultato abbia senso?

Non esiste una soglia universale, perché dipende da quanto è variabile il risultato della singola operazione. Come ordine di grandezza, sotto il centinaio di operazioni chiuse l’incertezza domina il valore stimato, e servono diverse centinaia perché l’intervallo si stringa abbastanza da distinguere un vantaggio modesto dal caso.

Come separo correttamente il periodo di scelta da quello di verifica?

Fissando le date prima di cominciare e non toccandole più. Il periodo di verifica va tenuto da parte, usato una volta sola alla fine, e considerato consumato dopo quell’uso. Se il risultato non piace e si torna a modificare i parametri, occorre un terzo intervallo mai osservato, altrimenti la verifica non è più tale.

I costi da applicare posso stimarli o devo misurarli?

Vanno misurati sulle proprie esecuzioni, perché variano con la taglia degli ordini, l’orario e lo strumento. In assenza di dati propri, conviene usare un valore prudente e verificare che il risultato regga anche raddoppiandolo: se una strategia sopravvive solo con l’ipotesi di costo più favorevole, il margine che dichiara non esiste.

Che valore ha un backtest condotto da qualcun altro?

Quello di un’ipotesi da riprodurre, non di un risultato da accettare. Un documento serio contiene dati, codice e date sufficienti perché un terzo rifaccia il calcolo e ottenga lo stesso numero. Se manca uno di questi elementi, il rapporto non è verificabile e va trattato come materiale promozionale.

Il criterio che regge nel tempo è meno tecnico di quanto sembri: un backtest serve a scartare idee, non a confermarle. Chi lo usa nel primo modo trova pochi risultati e li tiene; chi lo usa nel secondo continua a cercare finché non trova un numero che gli piace, e quel numero arriva sempre.