Analisi 1: Grafico Backtest Forecast vs Actuals (La Visione d’Insieme)
Questo grafico è la nostra “prova sul campo”. Ci mostra come si sarebbe comportato il modello nel mondo reale.
Osservazioni Chiave:
-
Eccellente Inseguimento del Trend (Tracking): La prima cosa che salta all’occhio è che le previsioni (linee rosse tratteggiate) seguono il trend generale della serie storica (linea blu) con una precisione notevole. Il modello capisce la direzione prevalente del mercato.
-
Natura Reattiva, non Predittiva (Lagging Indicator): Osservando attentamente, le previsioni sembrano essere un’estrapolazione molto sofisticata del passato immediato. Il modello non sembra anticipare i punti di svolta. Ad esempio, nei piccoli minimi locali (es. metà 2023, inizio 2024), la previsione continua a scendere per un po’ prima di “accorgersi” che il mercato ha invertito. Questo è un comportamento tipico e atteso: il modello si comporta più come una media mobile avanzata che come una sfera di cristallo.
-
Difficoltà con la Volatilità e le Inversioni Brusche: Il punto più interessante è il forte calo all’inizio del 2025.
- Le previsioni immediatamente precedenti al calo continuano a puntare verso l’alto, mancando completamente l’inversione.
- La previsione durante il calo è in ritardo e continua a scendere anche quando il mercato ha già iniziato a rimbalzare. Questo conferma che il modello soffre durante i cambi di regime improvvisi e i periodi di alta volatilità.
Interpretazione: TimesFM, in questa configurazione, sembra essere un eccellente “momentum tracker”. È molto bravo a proiettare la continuazione di un trend esistente. Tuttavia, non è uno strumento per prevedere le inversioni. Un trader che lo usasse per questo scopo verrebbe colto di sorpresa. Il suo valore risiede nel confermare la forza di un trend in atto e nel fornire un’estrapolazione ragionevole in condizioni di mercato stabili.
Analisi 2: Grafico Andamento dell'Errore (MAE)
Questo grafico è il nostro “elettrocardiogramma” della performance del modello. Ci mostra quando il modello ha sofferto.
Osservazioni Chiave:
-
Errore Stazionario con Picchi: Per la maggior parte del tempo (tutto il 2023 e gran parte del 2024), l’errore medio assoluto (MAE) oscilla in un range relativamente stabile e basso (tra 2.5 e 10 punti, circa). Questo corrisponde ai periodi di trend costante che abbiamo visto nel primo grafico.
-
Correlazione tra Picchi di Errore e Volatilità: I picchi più significativi nel grafico dell’errore corrispondono quasi perfettamente ai periodi di maggiore “confusione” nel grafico dei prezzi.
- Il picco più alto in assoluto (MAE > 30) si verifica all’inizio del 2025, esattamente in corrispondenza del brusco calo che abbiamo notato prima. Questo è il momento in cui il modello ha sbagliato di più.
- Altri picchi minori (metà 2024, fine 2024) corrispondono a periodi di maggiore indecisione o piccole correzioni nel trend principale.
-
Nessun Degrado Sistematico: L’errore non sembra peggiorare costantemente nel tempo. Tende a tornare nel suo range “normale” dopo ogni picco. Questo è un buon segno: significa che il modello è in grado di “ri-adattarsi” dopo uno shock di mercato, grazie alla finestra di training che si espande.
Interpretazione: Questo grafico conferma quantitativamente ciò che avevamo intuito dal primo. Il modello è affidabile in condizioni di mercato “normali” (trend stabili), ma la sua performance degrada drasticamente durante gli shock o i cambi di regime. Il MAE non è costante, ma è esso stesso volatile. Questo ci dice che non possiamo fidarci ciecamente di un singolo valore di errore medio, ma dobbiamo essere consapevoli che in certi periodi l’errore può esplodere.
Conclusioni e Prossimi Passi per il “Forecast Lab”
I risultati di questo POC sono estremamente positivi e realistici. Abbiamo validato che:
- Il nostro script di backtest funziona e produce analisi significative.
- TimesFM non è uno strumento magico, ma un modello con punti di forza (trend-following) e di debolezza (inversioni) chiari e misurabili.
Questo ci dà una base solidissima per progettare la UI del nostro “Forecast Lab”. Le idee che abbiamo discusso nel brainstorming ora acquistano ancora più valore:
- Analisi per Regime di Mercato: È diventata una priorità. Dobbiamo assolutamente implementare un modo per calcolare l’errore separatamente in fasi di “trend” e “ranging/volatile” per quantificare ciò che abbiamo visto.
- Confronto con Baseline: Sarebbe interessantissimo vedere se una semplice media mobile avrebbe avuto un picco di errore simile (o peggiore) durante il calo del 2025.
- Dashboard Interattiva: La necessità di zoomare e analizzare i picchi di errore dimostra che una dashboard interattiva dove i due grafici sono collegati (cliccare su un punto nel grafico dell’errore evidenzia la previsione corrispondente nel grafico dei prezzi) sarebbe una killer feature. Ottima domanda. La risposta sta nella natura stessa del nostro backtest “rolling-origin” e in come stiamo scegliendo di visualizzarlo.
Analisi Dettagliata del Perché è “a Tratti”
Spiegazione Breve: La linea rossa è disegnata a tratti perché non è una singola linea continua, ma una serie di molti piccoli segmenti di linea indipendenti. Ogni segmento rosso rappresenta una previsione separata a 10 giorni, generata in un punto diverso nel tempo.
Immagina il processo di backtest come un omino che cammina lungo la linea blu (i dati reali):
- Start: L’omino si ferma a
t_0(dopo la finestra di training iniziale). Guarda indietro, pensa, e disegna un piccolo segmento rosso di 10 giorni nel futuro (Forecast Step 1). - Avanzamento: L’omino cammina avanti di 10 giorni lungo la linea blu, fino a
t_1. - Nuova Previsione: A
t_1, si ferma di nuovo. Guarda tutto il percorso fatto finora, ripensa, e disegna un nuovo e completamente separato segmento rosso di 10 giorni nel futuro (Forecast Step 2).
Lo screenshot che hai inviato mostra perfettamente questo processo. C’è un “buco” di 10 giorni di dati reali tra la fine di un segmento di previsione e l’inizio del successivo. Noi stiamo disegnando solo le previsioni, non una linea che le collega.
È un Bug o una Feature?
È una feature, ed è la visualizzazione corretta per questo tipo di analisi.
Collegare la fine di “Forecast Step 1” con l’inizio di “Forecast Step 2” sarebbe visivamente fuorviante. Darebbe l’impressione di una singola previsione continua nel tempo, ma non è così. Sono decine di previsioni discrete, ognuna generata con informazioni diverse.
Questa visualizzazione “a tratti” (che abbiamo chiamato “Caterpillar Plot” nel nostro brainstorming) è estremamente preziosa perché ci permette di vedere:
- Dove inizia ogni singola previsione.
- Come ogni previsione si discosta dalla realtà.
- Se il modello è costantemente troppo ottimista (previsione sopra la linea blu) o pessimista (sotto la linea blu).
Possibile Miglioramento (se volessimo unire le linee)
Se l’obiettivo fosse creare una singola linea di “previsioni a 1 passo avanti”, dovremmo modificare la logica del backtest:
- Ad ogni step, generare una previsione a 10 giorni.
- Salvare solo il primo punto di ogni previsione.
- Alla fine, unire tutti i “primi punti” per creare una linea continua.
Questo, però, risponderebbe a una domanda diversa: “Quanto è bravo il modello a prevedere solo il giorno successivo?“. La nostra analisi attuale risponde a una domanda più utile: “Quanto è bravo il modello a prevedere un orizzonte di 10 giorni?“.
In conclusione: L’aspetto “a tratti” è il risultato corretto e desiderato del nostro design di backtest. Stiamo visualizzando correttamente una serie di esperimenti discreti.
Certamente. Analizziamo il secondo grafico, che è altrettanto importante del primo. Se il grafico “Forecast vs. Actuals” è la storia qualitativa, questo è il resoconto quantitativo.
Analisi del Grafico: Andamento dell'Errore (MAE) nel Tempo
Questo grafico traccia il valore dell’Errore Medio Assoluto (MAE) per ciascuno dei 70 step di previsione a 10 giorni che abbiamo eseguito. Ogni punto sulla linea verde rappresenta l’errore medio commesso in una specifica finestra di 10 giorni.
Osservazioni Chiave:
-
Errore Non Costante (Volatilità dell’Errore): La prima cosa evidente è che l’errore non è stabile. Fluttua in modo significativo, passando da valori molto bassi (sotto i 5 punti) a picchi molto alti (oltre 35 punti). Questo ci dice che la performance del modello non è uniforme nel tempo. Ci sono periodi in cui è molto accurato e periodi in cui lo è molto meno.
-
Periodi di Bassa Performance (Picchi di Errore):
- Il Picco Principale (inizio 2025): Il picco più drammatico, con un MAE di oltre 35, si allinea perfettamente con il forte e improvviso calo dei prezzi che abbiamo identificato nel primo grafico. Questo conferma la nostra ipotesi: il modello soffre enormemente durante i cambi di regime di mercato improvvisi e violenti. In quel periodo, in media, ogni previsione a 10 giorni era sbagliata di oltre 35 dollari, un errore enorme.
- Altri Picchi Significativi (metà 2024, fine 2024): Altri picchi notevoli (con MAE tra 15 e 20) corrispondono a periodi di maggiore volatilità o a correzioni minori. Ogni volta che il mercato “esita” o cambia direzione per un breve periodo, l’errore del modello aumenta.
-
Periodi di Alta Performance (Valli di Errore):
- I periodi con l’errore più basso (es. fine 2023, inizio 2024) corrispondono a fasi di trend stabile e prevedibile nel primo grafico. Quando il mercato si muove in una direzione chiara e con bassa volatilità, il MAE scende sotto i 5 punti, indicando un’accuratezza molto elevata.
Interpretazione e Implicazioni Strategiche:
- Il MAE Medio è un’Illusione: Se calcolassimo un singolo MAE medio per l’intero periodo, potremmo ottenere un valore apparentemente “accettabile” (es. 10-12). Questo grafico, però, ci dimostra che fidarsi di quel singolo numero sarebbe un errore pericoloso. Il vero insight è che l’errore può essere molto basso per mesi e poi esplodere improvvisamente.
- Identificazione del “Rischio del Modello”: Questo grafico è una visualizzazione diretta del rischio del modello. Ci dice che usare questo modello di forecasting senza un meccanismo di controllo (come un filtro di volatilità o un indicatore di regime di mercato) è rischioso. Si comporterà bene il 90% delle volte, ma fallirà catastroficamente proprio nei momenti più critici.
- Conferma della Natura “Trend-Following”: I dati confermano che TimesFM, in questa configurazione, è un modello che insegue il trend. La sua accuratezza è massima quando il trend è già stabilito. La sua debolezza è l’incapacità di anticipare i punti di rottura di quel trend.
Conclusione
Questo grafico è fondamentale. Ci trasforma da semplici “utenti” del modello a “critici” informati. Abbiamo ora una prova quantitativa che ci permette di definire le condizioni operative ideali per fidarci delle previsioni di TimesFM (mercati in trend, bassa volatilità) e, soprattutto, le condizioni in cui dovremmo essere estremamente scettici (alta volatilità, potenziali inversioni).
Questo POC ha raggiunto pienamente il suo scopo: ci ha dato una comprensione profonda e realistica delle performance del modello.