A questo punto della data sciecne methodology: data modelling e data evaluation.
La Data Science Methodology è una metodologia, cioé un sistema di metodi che, usati in una particolare area di studi, permettono di organizzare ordinatamente i task da completare per raggiungere uno specifico obiettivo.
Il nostro percorso è iniziato con il Business Understarning e l’Analytic Approach, seguito dal Data Requirments e Data Collection, e dalla definizione del Data Understaning e Data Preparation.
Ora vediamo in cosa consiste la fase di data modelling e di model evaluation
Data Modelling
La fase di Data Modelling è incentrata sullo sviluppo di un modello che può essere:
- descrittivo
- predittivo
La scelta dipende dall’aproccio analitico scelto: statistical driven o machine learning driven.
Model Evaluation
E’ arrivato il momento di valutare l’utilità del modello: è in grado di rispondere alle domande inzialmente poste?
Siamo stati in grado di risolvere il problema? O forse è necessario correggere il modello?
Generalmente la Model Evaluation è divisa in due sotto-fasi:
- diagnostic measures
- statistical significance testing
Nella prima dobbiamo assicurarci che il modello stia funzionando come previsto. Qualora si trattasse in un prescriptive model è necessario valutare che le previsioni siano coerenti, e nel caso in quale misura, con i dati raccolti.
Invece per un descriptive model è necessario applicare un testing set con rislutati conosciuti.
Nella seconda, controlliamo che i dati sono stati propriamente gestiti dal modello e interpretati a dovere.
Più in generale la fase di Model Evaluation esprime quanto bene il nostro modello abbia imparato dai dati fornitogli.
Per finezza, distinguiamo due tipologie di model evaluation:
- In-sample evaluation, per determinare le performance sul dataset di training.
- Out-of-sample evaluation, per approssimare le performance del modello nel mondo reale
Ho sviluppato un post, per approfondire in modo tecnico il model evaluation.
La fase successiva?
5 – Model Deployment e Feedback
Un caldo abbraccio, Andrea.