Data Modelling e Model Evaluation | Data Science Methodology

A questo punto della data sciecne methodology: data modelling e data evaluation.

La Data Science Methodology è una metodologia, cioé un sistema di metodi che, usati in una particolare area di studi, permettono di organizzare ordinatamente i task da completare per raggiungere uno specifico obiettivo.

Il nostro percorso è iniziato con il Business Understarning e l’Analytic Approach, seguito dal Data Requirments e Data Collection, e dalla definizione del Data Understaning e Data Preparation.

Ora vediamo in cosa consiste la fase di data modelling e di model evaluation

Data Modelling

La fase di Data Modelling è incentrata sullo sviluppo di un modello che può essere:

• descrittivo
• predittivo

La scelta dipende dall’aproccio analitico scelto: statistical driven o machine learning driven.

Model Evaluation

E’ arrivato il momento di valutare l’utilità del modello: è in grado di rispondere alle domande inzialmente poste?

Siamo stati in grado di risolvere il problema? O forse è necessario correggere il modello?

Generalmente la Model Evaluation è divisa in due sotto-fasi:

• diagnostic measures
• statistical significance testing

Nella prima dobbiamo assicurarci che il modello stia funzionando come previsto. Qualora si trattasse in un prescriptive model è necessario valutare che le previsioni siano coerenti, e nel caso in quale misura, con i dati raccolti.

Invece per un descriptive model è necessario applicare un testing set con rislutati conosciuti.

Nella seconda, controlliamo che i dati sono stati propriamente gestiti dal modello e interpretati a dovere.

Più in generale la fase di Model Evaluation esprime quanto bene il nostro modello abbia imparato dai dati fornitogli.

Per finezza, distinguiamo due tipologie di model evaluation:

• In-sample evaluation, per determinare le performance sul dataset di training.
• Out-of-sample evaluation, per approssimare le performance del modello nel mondo reale

Ho sviluppato un post, per approfondire in modo tecnico il model evaluation.

La fase successiva?

5 – Model Deployment e Feedback

Un caldo abbraccio, Andrea.