• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
machine-learning

Elastic Net e Early Stopping | ITA

Elastic Net e Early Stopping | ITA

Elastic Net è una versione regolarizzata della Linear Regression (Regressione Lineare), una via di mezzo tra Ridge Regression e Lasso Regression per caratteristiche.

Il termine di regolarizzazione è infatti dato dal rapporto tra la L1 penalty e L2 penalty:

  • Quando il valore è 0, Elastic Net è equivalente a Ridge Regression
  • Quando il valore è 1, Elastic Net è equivalente a LASSO Regression

Elastic Net: When?

Con questo ultimo modello abbiamo concluso l’esame delle versioni regolarizzate della Linear Regression:

  • Ridge Regression
  • LASSO Regression
  • Elastic Net

Possiamo finalmente chiederci: quando dovremmo utilizzare l’uno o latro modello?

Ottimo.

Dunque iniziamo subito col dire che la Regressione Lineare quasi mai è impiegata sul campo, in applicazioni di applied AI, a causa della sua semplicità.

Ridge Regression diventa quindi la soluzione primaria.

Quando però il sospetto che siano poche le feature davvero importanti inizia a insediarsi nelle nostre menti da data scientist, il ricorso alla LASSO Regression è d’obbligo.

Possiamo tenere l‘Elastic Net quando il numero di feature cresce, o le correlazioni tra loro diventano particolarmente importanti.

Potremmo definirla una versione meno severa della LASSO, ma entrambi tendono ad azzerare il valore dei weight nella funzione.

Early Stopping

Un metodo alternativo alla regolarizzazione iterativa degli algoritmi di apprendimento è fermare il training non appena l‘errore di validazione (validation error) raggiunge il minimo: early stopping.

Perché è utile questa tecnica?

Procediamo con ordine.

In un modello complesso, come quello di regressione polinomiale (Polynomial Regression), durante il training l’errore di previsione (Root Mean Squared Error) sul training set naturalmente diminuisce, come quello sul validation set.

Progressivamente l’errore cessa di calare e inizia invece ad aumentare: un chiaro segnale di overfitting.

Stoppando l’allenamento al raggiungimento del valore minimo per il validation error massimizziamo le performance.

Geoffrey Hinton, esperto di reti neural artificiali, definisce questo metodo in modo semplice ed elegante: “beautiful free lunch“.

Quando l’optimization algorithm scelto è lo Stochastich Gradient Descent o Mini-batch Gradient Descent diventa difficile impiegare questa tecnica, a causa della loro curva di apprendimento frastagliata.

Quando l’errore rimane costante, al di sopra del minimo, per un tempo sufficiente, il training può essere sospeso.

Occorre quindi ripristinare i parametri al punto in cui l’errore di validazione fosse minimo.

Un caldo abbraccio, Andrea.

Written by Andrea Provino - Dicembre 5, 2019
Tags | data science, dataset, machine learning, teoria

You Might Also Like

Cos’è il Machine Learning | Semplice con esempi

Settembre 6, 2019

NVIDIA Jetson Nano | Machine Learning for makers

Marzo 19, 2019

Confusion Matrix for Binary Classifier | Model Evaluation

Settembre 27, 2019
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • rust-react-webassembly-privacy-preserving-machine-learning Logs

    Rust, WebAssembly, React e un MVP

    Dicembre 21, 2020
  • diffie-hellman-key-exchange-protocol-scambio-di-chiavi-diffie-hellman Data Science, Privacy Preserving

    Cos’è lo scambio di chiavi Diffie-Hellman (DH)? | Privacy Preserving

    Dicembre 15, 2020
  • principio-di-esattezza-data-science-machine-learning-gdpr-data-accuracy Data Science, GDPR Compliant

    GDPR: Principio di esattezza dei dati (Data Accuracy)

    Dicembre 12, 2020
  • tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines machine-learning

    TFX: come funziona Tensorflow Extended?

    Dicembre 9, 2020
  • tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines machine-learning

    TensorFlow Extended (TFX) | Production Machine Learning Pipeline

    Dicembre 6, 2020
  • mean-shift-clustering-guida-italiano-spiegazione-semplice-algoritmo-di-clustering-esempio Data Science

    Mean-Shift Clustering

    Dicembre 3, 2020
  • data-minimization-principle-gdpr-principio-minimizzazione-dati-personali-gdpr-italia-consulenza-spiegazione-semplice Data Science, GDPR Compliant

    GDPR: Principio di minimizzazione dei dati (Data minimization)

    Dicembre 1, 2020
  • machine-learning-for-finance-trading-online-data-science-deep-learning-intelligenza-artificiale AI, machine-learning

    FinTech: Machine Learning for Finance (FinML) | Guide e Risorse di qualità

    Novembre 29, 2020
  • gdpr-principio-di-limitazione-della-finalita-machine-learning-data-science-guida-prupose-limitation-gdpr Data Science, GDPR Compliant

    GDPR: Principio di Limitazione della finalità | Purpose Limitation

    Novembre 26, 2020
  • machine-learning-engineer-lavoro-stipendio-responsabilità-come-diventare AI, Business, machine-learning

    Machine Learning Engineer

    Novembre 23, 2020

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino