• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
machine-learning

Elastic Net e Early Stopping | ITA

Elastic Net e Early Stopping | ITA

Elastic Net è una versione regolarizzata della Linear Regression (Regressione Lineare), una via di mezzo tra Ridge Regression e Lasso Regression per caratteristiche.

Il termine di regolarizzazione è infatti dato dal rapporto tra la L1 penalty e L2 penalty:

  • Quando il valore è 0, Elastic Net è equivalente a Ridge Regression
  • Quando il valore è 1, Elastic Net è equivalente a LASSO Regression

Elastic Net: When?

Con questo ultimo modello abbiamo concluso l’esame delle versioni regolarizzate della Linear Regression:

  • Ridge Regression
  • LASSO Regression
  • Elastic Net

Possiamo finalmente chiederci: quando dovremmo utilizzare l’uno o latro modello?

Ottimo.

Dunque iniziamo subito col dire che la Regressione Lineare quasi mai è impiegata sul campo, in applicazioni di applied AI, a causa della sua semplicità.

Ridge Regression diventa quindi la soluzione primaria.

Quando però il sospetto che siano poche le feature davvero importanti inizia a insediarsi nelle nostre menti da data scientist, il ricorso alla LASSO Regression è d’obbligo.

Possiamo tenere l‘Elastic Net quando il numero di feature cresce, o le correlazioni tra loro diventano particolarmente importanti.

Potremmo definirla una versione meno severa della LASSO, ma entrambi tendono ad azzerare il valore dei weight nella funzione.

Early Stopping

Un metodo alternativo alla regolarizzazione iterativa degli algoritmi di apprendimento è fermare il training non appena l‘errore di validazione (validation error) raggiunge il minimo: early stopping.

Perché è utile questa tecnica?

Procediamo con ordine.

In un modello complesso, come quello di regressione polinomiale (Polynomial Regression), durante il training l’errore di previsione (Root Mean Squared Error) sul training set naturalmente diminuisce, come quello sul validation set.

Progressivamente l’errore cessa di calare e inizia invece ad aumentare: un chiaro segnale di overfitting.

Stoppando l’allenamento al raggiungimento del valore minimo per il validation error massimizziamo le performance.

Geoffrey Hinton, esperto di reti neural artificiali, definisce questo metodo in modo semplice ed elegante: “beautiful free lunch“.

Quando l’optimization algorithm scelto è lo Stochastich Gradient Descent o Mini-batch Gradient Descent diventa difficile impiegare questa tecnica, a causa della loro curva di apprendimento frastagliata.

Quando l’errore rimane costante, al di sopra del minimo, per un tempo sufficiente, il training può essere sospeso.

Occorre quindi ripristinare i parametri al punto in cui l’errore di validazione fosse minimo.

Un caldo abbraccio, Andrea.

Written by Andrea Provino - Dicembre 5, 2019
Tags | data science, dataset, machine learning, teoria

You Might Also Like

model-testing-model-evaluation-training-set-validation-set-model-validation-model-evaluation-validation-score-cross-validation-generalization-score

Model testing e Model Evaluation | Machine Learning

Settembre 14, 2019
dialogflow-tutorial-chatbot-ai-guida-italiano-mailchimp-api-add-user-mail-list

Dialogflow Tutorial: Chatbot & Mailchimp Api

Novembre 9, 2019

Tensorflow Transfer Learning | Log 7 da 0 a 0,001

Dicembre 17, 2018
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • machine-learning

    Un nuovo inizio

    Settembre 4, 2021
  • Zero Knwoledge Proof Article Privacy Preserving

    Zero Knowledge Proof: zk-SNARK e zk-STARK | Prova a conoscenza zero

    Luglio 8, 2021
  • oblivious-transfer-spiegazione-italiano-ot-explanation Privacy Preserving

    Oblivious Transfer (OT)

    Luglio 6, 2021
  • Aleo Studio Website Preview machine-learning

    Aleo Studio: un IDE per Zero-Knowledge Proofs Applications

    Luglio 1, 2021
  • privacy-enhancing-technologies-data-machine-learning-data-science Privacy Preserving

    Perché il Privacy Tech è un vantaggio competitivo micidiale

    Giugno 17, 2021
  • bloom-filter-spiegazione-italian Privacy Preserving

    Bloom Filter

    Giugno 3, 2021
  • trusted-execution-environment-tee-data-science-come-fuziona Data Science, Privacy Preserving

    Trusted Execution Environment | Cos’è un TEE?

    Giugno 2, 2021
  • Crypto Custody services machine-learning

    Crypto Custody: Guida alla custodia delle criptomonete

    Maggio 26, 2021
  • deep-q-learning-q-learning-reinforcement-learning machine-learning

    Deep Q-Learning

    Aprile 27, 2021
  • storytelling-data-science-presentations-power-point-ideas-idee-power-point-guida-italiano Data Science

    Storytelling efficace: l’unico concetto che ti serve per diventare master

    Aprile 6, 2021

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino