• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
Data Science, machine-learning

LASSO Regression | Italiano

LASSO Regression | Italiano

Least Absolute Shrinkage and Selection Operator Regression, conosciuta come LASSO Regression, è una versione regolarizzata della Linear Regression (Regressione Lineare): aggiungendo un termine di regolarizzazione denominato alpha alla cost function, l’algoritmo di apprendimento è forzato a tenere i weight quanto più bassi possibile.

Definizione data. Mettiamo sulla mensola per un rapido ripasso.

Diamo un’occhiata alla definizione di Ridge Regression, contiene alcuni concetti chiave.

Perfetto adesso siamo allineati.

Ora è il momento di fare sul serio: comprendiamo assieme LASSSO regression.

LASSO Regression: why?

Sappiamo che la complessità di un modello di regressione lineare è spesso insufficiente a cogliere la relazione tra i dati.

Possiamo ovviare al problema ricorrendo a un modello di regressione polinomiale.

Un escamotage che aumenta i gradi di flessibilità (degrees of freedom) del modello incrementando al contempo la sua variance e diminuendo la bias: abbiamo visto come questo si traduca in un fenomeno di overfitting.

Ci piace.

Si lo so che abbiamo sempre detto che overfitting e underfitting sono due temibili nemici.

Pensala così: quando d’estate hai caldo, puoi fare poco: sei in costume e devi ricorrere a una doccia fredda, o un bagno al mare o in piscina. (underfitting, il problma persiste)

D’inverno invece, occorre semplicemente togliersi uno strato, un giaccone o una felpa, e in questo modo controlli più facilmente la temperatura. (overfitting, ma gestibile).

Fuori da metafora, preferiamo un modello in leggero overfitting così da poterne gestire meglio l’apprendimento.

Possiamo infatti penalizzare l’apprendimento, limitando la libertà del modello. Come?

Attraverso LASSO Regression.

LASSO Regression: how?

Una caratteristica fondamentale della LASSO Regression riguarda la gestione delle fetaure di importanza minore.

Contrariamente alla Ridge Regression, che minimizzando il weight di alcune feature ne riduce la contribuzione al modello, la LASSO Regression effettua una vera e propria selezione delle variabili indipendenti (feature selection): portando le restanti a zero attraverso un opportuno valore del weight associato, e generando uno sparse model (con alcune nonzero feature).

Parlando di regolarizzazione in generale esistono due tipi di penalizzazione:

  • L1 (absolute size) penalizza il valore assoluto dei coefficienti del modello
  • L2 (squared size) penalizza il quadrato del valore dei coefficienti del modello.

LA(bsolute)SSO Regresison usa la L1 penalty.

Con questo tipo di regolarizzazione è necessario ridurre gradualmente il learning rate, se prossimi al global minimum.

Infine, come in ogni modello regolarizzato, è opportuno scalare i dati attraverso una standardizzazione poiché questa tipologia di funzioni è sensibile alla scala dei valori del dataset.

Lessico

Concludiamo con un po’ di lessico tecnico.

Possiamo avere modelli allenati con MSE (Mean Squared Error) come funzione di costo non regolarizzata ( α = 0) o regolarizzata con una penalità l1 ( α = 0.5) e Batch Gradient Descent come Optimization Algorithm.

View this post on Instagram

🦄 WHAT? Regressione lineare e Open AI Gym 😍 Scopri di più sull'AI! 1️⃣ Clicca sul link in BIO 2️⃣ Leggi gli articoli che più ti piacciono! 3️⃣ Sviluppa la tua carriera, e fatti assumere! #learnitalian, #blog, #AI, #uxdesign, #ui, #webapp, #blogpost, #data, #machinelearning, #datascience, #OnlineLearning, #BigData, #deeplearning, #intelligenzaartificiale, #tensorflow, #guida, #datascientist, #intelligenzartificiale, #neuralnetworks #study #uxinspiration #statistica #scuolasuperiore #polimi #polito #unito #informatica #scienza #design #studymode

A post shared by Andrea Provino (@andrea.provino) on Nov 4, 2020 at 11:27am PST

Per il momento è tutto.

Per aspera, ad astra.

Un caldo abbraccio, Andrea

Written by Andrea Provino - Dicembre 4, 2019
Tags | data science, machine learning, teoria

You Might Also Like

stochastic-gradient-descent-batch-gradient-descent-python-vguida-italiano-vs-gradient-descent

Stochastic Gradient Descent, Batch Gradient Descent Algorithm

Ottobre 29, 2019
explicit-ratings-implicit-ratings-recommender-systems

Explicit ratings vs implicit ratings | Recommender Systems

Maggio 14, 2020

One Versus All (OvA) vs One Versus One (OvO) | Multiclass Classifiers

Settembre 30, 2019
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • fully-homomorphic-encryption-crittografia-completamente-omomorfica Privacy Preserving

    Cos’è la Crittografia Omomorfica | Homomorphic Encryption (HE)

    Marzo 4, 2021
  • data-science-for-finance-machine-learning-deep-learning-data-science-use-cases-use-cases Business, Data Science, machine-learning

    Data Science for Finance | Use Cases per il Data Scientist

    Febbraio 13, 2021
  • differential-privacy-example-privacy-differenziale-esempio-italiano-applicazioni-reali Business, Data Science, Privacy Preserving

    Differential Privacy Example | Esempi di privacy differenziale

    Febbraio 10, 2021
  • privacy-enhancing-technologies-techniques-machine-learning-data-science-pets-guida-italiano-spiegazione-semplice Business, Data Science, machine-learning, Privacy Preserving

    Cosa sono le Privacy-enhancing technologies o techniques (PETs)

    Febbraio 7, 2021
  • condivisione-dati-finance-fintech-problems-machine-learning-for-finance-data-science-deep-learning-case-study Business

    Problemi della condivisione dati in finanza | Finance data sharing problems

    Febbraio 4, 2021
  • finance-privacy-settore-finanziario-dati-privacy-enhancing-technologies-ai Business

    Il legame tra Privacy Dati AI nel settore finanziario

    Febbraio 1, 2021
  • rust-react-webassembly-privacy-preserving-machine-learning Logs

    Rust, WebAssembly, React e un MVP

    Dicembre 21, 2020
  • diffie-hellman-key-exchange-protocol-scambio-di-chiavi-diffie-hellman Data Science, Privacy Preserving

    Cos’è lo scambio di chiavi Diffie-Hellman (DH)? | Privacy Preserving

    Dicembre 15, 2020
  • principio-di-esattezza-data-science-machine-learning-gdpr-data-accuracy Data Science, GDPR Compliant

    GDPR: Principio di esattezza dei dati (Data Accuracy)

    Dicembre 12, 2020
  • tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines machine-learning

    TFX: come funziona Tensorflow Extended?

    Dicembre 9, 2020

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino