• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
Data Science, machine-learning

LASSO Regression | Italiano

LASSO Regression | Italiano

Least Absolute Shrinkage and Selection Operator Regression, conosciuta come LASSO Regression, è una versione regolarizzata della Linear Regression (Regressione Lineare): aggiungendo un termine di regolarizzazione denominato alpha alla cost function, l’algoritmo di apprendimento è forzato a tenere i weight quanto più bassi possibile.

Definizione data. Mettiamo sulla mensola per un rapido ripasso.

Diamo un’occhiata alla definizione di Ridge Regression, contiene alcuni concetti chiave.

Perfetto adesso siamo allineati.

Ora è il momento di fare sul serio: comprendiamo assieme LASSSO regression.

LASSO Regression: why?

Sappiamo che la complessità di un modello di regressione lineare è spesso insufficiente a cogliere la relazione tra i dati.

Possiamo ovviare al problema ricorrendo a un modello di regressione polinomiale.

Un escamotage che aumenta i gradi di flessibilità (degrees of freedom) del modello incrementando al contempo la sua variance e diminuendo la bias: abbiamo visto come questo si traduca in un fenomeno di overfitting.

Ci piace.

Si lo so che abbiamo sempre detto che overfitting e underfitting sono due temibili nemici.

Pensala così: quando d’estate hai caldo, puoi fare poco: sei in costume e devi ricorrere a una doccia fredda, o un bagno al mare o in piscina. (underfitting, il problma persiste)

D’inverno invece, occorre semplicemente togliersi uno strato, un giaccone o una felpa, e in questo modo controlli più facilmente la temperatura. (overfitting, ma gestibile).

Fuori da metafora, preferiamo un modello in leggero overfitting così da poterne gestire meglio l’apprendimento.

Possiamo infatti penalizzare l’apprendimento, limitando la libertà del modello. Come?

Attraverso LASSO Regression.

LASSO Regression: how?

Una caratteristica fondamentale della LASSO Regression riguarda la gestione delle fetaure di importanza minore.

Contrariamente alla Ridge Regression, che minimizzando il weight di alcune feature ne riduce la contribuzione al modello, la LASSO Regression effettua una vera e propria selezione delle variabili indipendenti (feature selection): portando le restanti a zero attraverso un opportuno valore del weight associato, e generando uno sparse model (con alcune nonzero feature).

Parlando di regolarizzazione in generale esistono due tipi di penalizzazione:

  • L1 (absolute size) penalizza il valore assoluto dei coefficienti del modello
  • L2 (squared size) penalizza il quadrato del valore dei coefficienti del modello.

LA(bsolute)SSO Regresison usa la L1 penalty.

Con questo tipo di regolarizzazione è necessario ridurre gradualmente il learning rate, se prossimi al global minimum.

Infine, come in ogni modello regolarizzato, è opportuno scalare i dati attraverso una standardizzazione poiché questa tipologia di funzioni è sensibile alla scala dei valori del dataset.

Lessico

Concludiamo con un po’ di lessico tecnico.

Possiamo avere modelli allenati con MSE (Mean Squared Error) come funzione di costo non regolarizzata ( α = 0) o regolarizzata con una penalità l1 ( α = 0.5) e Batch Gradient Descent come Optimization Algorithm.

View this post on Instagram

🦄 WHAT? Regressione lineare e Open AI Gym 😍 Scopri di più sull'AI! 1️⃣ Clicca sul link in BIO 2️⃣ Leggi gli articoli che più ti piacciono! 3️⃣ Sviluppa la tua carriera, e fatti assumere! #learnitalian, #blog, #AI, #uxdesign, #ui, #webapp, #blogpost, #data, #machinelearning, #datascience, #OnlineLearning, #BigData, #deeplearning, #intelligenzaartificiale, #tensorflow, #guida, #datascientist, #intelligenzartificiale, #neuralnetworks #study #uxinspiration #statistica #scuolasuperiore #polimi #polito #unito #informatica #scienza #design #studymode

A post shared by Andrea Provino (@andrea.provino) on Nov 4, 2020 at 11:27am PST

Per il momento è tutto.

Per aspera, ad astra.

Un caldo abbraccio, Andrea

Written by Andrea Provino - Dicembre 4, 2019
Tags | data science, machine learning, teoria

You Might Also Like

tensorflow-2-tutorial-semplice-machine-learning-deep-learning-data-science-keras-portfolio-tutorial-tesnorflow-2

Tensorflow 2: how to start? | Esempio Semplice, Tutorial

Ottobre 26, 2019
differential-privacy-preserving-ai-machine-learning-data-science

Cos’è la Differential Privacy

Febbraio 9, 2020
resnet-architecture-diagram-deep-learning-eningeer-italia-skip-connection-guida-italiano-blog-machine-learning-deep-learning-data-science

ResNet CNN Networks | Deep Learning Engineer Italia

Marzo 1, 2020
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • rust-react-webassembly-privacy-preserving-machine-learning Logs

    Rust, WebAssembly, React e un MVP

    Dicembre 21, 2020
  • diffie-hellman-key-exchange-protocol-scambio-di-chiavi-diffie-hellman Data Science, Privacy Preserving

    Cos’è lo scambio di chiavi Diffie-Hellman (DH)? | Privacy Preserving

    Dicembre 15, 2020
  • principio-di-esattezza-data-science-machine-learning-gdpr-data-accuracy Data Science, GDPR Compliant

    GDPR: Principio di esattezza dei dati (Data Accuracy)

    Dicembre 12, 2020
  • tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines machine-learning

    TFX: come funziona Tensorflow Extended?

    Dicembre 9, 2020
  • tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines machine-learning

    TensorFlow Extended (TFX) | Production Machine Learning Pipeline

    Dicembre 6, 2020
  • mean-shift-clustering-guida-italiano-spiegazione-semplice-algoritmo-di-clustering-esempio Data Science

    Mean-Shift Clustering

    Dicembre 3, 2020
  • data-minimization-principle-gdpr-principio-minimizzazione-dati-personali-gdpr-italia-consulenza-spiegazione-semplice Data Science, GDPR Compliant

    GDPR: Principio di minimizzazione dei dati (Data minimization)

    Dicembre 1, 2020
  • machine-learning-for-finance-trading-online-data-science-deep-learning-intelligenza-artificiale AI, machine-learning

    FinTech: Machine Learning for Finance (FinML) | Guide e Risorse di qualità

    Novembre 29, 2020
  • gdpr-principio-di-limitazione-della-finalita-machine-learning-data-science-guida-prupose-limitation-gdpr Data Science, GDPR Compliant

    GDPR: Principio di Limitazione della finalità | Purpose Limitation

    Novembre 26, 2020
  • machine-learning-engineer-lavoro-stipendio-responsabilità-come-diventare AI, Business, machine-learning

    Machine Learning Engineer

    Novembre 23, 2020

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino