• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
Data Science, machine-learning

LASSO Regression | Italiano

LASSO Regression | Italiano

Least Absolute Shrinkage and Selection Operator Regression, conosciuta come LASSO Regression, è una versione regolarizzata della Linear Regression (Regressione Lineare): aggiungendo un termine di regolarizzazione denominato alpha alla cost function, l’algoritmo di apprendimento è forzato a tenere i weight quanto più bassi possibile.

Definizione data. Mettiamo sulla mensola per un rapido ripasso.

Diamo un’occhiata alla definizione di Ridge Regression, contiene alcuni concetti chiave.

Perfetto adesso siamo allineati.

Ora è il momento di fare sul serio: comprendiamo assieme LASSSO regression.

LASSO Regression: why?

Sappiamo che la complessità di un modello di regressione lineare è spesso insufficiente a cogliere la relazione tra i dati.

Possiamo ovviare al problema ricorrendo a un modello di regressione polinomiale.

Un escamotage che aumenta i gradi di flessibilità (degrees of freedom) del modello incrementando al contempo la sua variance e diminuendo la bias: abbiamo visto come questo si traduca in un fenomeno di overfitting.

Ci piace.

Si lo so che abbiamo sempre detto che overfitting e underfitting sono due temibili nemici.

Pensala così: quando d’estate hai caldo, puoi fare poco: sei in costume e devi ricorrere a una doccia fredda, o un bagno al mare o in piscina. (underfitting, il problma persiste)

D’inverno invece, occorre semplicemente togliersi uno strato, un giaccone o una felpa, e in questo modo controlli più facilmente la temperatura. (overfitting, ma gestibile).

Fuori da metafora, preferiamo un modello in leggero overfitting così da poterne gestire meglio l’apprendimento.

Possiamo infatti penalizzare l’apprendimento, limitando la libertà del modello. Come?

Attraverso LASSO Regression.

LASSO Regression: how?

Una caratteristica fondamentale della LASSO Regression riguarda la gestione delle fetaure di importanza minore.

Contrariamente alla Ridge Regression, che minimizzando il weight di alcune feature ne riduce la contribuzione al modello, la LASSO Regression effettua una vera e propria selezione delle variabili indipendenti (feature selection): portando le restanti a zero attraverso un opportuno valore del weight associato, e generando uno sparse model (con alcune nonzero feature).

Parlando di regolarizzazione in generale esistono due tipi di penalizzazione:

  • L1 (absolute size) penalizza il valore assoluto dei coefficienti del modello
  • L2 (squared size) penalizza il quadrato del valore dei coefficienti del modello.

LA(bsolute)SSO Regresison usa la L1 penalty.

Con questo tipo di regolarizzazione è necessario ridurre gradualmente il learning rate, se prossimi al global minimum.

Infine, come in ogni modello regolarizzato, è opportuno scalare i dati attraverso una standardizzazione poiché questa tipologia di funzioni è sensibile alla scala dei valori del dataset.

Lessico

Concludiamo con un po’ di lessico tecnico.

Possiamo avere modelli allenati con MSE (Mean Squared Error) come funzione di costo non regolarizzata ( α = 0) o regolarizzata con una penalità l1 ( α = 0.5) e Batch Gradient Descent come Optimization Algorithm.

View this post on Instagram

🦄 WHAT? Regressione lineare e Open AI Gym 😍 Scopri di più sull'AI! 1️⃣ Clicca sul link in BIO 2️⃣ Leggi gli articoli che più ti piacciono! 3️⃣ Sviluppa la tua carriera, e fatti assumere! #learnitalian, #blog, #AI, #uxdesign, #ui, #webapp, #blogpost, #data, #machinelearning, #datascience, #OnlineLearning, #BigData, #deeplearning, #intelligenzaartificiale, #tensorflow, #guida, #datascientist, #intelligenzartificiale, #neuralnetworks #study #uxinspiration #statistica #scuolasuperiore #polimi #polito #unito #informatica #scienza #design #studymode

A post shared by Andrea Provino (@andrea.provino) on Nov 4, 2020 at 11:27am PST

Per il momento è tutto.

Per aspera, ad astra.

Un caldo abbraccio, Andrea

Written by Andrea Provino - Dicembre 4, 2019
Tags | data science, machine learning, teoria

You Might Also Like

optimization-algoritmh-adam-optimizer-deep-learning-neural-network-data-science-machine-learning-guida-italiano-tutorial-blog

Cosa sono Optimization algorithm e Optimizer | Neural Network & Deep Learning

Ottobre 27, 2019
anonymization-data-science-direct-vs-indirect-identifiers

Direct vs Indirect Identifiers

Settembre 28, 2020
clustering-tutto-quello-che-devi-sapere-clustering-data-science-machine-learning-guida-italiano

Clustering: tutto quello che devi sapere | Edizione 2021

Novembre 15, 2020
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • Blockchain Developer

    Circuito aritmetico

    Novembre 1, 2022
  • machine-learning

    Un nuovo inizio

    Settembre 4, 2021
  • Zero Knwoledge Proof Article Privacy Preserving

    Zero Knowledge Proof: zk-SNARK e zk-STARK | Prova a conoscenza zero

    Luglio 8, 2021
  • oblivious-transfer-spiegazione-italiano-ot-explanation Privacy Preserving

    Oblivious Transfer (OT)

    Luglio 6, 2021
  • Aleo Studio Website Preview machine-learning

    Aleo Studio: un IDE per Zero-Knowledge Proofs Applications

    Luglio 1, 2021
  • privacy-enhancing-technologies-data-machine-learning-data-science Privacy Preserving

    Perché il Privacy Tech è un vantaggio competitivo micidiale

    Giugno 17, 2021
  • bloom-filter-spiegazione-italian Privacy Preserving

    Bloom Filter

    Giugno 3, 2021
  • trusted-execution-environment-tee-data-science-come-fuziona Data Science, Privacy Preserving

    Trusted Execution Environment | Cos’è un TEE?

    Giugno 2, 2021
  • Crypto Custody services machine-learning

    Crypto Custody: Guida alla custodia delle criptomonete

    Maggio 26, 2021
  • deep-q-learning-q-learning-reinforcement-learning machine-learning

    Deep Q-Learning

    Aprile 27, 2021

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino