• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
Data Science, machine-learning

LASSO Regression | Italiano

LASSO Regression | Italiano

Least Absolute Shrinkage and Selection Operator Regression, conosciuta come LASSO Regression, è una versione regolarizzata della Linear Regression (Regressione Lineare): aggiungendo un termine di regolarizzazione denominato alpha alla cost function, l’algoritmo di apprendimento è forzato a tenere i weight quanto più bassi possibile.

Definizione data. Mettiamo sulla mensola per un rapido ripasso.

Diamo un’occhiata alla definizione di Ridge Regression, contiene alcuni concetti chiave.

Perfetto adesso siamo allineati.

Ora è il momento di fare sul serio: comprendiamo assieme LASSSO regression.

LASSO Regression: why?

Sappiamo che la complessità di un modello di regressione lineare è spesso insufficiente a cogliere la relazione tra i dati.

Possiamo ovviare al problema ricorrendo a un modello di regressione polinomiale.

Un escamotage che aumenta i gradi di flessibilità (degrees of freedom) del modello incrementando al contempo la sua variance e diminuendo la bias: abbiamo visto come questo si traduca in un fenomeno di overfitting.

Ci piace.

Si lo so che abbiamo sempre detto che overfitting e underfitting sono due temibili nemici.

Pensala così: quando d’estate hai caldo, puoi fare poco: sei in costume e devi ricorrere a una doccia fredda, o un bagno al mare o in piscina. (underfitting, il problma persiste)

D’inverno invece, occorre semplicemente togliersi uno strato, un giaccone o una felpa, e in questo modo controlli più facilmente la temperatura. (overfitting, ma gestibile).

Fuori da metafora, preferiamo un modello in leggero overfitting così da poterne gestire meglio l’apprendimento.

Possiamo infatti penalizzare l’apprendimento, limitando la libertà del modello. Come?

Attraverso LASSO Regression.

LASSO Regression: how?

Una caratteristica fondamentale della LASSO Regression riguarda la gestione delle fetaure di importanza minore.

Contrariamente alla Ridge Regression, che minimizzando il weight di alcune feature ne riduce la contribuzione al modello, la LASSO Regression effettua una vera e propria selezione delle variabili indipendenti (feature selection): portando le restanti a zero attraverso un opportuno valore del weight associato, e generando uno sparse model (con alcune nonzero feature).

Parlando di regolarizzazione in generale esistono due tipi di penalizzazione:

  • L1 (absolute size) penalizza il valore assoluto dei coefficienti del modello
  • L2 (squared size) penalizza il quadrato del valore dei coefficienti del modello.

LA(bsolute)SSO Regresison usa la L1 penalty.

Con questo tipo di regolarizzazione è necessario ridurre gradualmente il learning rate, se prossimi al global minimum.

Infine, come in ogni modello regolarizzato, è opportuno scalare i dati attraverso una standardizzazione poiché questa tipologia di funzioni è sensibile alla scala dei valori del dataset.

Lessico

Concludiamo con un po’ di lessico tecnico.

Possiamo avere modelli allenati con MSE (Mean Squared Error) come funzione di costo non regolarizzata ( α = 0) o regolarizzata con una penalità l1 ( α = 0.5) e Batch Gradient Descent come Optimization Algorithm.

View this post on Instagram

🦄 WHAT? Regressione lineare e Open AI Gym 😍 Scopri di più sull'AI! 1️⃣ Clicca sul link in BIO 2️⃣ Leggi gli articoli che più ti piacciono! 3️⃣ Sviluppa la tua carriera, e fatti assumere! #learnitalian, #blog, #AI, #uxdesign, #ui, #webapp, #blogpost, #data, #machinelearning, #datascience, #OnlineLearning, #BigData, #deeplearning, #intelligenzaartificiale, #tensorflow, #guida, #datascientist, #intelligenzartificiale, #neuralnetworks #study #uxinspiration #statistica #scuolasuperiore #polimi #polito #unito #informatica #scienza #design #studymode

A post shared by Andrea Provino (@andrea.provino) on Nov 4, 2020 at 11:27am PST

Per il momento è tutto.

Per aspera, ad astra.

Un caldo abbraccio, Andrea

Written by Andrea Provino - Dicembre 4, 2019
Tags | data science, machine learning, teoria

You Might Also Like

explicit-ratings-implicit-ratings-recommender-systems

Explicit ratings vs implicit ratings | Recommender Systems

Maggio 14, 2020
tensorflow-js-example-models-javascript-data-science-machine-learning-natural-language-processing

Tensorflow JS: Web Machine Learning and beyond

Marzo 19, 2020
transfer-fedearted-learning-vertical-horizontal-example-data-science-machine-learning

Horizontal vs Vertical vs Transfer Federated Learning

Ottobre 17, 2020

1 Comment

  • Linear Regression e The Normal Equation | Italiano Maggio 21, 2020 at 05:58

    […] LASSO Regression […]

    Reply
  • Please Post Your Comments & Reviews
    Annulla risposta

    Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

    Next Post
    Previous Post

    Una pubblicità che non vedi se usi AdBlock

    EXPAND YOUR KNOWLEDGE

    • Blockchain

      Patricia Merkle Trie

      Maggio 30, 2023
    • Artistic representation of a tree Blockchain

      Tree Data Structure: cos’è un Merkle Tree

      Maggio 26, 2023
    • Cover image for Bitcoin UTXO explanation post Blockchain

      UTXO: come funziona il modello Unspent Transaction Outputs

      Maggio 23, 2023
    • Blockchain

      Cos’è Ethereum

      Maggio 15, 2023
    • Blockchain Developer

      Circuito aritmetico

      Novembre 1, 2022
    • machine-learning

      Un nuovo inizio

      Settembre 4, 2021
    • Zero Knwoledge Proof Article Privacy Preserving

      Zero Knowledge Proof: zk-SNARK e zk-STARK | Prova a conoscenza zero

      Luglio 8, 2021
    • oblivious-transfer-spiegazione-italiano-ot-explanation Privacy Preserving

      Oblivious Transfer (OT)

      Luglio 6, 2021
    • Aleo Studio Website Preview machine-learning

      Aleo Studio: un IDE per Zero-Knowledge Proofs Applications

      Luglio 1, 2021
    • privacy-enhancing-technologies-data-machine-learning-data-science Privacy Preserving

      Perché il Privacy Tech è un vantaggio competitivo micidiale

      Giugno 17, 2021

    Quello che Google pensa ti possa piacere

    Prodotti che i Cookie dicono potresti trovare interessanti

    AI Blog - © 2019-2021 Andrea Provino