• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
Data Science, machine-learning

No Free Lunch theorem (NFL) in Italiano

No Free Lunch theorem (NFL) in Italiano

Il No Free Lunch theorem, di David Wolpert, è a fondamento di ogni modello di machine learning. E’ arrivato il momento di capire cosa significa e quale sia la sua importanza.

Inoltre, è alla base della cultura di un Data Scientist.

No Free Lunch (NFL) theorem | Spiegazione in italiano

Un modello di realtà, per definizione, è una semplificazione della stessa.

Semplificare significa però rinunciare a dettagli superflui; per un modello di machine learning, rinunciare a dettagli che generalizzano poco o male su nuove istanze.

Il problema è nel decidere quali dati scartare e quali tenere.

La soluzione è creare un’assunzione (assumption)

Un modello lineare si basa sull’assunzione che esita una relazione lineare tra i dati. Questo porta a considerare la distanza con le altre osservazioni un semplice rumore, noise.

In una famosa pubblicazione, datata 1996, David Wolpert, matematico e informatico americano, dimostra che in assenza di qualsiasi assunzione sui dati, non esiste alcuna ragione per preferire un modello rispetto ad un altro.

Questo teorema matematico è stato definito No Free Lunch (NFL).

Per alcuni dataset un modello lienare risulta maggiormente rappresentativo, per altri è preferibile optare per una rete neurale.

E’ fondamentale dunque capire che non esiste a priori un sistema per determinare il modello migliore per uno specifico dataset.

Come risolviamo questo problema?

Provandoli tutti.

Sembra assurdo, ma è esattamente ciò che succede durante lo sviluppo.

L’unico modo che hai di individuare il modello migliore è valutanto quelli papabili uno ad uno.

Evidentemente, una soluzione del genere è assai poco efficiente. Quindi un’assunzione, seppur minima, è fatta.

Ad esempio, per un task sufficientemente semplice, assumi che un modello lineare opportunamente regolarizzato per evitare overfitting, basti a generalizzare bene.

Come sempre questo post si basa sulla regola di Pareto: il 20% di ciò che ti serve per conoscere l’80% dell’argomento!

Un caldo abbraccio, Andrea.

Written by Andrea Provino - Settembre 15, 2019
Tags | data science, machine learning, teoria

You Might Also Like

non-iid-distribution-spiegazione-italiano-non-indipendentemente-distributi

Non-IID ness: Non-independently and identically distributed data

Giugno 7, 2020
bloom-filter-spiegazione-italian

Bloom Filter

Giugno 3, 2021
primi-passi-con-streamlit-guida-machine-learning-deployment-italian

Primi passi con streamlit: Il Machine Learning Deployment rapido!

Giugno 4, 2020

No Comment

Please Post Your Comments & Reviews
Annulla risposta

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • Blockchain

    Patricia Merkle Trie

    Maggio 30, 2023
  • Artistic representation of a tree Blockchain

    Tree Data Structure: cos’è un Merkle Tree

    Maggio 26, 2023
  • Cover image for Bitcoin UTXO explanation post Blockchain

    UTXO: come funziona il modello Unspent Transaction Outputs

    Maggio 23, 2023
  • Blockchain

    Cos’è Ethereum

    Maggio 15, 2023
  • Blockchain Developer

    Circuito aritmetico

    Novembre 1, 2022
  • machine-learning

    Un nuovo inizio

    Settembre 4, 2021
  • Zero Knwoledge Proof Article Privacy Preserving

    Zero Knowledge Proof: zk-SNARK e zk-STARK | Prova a conoscenza zero

    Luglio 8, 2021
  • oblivious-transfer-spiegazione-italiano-ot-explanation Privacy Preserving

    Oblivious Transfer (OT)

    Luglio 6, 2021
  • Aleo Studio Website Preview machine-learning

    Aleo Studio: un IDE per Zero-Knowledge Proofs Applications

    Luglio 1, 2021
  • privacy-enhancing-technologies-data-machine-learning-data-science Privacy Preserving

    Perché il Privacy Tech è un vantaggio competitivo micidiale

    Giugno 17, 2021

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino