• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
Data Science, machine-learning

No Free Lunch theorem (NFL) in Italiano

No Free Lunch theorem (NFL) in Italiano

Il No Free Lunch theorem, di David Wolpert, è a fondamento di ogni modello di machine learning. E’ arrivato il momento di capire cosa significa e quale sia la sua importanza.

Inoltre, è alla base della cultura di un Data Scientist.

No Free Lunch (NFL) theorem | Spiegazione in italiano

Un modello di realtà, per definizione, è una semplificazione della stessa.

Semplificare significa però rinunciare a dettagli superflui; per un modello di machine learning, rinunciare a dettagli che generalizzano poco o male su nuove istanze.

Il problema è nel decidere quali dati scartare e quali tenere.

La soluzione è creare un’assunzione (assumption)

Un modello lineare si basa sull’assunzione che esita una relazione lineare tra i dati. Questo porta a considerare la distanza con le altre osservazioni un semplice rumore, noise.

In una famosa pubblicazione, datata 1996, David Wolpert, matematico e informatico americano, dimostra che in assenza di qualsiasi assunzione sui dati, non esiste alcuna ragione per preferire un modello rispetto ad un altro.

Questo teorema matematico è stato definito No Free Lunch (NFL).

Per alcuni dataset un modello lienare risulta maggiormente rappresentativo, per altri è preferibile optare per una rete neurale.

E’ fondamentale dunque capire che non esiste a priori un sistema per determinare il modello migliore per uno specifico dataset.

Come risolviamo questo problema?

Provandoli tutti.

Sembra assurdo, ma è esattamente ciò che succede durante lo sviluppo.

L’unico modo che hai di individuare il modello migliore è valutanto quelli papabili uno ad uno.

Evidentemente, una soluzione del genere è assai poco efficiente. Quindi un’assunzione, seppur minima, è fatta.

Ad esempio, per un task sufficientemente semplice, assumi che un modello lineare opportunamente regolarizzato per evitare overfitting, basti a generalizzare bene.

Come sempre questo post si basa sulla regola di Pareto: il 20% di ciò che ti serve per conoscere l’80% dell’argomento!

Un caldo abbraccio, Andrea.

Written by Andrea Provino - Settembre 15, 2019
Tags | data science, machine learning, teoria

You Might Also Like

recommender-systems-memory-based-model-based-content-based-collective-filtering-machine-learning-data-science-blog

Recommender Systems

Novembre 14, 2019
matrix-factorization-collaborative-filtering-recommender-system-machine-learning-example-italiano-data-science-machine-learning-blog

Matrix Factorization per Sistemi di Raccomandazione

Marzo 25, 2020
noise-accuracy-tradeoff-differential-privacy-randomized-response-plausible-deniability

Overfitting: spiegazione in italiano | Towards Machine Learning

Marzo 11, 2019
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • fully-homomorphic-encryption-crittografia-completamente-omomorfica Privacy Preserving

    Cos’è la Crittografia Omomorfica | Homomorphic Encryption (HE)

    Marzo 4, 2021
  • data-science-for-finance-machine-learning-deep-learning-data-science-use-cases-use-cases Business, Data Science, machine-learning

    Data Science for Finance | Use Cases per il Data Scientist

    Febbraio 13, 2021
  • differential-privacy-example-privacy-differenziale-esempio-italiano-applicazioni-reali Business, Data Science, Privacy Preserving

    Differential Privacy Example | Esempi di privacy differenziale

    Febbraio 10, 2021
  • privacy-enhancing-technologies-techniques-machine-learning-data-science-pets-guida-italiano-spiegazione-semplice Business, Data Science, machine-learning, Privacy Preserving

    Cosa sono le Privacy-enhancing technologies o techniques (PETs)

    Febbraio 7, 2021
  • condivisione-dati-finance-fintech-problems-machine-learning-for-finance-data-science-deep-learning-case-study Business

    Problemi della condivisione dati in finanza | Finance data sharing problems

    Febbraio 4, 2021
  • finance-privacy-settore-finanziario-dati-privacy-enhancing-technologies-ai Business

    Il legame tra Privacy Dati AI nel settore finanziario

    Febbraio 1, 2021
  • rust-react-webassembly-privacy-preserving-machine-learning Logs

    Rust, WebAssembly, React e un MVP

    Dicembre 21, 2020
  • diffie-hellman-key-exchange-protocol-scambio-di-chiavi-diffie-hellman Data Science, Privacy Preserving

    Cos’è lo scambio di chiavi Diffie-Hellman (DH)? | Privacy Preserving

    Dicembre 15, 2020
  • principio-di-esattezza-data-science-machine-learning-gdpr-data-accuracy Data Science, GDPR Compliant

    GDPR: Principio di esattezza dei dati (Data Accuracy)

    Dicembre 12, 2020
  • tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines machine-learning

    TFX: come funziona Tensorflow Extended?

    Dicembre 9, 2020

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino