• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
machine-learning

Cos’è il bias in una rete neurale artificiale | Towards Machine Learning

Cos’è il bias in una rete neurale artificiale | Towards Machine Learning

Il bias è un termine che fa riferimento ad un parametro di un modello statistico, il quale è generalmente usato come astrazione di una certa realtà nel campo delle intelligenze artificiali; più nel dettaglio nel Machine Learning.

Come parametro di un modello statistico, il Bias è ‘appreso‘ o ‘stimato‘ (learned or estimated) trovando il punto di minimo (by minimizing) di una particolare funzione detta funzione di perdita, meglio nota come loss function, che dipende dal nostro dataset.

Bias in machine learning | Cosa diamine è??

Il termine Bias è proprio delle rete neurali artificiali, e deve essere inteso come caratterizzante ogni singolo neurone della rete. Perciò nel complesso la rete sarà costitutita da diverse biases.

Ora, il valore associato ai biases è variabile, così come lo è per i wieghts, e viene corretto nella fase di apprendimento.

La chiave di volta per comprenderne il significato e l’utilità è considerare ogni singolo bias come una soglia (threshold) per determinare se l’informazione entrata ed elaborata dal neurone debba o meno uscirne procedendo in avanti (forward propagation)nella rete.

In altre parole, il bias determina se e in quale misura il neurone debba attivarsi (neuron fires).

La presenza di questo parametro incrementa inoltre la flessibilità del modello, consentendogli di adatttarsi meglio (fit the model) al dataset.

Bias in machine learning | Ecco il suo posto nello schema!

Ora capiremo perché è importante avere un parametro come il Bias nella propria rete.

Ogni neurone riceve, dal precedente layer, una somma di input ‘pesati‘ (weighted), che passa attraverso una funzione di attivazione. Il bias entra proprio in questo momento, all’interno della funzione di attivazione.

Questo significa che invece di passare direttamente la ‘somma pesata’ (che permettimi, in italiano non ha proprio senso… weighted input) alla funzione, aggiungiamo un parametro in più: entra in gioco il bias.

Questo esempio, che ammetto essere preso dalla rete, è illuminante.

Consideriamo una singola, piccola, rete di 3 neuroni, due in un layer e uno in un’altro:

L’input del primo neurone (1), così come quello del secondo (2), che si trova nell’input layer, è moltiplicato per il weight della rispettiva connessione al terzo neurone dell’hidden layer. I due risultati parziali sono poi sommati tra loro e passati ad una funzione che nel nostro caso specifico è la ReLU. Avremo così:

1*0.35+2*(-1.50)  => -2.65
f(x) => max(0, -2.65) => 0

L’input ricevuto dal terzo neurone sarà dunque pari a zero: in questo modo il neurone sarà disattivato e il suo peso sarà irrilevante nella rete.

Se volessimo abbassare la soglia di attivazione del neurone (threshold), dove per soglia indichiamo il livello oltre al quale il neurone risulta attivo, dovremmo introdurre il bias il cui valore sarà quindi opposto a quello della soglia desiderata.

Quindi, adesso abbiamo una soglia di 0. Facciamo finta di vole abbassare la soglia a -3; in questo caso scegliamo come bias il suo opposto

-a = -(-3) = 3

e lo aggiungiamo subito prima di calcolare la ReLU. Riprendendo l’esempio di prima:

1*0.35+2*(-1.50) + 3 => -2.65 + 3 = 0.35
f(x) => max(0, 0.35) => 0.35

Con un valore di 0.35, il nostro neurone risulterà attivo.

Written by Andrea Provino - Febbraio 27, 2019
Tags | AI, data science, deep learning, machine learning, neural network

You Might Also Like

tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines

TensorFlow Extended (TFX) | Production Machine Learning Pipeline

Dicembre 6, 2020
gpdr-fairness-lawfulness-transparency-principles-principi-gdpr-laicita-correttezza-trasparenza

Principi GDPR: liceità, correttezza e trasparenza

Novembre 17, 2020

Guida segmentazione semantica | Tensorflow, machine learning e computer vision

Dicembre 26, 2018
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • fully-homomorphic-encryption-crittografia-completamente-omomorfica Privacy Preserving

    Cos’è la Crittografia Omomorfica | Homomorphic Encryption (HE)

    Marzo 4, 2021
  • data-science-for-finance-machine-learning-deep-learning-data-science-use-cases-use-cases Business, Data Science, machine-learning

    Data Science for Finance | Use Cases per il Data Scientist

    Febbraio 13, 2021
  • differential-privacy-example-privacy-differenziale-esempio-italiano-applicazioni-reali Business, Data Science, Privacy Preserving

    Differential Privacy Example | Esempi di privacy differenziale

    Febbraio 10, 2021
  • privacy-enhancing-technologies-techniques-machine-learning-data-science-pets-guida-italiano-spiegazione-semplice Business, Data Science, machine-learning, Privacy Preserving

    Cosa sono le Privacy-enhancing technologies o techniques (PETs)

    Febbraio 7, 2021
  • condivisione-dati-finance-fintech-problems-machine-learning-for-finance-data-science-deep-learning-case-study Business

    Problemi della condivisione dati in finanza | Finance data sharing problems

    Febbraio 4, 2021
  • finance-privacy-settore-finanziario-dati-privacy-enhancing-technologies-ai Business

    Il legame tra Privacy Dati AI nel settore finanziario

    Febbraio 1, 2021
  • rust-react-webassembly-privacy-preserving-machine-learning Logs

    Rust, WebAssembly, React e un MVP

    Dicembre 21, 2020
  • diffie-hellman-key-exchange-protocol-scambio-di-chiavi-diffie-hellman Data Science, Privacy Preserving

    Cos’è lo scambio di chiavi Diffie-Hellman (DH)? | Privacy Preserving

    Dicembre 15, 2020
  • principio-di-esattezza-data-science-machine-learning-gdpr-data-accuracy Data Science, GDPR Compliant

    GDPR: Principio di esattezza dei dati (Data Accuracy)

    Dicembre 12, 2020
  • tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines machine-learning

    TFX: come funziona Tensorflow Extended?

    Dicembre 9, 2020

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino