• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
machine-learning

Cos’è il bias in una rete neurale artificiale | Towards Machine Learning

Cos’è il bias in una rete neurale artificiale | Towards Machine Learning

Il bias è un termine che fa riferimento ad un parametro di un modello statistico, il quale è generalmente usato come astrazione di una certa realtà nel campo delle intelligenze artificiali; più nel dettaglio nel Machine Learning.

Come parametro di un modello statistico, il Bias è ‘appreso‘ o ‘stimato‘ (learned or estimated) trovando il punto di minimo (by minimizing) di una particolare funzione detta funzione di perdita, meglio nota come loss function, che dipende dal nostro dataset.

Bias in machine learning | Cosa diamine è??

Il termine Bias è proprio delle rete neurali artificiali, e deve essere inteso come caratterizzante ogni singolo neurone della rete. Perciò nel complesso la rete sarà costitutita da diverse biases.

Ora, il valore associato ai biases è variabile, così come lo è per i wieghts, e viene corretto nella fase di apprendimento.

La chiave di volta per comprenderne il significato e l’utilità è considerare ogni singolo bias come una soglia (threshold) per determinare se l’informazione entrata ed elaborata dal neurone debba o meno uscirne procedendo in avanti (forward propagation)nella rete.

In altre parole, il bias determina se e in quale misura il neurone debba attivarsi (neuron fires).

La presenza di questo parametro incrementa inoltre la flessibilità del modello, consentendogli di adatttarsi meglio (fit the model) al dataset.

Bias in machine learning | Ecco il suo posto nello schema!

Ora capiremo perché è importante avere un parametro come il Bias nella propria rete.

Ogni neurone riceve, dal precedente layer, una somma di input ‘pesati‘ (weighted), che passa attraverso una funzione di attivazione. Il bias entra proprio in questo momento, all’interno della funzione di attivazione.

Questo significa che invece di passare direttamente la ‘somma pesata’ (che permettimi, in italiano non ha proprio senso… weighted input) alla funzione, aggiungiamo un parametro in più: entra in gioco il bias.

Questo esempio, che ammetto essere preso dalla rete, è illuminante.

Consideriamo una singola, piccola, rete di 3 neuroni, due in un layer e uno in un’altro:

L’input del primo neurone (1), così come quello del secondo (2), che si trova nell’input layer, è moltiplicato per il weight della rispettiva connessione al terzo neurone dell’hidden layer. I due risultati parziali sono poi sommati tra loro e passati ad una funzione che nel nostro caso specifico è la ReLU. Avremo così:

1*0.35+2*(-1.50)  => -2.65
f(x) => max(0, -2.65) => 0

L’input ricevuto dal terzo neurone sarà dunque pari a zero: in questo modo il neurone sarà disattivato e il suo peso sarà irrilevante nella rete.

Se volessimo abbassare la soglia di attivazione del neurone (threshold), dove per soglia indichiamo il livello oltre al quale il neurone risulta attivo, dovremmo introdurre il bias il cui valore sarà quindi opposto a quello della soglia desiderata.

Quindi, adesso abbiamo una soglia di 0. Facciamo finta di vole abbassare la soglia a -3; in questo caso scegliamo come bias il suo opposto

-a = -(-3) = 3

e lo aggiungiamo subito prima di calcolare la ReLU. Riprendendo l’esempio di prima:

1*0.35+2*(-1.50) + 3 => -2.65 + 3 = 0.35
f(x) => max(0, 0.35) => 0.35

Con un valore di 0.35, il nostro neurone risulterà attivo.

Written by Andrea Provino - Febbraio 27, 2019
Tags | AI, data science, deep learning, machine learning, neural network

You Might Also Like

Machine Learning Pipelines cosa sono? In italiano

Settembre 21, 2019
build-recommendation-system-python-data-science-machine-learning

Build Recommendation System Python | Project Ideas Overview

Novembre 19, 2019
privacy-preserving-tracking-app-immuni-italia-bending-spoons-guida-italia-machine-learning-data-science-blog

Privacy Preserving Tracing App: cosa significa davvero?

Aprile 24, 2020
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • rust-react-webassembly-privacy-preserving-machine-learning Logs

    Rust, WebAssembly, React e un MVP

    Dicembre 21, 2020
  • diffie-hellman-key-exchange-protocol-scambio-di-chiavi-diffie-hellman Data Science, Privacy Preserving

    Cos’è lo scambio di chiavi Diffie-Hellman (DH)? | Privacy Preserving

    Dicembre 15, 2020
  • principio-di-esattezza-data-science-machine-learning-gdpr-data-accuracy Data Science, GDPR Compliant

    GDPR: Principio di esattezza dei dati (Data Accuracy)

    Dicembre 12, 2020
  • tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines machine-learning

    TFX: come funziona Tensorflow Extended?

    Dicembre 9, 2020
  • tensorflow-extended-tfx-deploy-machine-learning-guide-machine-learning-pipelines machine-learning

    TensorFlow Extended (TFX) | Production Machine Learning Pipeline

    Dicembre 6, 2020
  • mean-shift-clustering-guida-italiano-spiegazione-semplice-algoritmo-di-clustering-esempio Data Science

    Mean-Shift Clustering

    Dicembre 3, 2020
  • data-minimization-principle-gdpr-principio-minimizzazione-dati-personali-gdpr-italia-consulenza-spiegazione-semplice Data Science, GDPR Compliant

    GDPR: Principio di minimizzazione dei dati (Data minimization)

    Dicembre 1, 2020
  • machine-learning-for-finance-trading-online-data-science-deep-learning-intelligenza-artificiale AI, machine-learning

    FinTech: Machine Learning for Finance (FinML) | Guide e Risorse di qualità

    Novembre 29, 2020
  • gdpr-principio-di-limitazione-della-finalita-machine-learning-data-science-guida-prupose-limitation-gdpr Data Science, GDPR Compliant

    GDPR: Principio di Limitazione della finalità | Purpose Limitation

    Novembre 26, 2020
  • machine-learning-engineer-lavoro-stipendio-responsabilità-come-diventare AI, Business, machine-learning

    Machine Learning Engineer

    Novembre 23, 2020

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino