• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
AI, machine-learning

LeNet-5 CNN Networks – Deep Learning Engineer Italia

LeNet-5 CNN Networks – Deep Learning Engineer Italia

LeNet-5 è un’architettura di rete neurale convoluzionale ampiamente impiegata nel riconoscimento delle cifre: una delle 4 CNN Networks che esploreremo.

Un Deep Learning Engineer mastica backpropagation e cost function a colazione, progettando CNN Networks a colpo d’occhio.

Bene, caro il mio marinaio.

Sotto l’egida del vento di levante, e col rutilante Sole all’orizzonte, prepariamoci a salpare.

Parole altisonanti a parte, vediamo 4 architetture di CNN.

LeNet-5

Questa architettura è tra le più conosciute nell’ambito delle CNN.

Fu creata da Yann LeCun nel 1998 e da allora ampiamente usata nel riconoscimento della scrittura (hand-written digits recognition), con molteplici applicazioni sul MNIST.

Qui possiamo leggere la pubblicazione ufficiale.

L‘input layer di dimensioni 32x32x1 supporta immagini in scala grigi (greyscale image)

LeNet-5 Architecture

A seguire troviamo sei filtri convoluzionali 5×5 con uno stride di 1.

Risultato?

Il sample finale avrà dimensioni 28x28x6 con stride 1 e padding 0.

Per calcolare l’output possiamo servirci di questa relativamente semplice formula:

(n +2p –f )/ s +1 * (n +2p –f )/ s +1 * Nc

Nc: è il numero di canali
p: padding (nel caso di LeNet-5 questo valore è nullo)
s: stride
f: la dimensione del filtro

Proseguiamo: ora LeNet-5 prevede un filtro di Pooling.

Qui, occorre una precisazione.

20 anni fa i filtri di average pooling erano molto più comuni dei max pooling.

Volendo costruire una variante moderna, potremmo preferire il secondo filtro al primo.

Mantenendo il riferimento al’immagine di cui sopra, l’average pooling conduce a un volume di 14x14x6.

La formula per il calcolo delle nuove dimensioni è la medesima.

Ora applichiamo un altro filtro convoluzionale. Questa volta sono 16 i filtri: stessa dimensione, 5×5.

Il volume che otteniamo e 10x10x16.

Per concludere applichiamo un ultimo filtro di average pooling per ridurre le dimensioni a 5x5x16, che si traducono in 400 parametri.

Ecco infine la nostra deep neural network composta da due fully connected layer.

Il primo, collega ognuno dei 400 nodi a ciascuno dei 120 neuroni.

Il secondo, collega ciascuno dei 120 successivi nodi agli 84 neuroni dell’output layer.

Chiude le danze una funzione di attivazione non lineare: softmax.

La pubblicazione prevedeva una funzione RBF, caduta però in disuso.

Ecco le nostre previsioni di probabilità per ognuna delle 10 variabili, una per ciascuna cifra.

Qualche considerazione rapida sul processo.

L’immagine iniziale a canale unico di 32x32x1 è stata ridotta a 5x5x16, con un elevato aumento di canali: da 1 a 16.

Per il momento è tutto!

Un caldo abbraccio, Andrea.

Written by Andrea Provino - Febbraio 27, 2020
Tags | deep learning

You Might Also Like

global-differential-privacy-local-differential-privacy-deep-learning-data-science-scaled

Global Differential Privacy vs Local Differential Privacy

Febbraio 13, 2020

No Big Data? Handling small data | Consigli

Giugno 28, 2019
u-net-convolutional-neural-network-cnn-deep-learning-italia-machine-learning-engineer-guida-italiano-machine-learning-engineers

U-Net FCN Networks | Deep Learning Engineer Italia

Novembre 14, 2020
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • Blockchain Developer

    Circuito aritmetico

    Novembre 1, 2022
  • machine-learning

    Un nuovo inizio

    Settembre 4, 2021
  • Zero Knwoledge Proof Article Privacy Preserving

    Zero Knowledge Proof: zk-SNARK e zk-STARK | Prova a conoscenza zero

    Luglio 8, 2021
  • oblivious-transfer-spiegazione-italiano-ot-explanation Privacy Preserving

    Oblivious Transfer (OT)

    Luglio 6, 2021
  • Aleo Studio Website Preview machine-learning

    Aleo Studio: un IDE per Zero-Knowledge Proofs Applications

    Luglio 1, 2021
  • privacy-enhancing-technologies-data-machine-learning-data-science Privacy Preserving

    Perché il Privacy Tech è un vantaggio competitivo micidiale

    Giugno 17, 2021
  • bloom-filter-spiegazione-italian Privacy Preserving

    Bloom Filter

    Giugno 3, 2021
  • trusted-execution-environment-tee-data-science-come-fuziona Data Science, Privacy Preserving

    Trusted Execution Environment | Cos’è un TEE?

    Giugno 2, 2021
  • Crypto Custody services machine-learning

    Crypto Custody: Guida alla custodia delle criptomonete

    Maggio 26, 2021
  • deep-q-learning-q-learning-reinforcement-learning machine-learning

    Deep Q-Learning

    Aprile 27, 2021

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino