• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
AI, machine-learning

LeNet-5 CNN Networks – Deep Learning Engineer Italia

LeNet-5 CNN Networks – Deep Learning Engineer Italia

LeNet-5 è un’architettura di rete neurale convoluzionale ampiamente impiegata nel riconoscimento delle cifre: una delle 4 CNN Networks che esploreremo.

Un Deep Learning Engineer mastica backpropagation e cost function a colazione, progettando CNN Networks a colpo d’occhio.

Bene, caro il mio marinaio.

Sotto l’egida del vento di levante, e col rutilante Sole all’orizzonte, prepariamoci a salpare.

Parole altisonanti a parte, vediamo 4 architetture di CNN.

LeNet-5

Questa architettura è tra le più conosciute nell’ambito delle CNN.

Fu creata da Yann LeCun nel 1998 e da allora ampiamente usata nel riconoscimento della scrittura (hand-written digits recognition), con molteplici applicazioni sul MNIST.

Qui possiamo leggere la pubblicazione ufficiale.

L‘input layer di dimensioni 32x32x1 supporta immagini in scala grigi (greyscale image)

LeNet-5 Architecture

A seguire troviamo sei filtri convoluzionali 5×5 con uno stride di 1.

Risultato?

Il sample finale avrà dimensioni 28x28x6 con stride 1 e padding 0.

Per calcolare l’output possiamo servirci di questa relativamente semplice formula:

(n +2p –f )/ s +1 * (n +2p –f )/ s +1 * Nc

Nc: è il numero di canali
p: padding (nel caso di LeNet-5 questo valore è nullo)
s: stride
f: la dimensione del filtro

Proseguiamo: ora LeNet-5 prevede un filtro di Pooling.

Qui, occorre una precisazione.

20 anni fa i filtri di average pooling erano molto più comuni dei max pooling.

Volendo costruire una variante moderna, potremmo preferire il secondo filtro al primo.

Mantenendo il riferimento al’immagine di cui sopra, l’average pooling conduce a un volume di 14x14x6.

La formula per il calcolo delle nuove dimensioni è la medesima.

Ora applichiamo un altro filtro convoluzionale. Questa volta sono 16 i filtri: stessa dimensione, 5×5.

Il volume che otteniamo e 10x10x16.

Per concludere applichiamo un ultimo filtro di average pooling per ridurre le dimensioni a 5x5x16, che si traducono in 400 parametri.

Ecco infine la nostra deep neural network composta da due fully connected layer.

Il primo, collega ognuno dei 400 nodi a ciascuno dei 120 neuroni.

Il secondo, collega ciascuno dei 120 successivi nodi agli 84 neuroni dell’output layer.

Chiude le danze una funzione di attivazione non lineare: softmax.

La pubblicazione prevedeva una funzione RBF, caduta però in disuso.

Ecco le nostre previsioni di probabilità per ognuna delle 10 variabili, una per ciascuna cifra.

Qualche considerazione rapida sul processo.

L’immagine iniziale a canale unico di 32x32x1 è stata ridotta a 5x5x16, con un elevato aumento di canali: da 1 a 16.

Per il momento è tutto!

Un caldo abbraccio, Andrea.

Written by Andrea Provino - Febbraio 27, 2020
Tags | deep learning

You Might Also Like

image-segmentaion-semantic-segmentaion-instance-segmentaion-machine-learning-data-science-guida-italiano

Image Segmentation | Segmentazione semantica e delle istanze

Novembre 8, 2020
federated-learning-privacy-differential-privacy-python-pygrid-tensorflow-federated-learning-data-science-machine-learning-scaled

Federated Learning

Febbraio 10, 2020
deep-learning-gradient-descent-neural-network-batch-gradient-descent-spiegazione-italiano-deep-learning-tutorial

Gradient Descent: cos’è? | Deep Learning & Neural Networks

Ottobre 28, 2019

3 Comments

  • AlexNet CNN Networks - Deep Learning Engineer Italia Febbraio 29, 2020 at 09:44

    […] Hai letto il post sul LeNet-5? […]

    Reply
  • ResNet CNN Networks | Deep Learning Engineer Italia Novembre 19, 2020 at 06:45

    […] esaminato l’architettura di LeNet-5, tra le prime CNN a essere […]

    Reply
  • VGG-16 CNN Networks | Deep Learning Engineer Italia Novembre 19, 2020 at 07:02

    […] dopo aver studiato la struttura della LeNet-5 e l’AlexNet vediamo ora quella della VGG-16 nel nostro percorso sulle CNN […]

    Reply
  • Please Post Your Comments & Reviews
    Annulla risposta

    Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

    Next Post
    Previous Post

    Una pubblicità che non vedi se usi AdBlock

    EXPAND YOUR KNOWLEDGE

    • Blockchain

      Patricia Merkle Trie

      Maggio 30, 2023
    • Artistic representation of a tree Blockchain

      Tree Data Structure: cos’è un Merkle Tree

      Maggio 26, 2023
    • Cover image for Bitcoin UTXO explanation post Blockchain

      UTXO: come funziona il modello Unspent Transaction Outputs

      Maggio 23, 2023
    • Blockchain

      Cos’è Ethereum

      Maggio 15, 2023
    • Blockchain Developer

      Circuito aritmetico

      Novembre 1, 2022
    • machine-learning

      Un nuovo inizio

      Settembre 4, 2021
    • Zero Knwoledge Proof Article Privacy Preserving

      Zero Knowledge Proof: zk-SNARK e zk-STARK | Prova a conoscenza zero

      Luglio 8, 2021
    • oblivious-transfer-spiegazione-italiano-ot-explanation Privacy Preserving

      Oblivious Transfer (OT)

      Luglio 6, 2021
    • Aleo Studio Website Preview machine-learning

      Aleo Studio: un IDE per Zero-Knowledge Proofs Applications

      Luglio 1, 2021
    • privacy-enhancing-technologies-data-machine-learning-data-science Privacy Preserving

      Perché il Privacy Tech è un vantaggio competitivo micidiale

      Giugno 17, 2021

    Quello che Google pensa ti possa piacere

    Prodotti che i Cookie dicono potresti trovare interessanti

    AI Blog - © 2019-2021 Andrea Provino