• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
AI, machine-learning

Cosa sono Optimization algorithm e Optimizer | Neural Network & Deep Learning

Cosa sono Optimization algorithm e Optimizer | Neural Network & Deep Learning

Un optimizer è un Optimization algorithm, ovvero un algoritmo di ottimizzazione che permette d’individuare, attraverso una serie d’iterazioni, quei valori dei weight tali per cui la cost function risulti avere il valore minimo.

Allineiamoci un attimo.

Abbiamo realizzato il nostro primo piccolo neurone artificiale.

Sfruttando Google Colab, importando tensorflow 2 e usando keras abbiamo dato vita a una rete neurale capace di convertire i gradi Celsius in Fahrenheit.

Sulla strada abbiamo rinfrescato il concetto di loss function, passando al modello la mean squared error, e scegliendo Adam come optimizer.

C’è solo un problema.

Cosa diamine è un ottimizzatore?

Optimization algorithm

Ragioniamo insieme.

Il deep learning è un processo iterativo con molteplici parametri da settare propriamente, e metodi da testare.

Il nostro obiettivo è uno solo: generare un modello capace di generalizzare, quindi assicurarci che non sia in overfitting, e con un’alta accuratezza, cioè che abbia la minima differenza possibile tra i valori predetti e quelli reali.

Per ottenere la discrepanza, il delta, tra valori predetti e reali usiamo una loss function misurata su ogni osservazione, che ci permette di calcolare la cost function.

Dobbiamo minimizzare la cost function individuando i valori ottimizzati per ogni weight.

Ecco che entrano in gioco gli algoritmi di ottimizzazione.

Attraverso iterazioni multiple questi algoritmi consentono l’individuazione dei weights che minimizzano la cost function.

Ci piace!

Tra i migliori, e più usati, optimization algortihm troviamo:

  • Adam optimizer
  • SGD, Stochastic gradient descent
  • BGD, Batch Gradient Descent (Vanilla Gradient Descent)
  • mini-batch gradient descent

Abbiamo dato un rapido sguardo al concetto di optimization algorithm e definito la sua collocazione all’interno del processo di deep learning.

Ora è arrivato il momento d’iniziare a fare sul serio.

Rispondiamo insieme alla domanda: cos’è il Gradient Descent?

Ti anticipo che saremo delle mucche viola al pascolo in una montagna nebbiosa!

Qualora volessi approfondire l’Adam Optinizer, e non puoi resistere qualche giorno, consulta questa fonte.

Invece, per non perderti nemmeno un update, e avere acceso ai contenuti riservati ricordati d’iscriverti alla news letter!

In questo post, un caldo benvenuto a Monica, Alberto, Antonio e Luca.

Un caldo abbraccio, Andrea

Written by Andrea Provino - Ottobre 27, 2019
Tags | deep learning, teoria

You Might Also Like

bloom-filter-spiegazione-italian

Bloom Filter

Giugno 3, 2021
reinforcement-learning-deep-learning-data-science-machine-learning-temporal-difference-learning-q-learning-spiegazione-italiano

Temporal Difference Learning and Q-Learning

Agosto 13, 2020
privacy-vs-utility-tradeoff-deep-learning-machine-learning-blog-italia-privacy-preserving-ai

Privacy vs Utility Trade-off

Maggio 4, 2020

6 Comments

  • Gradient Descent: cos'è? | Deep Learning & Neural Networks - Machine Learning & Data Science Blog Ottobre 29, 2019 at 21:35

    […] Ancora una volta entra in gioco la matematica e come sempre con una soluzione brillante: optimization algorithm, ovvero gli algoritmi di ottimizzazione. […]

    Reply
  • Stochastic Gradient Descent, Batch Gradient Descent Algorithm Ottobre 29, 2019 at 22:20

    […] definito cosa siano e compreso il principio della “discesa del gradiente“ e come si questo si collochi […]

    Reply
  • Linear Regression e The Normal Equation | Italiano Novembre 26, 2019 at 20:20

    […] Abbiamo spiegato il motivo per cui questa funzione è particolarmente utile descrivendo il Gradient Descent, un generico e molto efficiente algoritmo di ottimizzazione. […]

    Reply
  • How to set Learning Rate Deep Learning Neural Networks | Italiano Marzo 15, 2020 at 10:17

    […] abbiamo visto in passato, è un algoritmo di ottimizzazione che stima il gradiente dell’errore per lo stato corrente del […]

    Reply
  • Matrix Factorization per Sistemi di Raccomandazione - Machine Learning Aprile 27, 2020 at 16:58

    […] ora che abbiamo ripassato il concetto possiamo […]

    Reply
  • Federated Learning - Machine Learning & Data Science Blog Ottobre 11, 2020 at 09:17

    […] comuni quali l’ausilio di un Stochastic Gradient Descent (SGD) come algoritmo di ottimizzazione non possono essere utilizzati, perché facenti affidamento a dataset partizionati in modo omogeneo […]

    Reply
  • Please Post Your Comments & Reviews
    Annulla risposta

    Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

    Next Post
    Previous Post

    Una pubblicità che non vedi se usi AdBlock

    EXPAND YOUR KNOWLEDGE

    • Blockchain

      Patricia Merkle Trie

      Maggio 30, 2023
    • Artistic representation of a tree Blockchain

      Tree Data Structure: cos’è un Merkle Tree

      Maggio 26, 2023
    • Cover image for Bitcoin UTXO explanation post Blockchain

      UTXO: come funziona il modello Unspent Transaction Outputs

      Maggio 23, 2023
    • Blockchain

      Cos’è Ethereum

      Maggio 15, 2023
    • Blockchain Developer

      Circuito aritmetico

      Novembre 1, 2022
    • machine-learning

      Un nuovo inizio

      Settembre 4, 2021
    • Zero Knwoledge Proof Article Privacy Preserving

      Zero Knowledge Proof: zk-SNARK e zk-STARK | Prova a conoscenza zero

      Luglio 8, 2021
    • oblivious-transfer-spiegazione-italiano-ot-explanation Privacy Preserving

      Oblivious Transfer (OT)

      Luglio 6, 2021
    • Aleo Studio Website Preview machine-learning

      Aleo Studio: un IDE per Zero-Knowledge Proofs Applications

      Luglio 1, 2021
    • privacy-enhancing-technologies-data-machine-learning-data-science Privacy Preserving

      Perché il Privacy Tech è un vantaggio competitivo micidiale

      Giugno 17, 2021

    Quello che Google pensa ti possa piacere

    Prodotti che i Cookie dicono potresti trovare interessanti

    AI Blog - © 2019-2021 Andrea Provino