• 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
  • 🏡 Home
  • 🚨 GDPR Compliant
  • ⚡️ Data Science
  • 📌 Machine Learning
  • 🔒 Privacy Preserving
AI, machine-learning

Cosa sono Optimization algorithm e Optimizer | Neural Network & Deep Learning

Cosa sono Optimization algorithm e Optimizer | Neural Network & Deep Learning

Un optimizer è un Optimization algorithm, ovvero un algoritmo di ottimizzazione che permette d’individuare, attraverso una serie d’iterazioni, quei valori dei weight tali per cui la cost function risulti avere il valore minimo.

Allineiamoci un attimo.

Abbiamo realizzato il nostro primo piccolo neurone artificiale.

Sfruttando Google Colab, importando tensorflow 2 e usando keras abbiamo dato vita a una rete neurale capace di convertire i gradi Celsius in Fahrenheit.

Sulla strada abbiamo rinfrescato il concetto di loss function, passando al modello la mean squared error, e scegliendo Adam come optimizer.

C’è solo un problema.

Cosa diamine è un ottimizzatore?

Optimization algorithm

Ragioniamo insieme.

Il deep learning è un processo iterativo con molteplici parametri da settare propriamente, e metodi da testare.

Il nostro obiettivo è uno solo: generare un modello capace di generalizzare, quindi assicurarci che non sia in overfitting, e con un’alta accuratezza, cioè che abbia la minima differenza possibile tra i valori predetti e quelli reali.

Per ottenere la discrepanza, il delta, tra valori predetti e reali usiamo una loss function misurata su ogni osservazione, che ci permette di calcolare la cost function.

Dobbiamo minimizzare la cost function individuando i valori ottimizzati per ogni weight.

Ecco che entrano in gioco gli algoritmi di ottimizzazione.

Attraverso iterazioni multiple questi algoritmi consentono l’individuazione dei weights che minimizzano la cost function.

Ci piace!

Tra i migliori, e più usati, optimization algortihm troviamo:

  • Adam optimizer
  • SGD, Stochastic gradient descent
  • BGD, Batch Gradient Descent (Vanilla Gradient Descent)
  • mini-batch gradient descent

Abbiamo dato un rapido sguardo al concetto di optimization algorithm e definito la sua collocazione all’interno del processo di deep learning.

Ora è arrivato il momento d’iniziare a fare sul serio.

Rispondiamo insieme alla domanda: cos’è il Gradient Descent?

Ti anticipo che saremo delle mucche viola al pascolo in una montagna nebbiosa!

Qualora volessi approfondire l’Adam Optinizer, e non puoi resistere qualche giorno, consulta questa fonte.

Invece, per non perderti nemmeno un update, e avere acceso ai contenuti riservati ricordati d’iscriverti alla news letter!

In questo post, un caldo benvenuto a Monica, Alberto, Antonio e Luca.

Un caldo abbraccio, Andrea

No, questo contenuto è riservato.
Non ci puoi accedere

E’ destinato a una ristretta lista di persone motivate e intraprendenti.

E’ diritto esclusivo di sognatori e curiosi.

Come? Pensi di essere una di loro?

Dimostramelo…

accetto i noiosi termini e le condizioni

Written by Andrea Provino - Ottobre 27, 2019
Tags | deep learning, teoria

You Might Also Like

adversarial-attacks-taxonomy-deep-learning-blog-italia-machine-learning

Adversarial Attack | Cos’è un Attacco Avversario

Maggio 12, 2020
aws-lambda-rnn-tensroflow-model-data-science-machine-learning-trading-deep-learning

AWS Lambda e RNN Tensorflow Model | Log Italiano

Aprile 14, 2020
enigma-cripthography-cypbersecurity-data-science-machine-learning-homomorphic-encryption-additive-secret-sharing-deep-learning-privacy-preserving

Introduzione alla Crittografia (Cryptography) | Differential Privacy

Maggio 2, 2020
Next Post
Previous Post

Una pubblicità che non vedi se usi AdBlock

EXPAND YOUR KNOWLEDGE

  • Blockchain Developer

    Circuito aritmetico

    Novembre 1, 2022
  • machine-learning

    Un nuovo inizio

    Settembre 4, 2021
  • Zero Knwoledge Proof Article Privacy Preserving

    Zero Knowledge Proof: zk-SNARK e zk-STARK | Prova a conoscenza zero

    Luglio 8, 2021
  • oblivious-transfer-spiegazione-italiano-ot-explanation Privacy Preserving

    Oblivious Transfer (OT)

    Luglio 6, 2021
  • Aleo Studio Website Preview machine-learning

    Aleo Studio: un IDE per Zero-Knowledge Proofs Applications

    Luglio 1, 2021
  • privacy-enhancing-technologies-data-machine-learning-data-science Privacy Preserving

    Perché il Privacy Tech è un vantaggio competitivo micidiale

    Giugno 17, 2021
  • bloom-filter-spiegazione-italian Privacy Preserving

    Bloom Filter

    Giugno 3, 2021
  • trusted-execution-environment-tee-data-science-come-fuziona Data Science, Privacy Preserving

    Trusted Execution Environment | Cos’è un TEE?

    Giugno 2, 2021
  • Crypto Custody services machine-learning

    Crypto Custody: Guida alla custodia delle criptomonete

    Maggio 26, 2021
  • deep-q-learning-q-learning-reinforcement-learning machine-learning

    Deep Q-Learning

    Aprile 27, 2021

Quello che Google pensa ti possa piacere

Prodotti che i Cookie dicono potresti trovare interessanti

AI Blog - © 2019-2021 Andrea Provino