Gradient-laskumine leiutati Cauchy aastal 1847. Méthode générale pour la résolution des systèmes d'équations simultanées. lk 536–538 Lisateavet selle kohta leiate siit.
Millal SGD leiutati?
Singapuri dollar lasti esmakordselt käibele 1965 pärast Malaisia ja Brunei vahelise rahaliidu lagunemist, kuid see on jäänud mõlemas riigis Brunei dollariga asendatavaks.
Kes leiutas gradiendi võimendamise?
Kes leiutas gradiendi suurendamise masinad? Jerome Friedman tutvustas oma 1999. aasta (värskendatud 2001. aastal) peatükis "Greedy Function Approximation: A Gradient Boosting Machine" gradiendi võimendusmasinat, kuigi võimenduse idee ei olnud uus.
Kas Adam kasutab stohhastilist gradiendi laskumist?
Adam on asenduse optimeerimise algoritm stohhastilise gradiendi laskumiseks süvaõppemudelite treenimiseks. Adam ühendab AdaGradi ja RMSPropi algoritmide parimad omadused, et pakkuda optimeerimisalgoritmi, mis saab hakkama müraprobleemide hõredate gradientidega.
Miks seda nimetatakse stohhastiliseks gradiendi laskumiseks?
Sõna 'stohhastiline' tähendab süsteemi või protsessi, mis on seotud juhusliku tõenäosusega. Seega valitakse stohhastilise gradiendi laskumise korral iga iteratsiooni jaoks paar näidist juhuslikult kogu andmekomplekti asemel.
