Programma
Introduzione al deep learning, la relazione tra deep learning e machine learning, e applicazioni alla computer vision e natural language processing.
Introduzione all'elaborazione delle immagini digitali e le convoluzioni, introduzione all'elaborazione di input di testo e parlato.
Revisione della regressione logistica multinomiale per la classificazione multi-classe, classificatori lineari, ottimizzazione con gradient descent e regolarizzazione.
Introduzione al grafico computazionale e alla backpropagation.
Reti neurali convoluzionali e moderne architetture convoluzionali.
Training di ConvNet: funzioni di attivazione, pre-elaborazione dei dati, inizializzazione dei pesi, batch-normalization, DropOut e data augmentation, ottimizzazione degli iperparametri, transfer learning.
Reti neurali convoluzionali per serie temporali.
Reti neurali ricorrenti RNN e LSTMS
Transformer Networks, attenzione e auto-attenzione, codifica posizionale, le moderne architetture di Transformer Networks e BERT.
Generative Deep Learning: generazione auto-regressiva, auto-encoder (AE), reti avversarie generative (GAN)
Etica del deep learning
Prerequisiti
Si richiede conoscenza di: 1) Programmazione in Python e basi di programmazione in Pytorch 2) Tecniche per il progetto di algoritmi e strutture dati 3) Matematica generale, algebra, teoria degli insiemi.
Testi di riferimento
Slides and coding scripts will be distributed after lectures, as well as references to online material, including papers and blogs.
Reference books Machine Learning:
Deisenroth, Faisal, Ong, 2020. Mathematics for Machine Learning (available at: https://mml-book.github.io/)
Christopher M. Bishop, 2006. Pattern Recognition and Machine Learning
Reference books for Deep Learning:
Aston Zhang, Zachary Lipton, Alexander J. Smola, Mu Li, 2023. Dive Into Deep Learning (available at: https://d2l.ai/)
Francois Fleuret, 2024. The Little Book of Deep Learning. (available at: https://fleuret.org/dlc/)
Michael M. Bronstein, Joan Bruna, Taco Cohen, Petar Veličković, 2024. Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges (available at: https://geometricdeeplearning.com/book/)
Ian Goofellow, Yoshua Bengio, Aaron Courville, 2017. Deep Learning (available at: https://www.deeplearningbook.org/)
Andrew Ng, 2019. Machine Learning Yearning (available at: https://www.deeplearning.ai/machine-learning-yearning/)
Zhang Lipton Li Smola Book, 2019 Dive into Deep Learning (interactive book and code at: http://d2l.ai/index.html)
Reference books for Computer Vision:
Antonio Torralba, Phillip Isola and William T. Freeman, 2024. Foundations of Computer Vision (https://mitpress.mit.edu/9780262048972/foundations-of-computer-vision/)
Richard Szeliski, 2010. Computer Vision: Algorithms and Applications
(available at: http://szeliski.org/Book)
Reference books for Robotics:
Frank Dellaert, 2024, Robotics. (available at: https://www.roboticsbook.org/)
Reference book for Python and Pytorch:
Aston Zhang, Zachary Lipton, Alexander J. Smola, Mu Li, 2023. Dive Into Deep Learning (available at https://d2l.ai/ , select Notebooks/Pytorch)
Jake VanderPlas, 2016. Python Data Science Handbook: Tools and Techniques for Developers: Essential Tools for working with Data (Book and notebooks available at: https://github.com/jakevdp/PythonDataScienceHandbook)
Online tutorials for Python: https://docs.python.org/3/tutorial/
Online tutorials for Pytorch: https://pytorch.org/tutorials/
Frequenza
Sebbene non obbligatoria, la frequenza è consigliata per poter acquisire le conoscenze di pari passo con lo svolgimento delle lezioni e poter essere preparati al meglio per la prova scritta d’esame.
Modalità di esame
L'esame consiste in una prova scritta con domande a risposta multipla su teoria e su esercizi che vertono sull’intero programma del corso.
Bibliografia
Christopher M. Bishop, 2006. Pattern Recognition and Machine Learning
Michael M. Bronstein, Joan Bruna, Taco Cohen, Petar Veličković, 2024. Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges (available at: https://geometricdeeplearning.com/book/)
Frank Dellaert, 2024, Robotics. (available at: https://www.roboticsbook.org/)
Deisenroth, Faisal, Ong, 2020. Mathematics for Machine Learning (available at: https://mml-book.github.io/)
Francois Fleuret, 2024. The Little Book of Deep Learning. (available at: https://fleuret.org/dlc/)
Ian Goofellow, Yoshua Bengio, Aaron Courville, 2017. Deep Learning (available at: https://www.deeplearningbook.org/)
Zhang Lipton Li Smola Book, 2019 Dive into Deep Learning (interactive book and code at: http://d2l.ai/index.html)
Andrew Ng, 2019. Machine Learning Yearning (available at: https://www.deeplearning.ai/machine-learning-yearning/)
Antonio Torralba, Phillip Isola and William T. Freeman, 2024. Foundations of Computer Vision (https://mitpress.mit.edu/9780262048972/foundations-of-computer-vision/)
Aston Zhang, Zachary Lipton, Alexander J. Smola, Mu Li, 2023. Dive Into Deep Learning (available at: https://d2l.ai/)
Richard Szeliski, 2010. Computer Vision: Algorithms and Applications
(available at: http://szeliski.org/Book)
Jake VanderPlas, 2016. Python Data Science Handbook: Tools and Techniques for Developers: Essential Tools for working with Data (Book and notebooks available at: https://github.com/jakevdp/PythonDataScienceHandbook)
Modalità di erogazione
Viene adottato un approccio classico in stile lezione frontale per presentare le nozioni fondamentali e le applicazioni delle stesse. Inoltre, gli studenti risolvono esercizi pratici in classe e come compito a casa.
