Ingegneria Gestionale - Management Engineering

Il contenuto dell'insegnamento è articolato come nel programma sosttostante seguendo la stessa articolazione temporale riportata (1 lezione = 2 ore didattcai frontale). 1. Introduction. (3 lezioni) Definition of learning systems. Goals and applications of machine learning (classification and regression). Basics on statistical learning theory (Vapnik Chervonenkis bound). Underfitting and Overfitting. Use of data: training set, test set, validation set. 2. Review of optimization tools and comparison of learning algorithms from the optimization point of view. (3 lezioni) 3. Artificial Neural Networks. (11 lezioni) Neurons and biological motivation. Linear threshold units. The Perceptron and its learning algorithm (proof of convergence). Classification of linearly separable patterns. Multi-Layer Feedforward Neural Networks. Gradient method: basics. Back-propagation (BP) algorithm. BP batch version: proof of convergence and choice of the learning rate. BP on-line version: incremental method, theorem of convergence. Momentum updating rule. Radial-Basis function (RBF) networks: regularized and generalized RBF networks. Their use in interpolation and approximation. learning strategies and error functions. Unsupervised selection of center. Supervised selection of weights and centers: decomposition methods into two blocks and decomposition methods into more blocks. Convergence theory of decomposition methods. Early stopping 4. Support Vector Machines (Kernel methods) (11 lezioni) Soft and hard Maximum Margin Classifiers. Quadratic programming formulation of the soft/hard maximum margin separators. Kernels methods. Dual formulation of the primal QP problem. Wolfe duality theory for QP. KKT conditions. Frank Wolfe method: basics. Decomposition methods: SMO-type algorithms, MVP algorithm, SVMlight, cyclic methods. Convergence theory. Implementation tricks: Caching, shrinking. Choosing parameters: k-fold cross-validation. Multiclass SVM problems: one-against-one and one-against-all. 4. Practical use of learning algorithms. (1 lezioni) 6. Use of open-source software (2 lezioni)

Algebra lineare, principi di analisi matematica per funzioni multivariate (Taylor, derivate parziali). Convessità Non sono previste propeudeticità con altri insegnamenti

Il materiale didattico è costituito da slide e note di lezioni. Sono anche suggeriti i seguenti libri Pattern Recognition and Machine Learning - Bishop - 2006 Deep Learning - Goodfellow, Bengio, Courville - 2016

La modalità di svolgimento è tradizionale, in aula con didattica frontale. La possibilità di svolgere le lezioni a distanza è prevista in caso di necessità legate alla situazione pandemica in corso. La frequenza non è obbligatoria, ma consigliata. Il metodo didattico prevede didattica frontale e interazione con gli studenti mediante questionari di autovalutazione svolti in aula

in presenza

La valutazione prevede lo svolgimento di uno/due progetti. Se svolti durante il semestre di erogazione del corso i progetti sono due e associati a due prove scritte a risposta multipla e/o aperta. Se svolto al di fuori del periodo di erogazione del corso, l'esame prevede un solo progetto associato ad una prova scritta e ad un orale. L'obiettivo del progetto è acquisire capacità di sviluppo autonomo di un sistema di apprendimento automatico a vari livelli, a partire da utilizzo di software open source fino allo sviluppo in proprio di codice. La prova scritta e/o orale mirano alle verifiche delle competenze metodologiche

Pattern Recognition and Machine Learning - Bishop - 2006 Deep Learning - Goodfellow, Bengio, Courville - 2016

in presenza