Data Science

Parte 1: Metodi e applicazioni di elaborazione dei segnali Definizione di segnali, proprietà dei segnali, rappresentazioni discrete, trasformate di Fourier, filtraggio, teoria del campionamento, applicazioni a segnali audio e immagini. Nozioni di base sull'ottimizzazione convessa: insiemi convessi, funzioni convesse, problemi di ottimizzazione convessa. Rappresentazioni sparse, sensing compressivo, applicazione al recupero di immagini. Completamento di matrici, applicazione ai sistemi di raccomandazione. Modelli sparsi e a basso rango, Applicazione alla previsione del traffico sulle reti. Parte 2: Elaborazione e apprendimento da dati definiti su grafi Teoria algebrica dei grafi: proprietà dei grafi, connettività, centralità dei gradi, centralità degli autovettori, PageRank, middleness, modularità, clustering spettrale. Grafi di indipendenza: reti di Markov, reti di Bayes, campi casuali di Markov gaussiani, inferenza della topologia dei grafi dai dati. Applicazione all'inferenza della connettività funzionale del cervello. Elaborazione dei segnali su grafi: trasformata di Fourier su grafo, filtraggio su grafi, campionamento e interpolazione dei segnali su grafi. Processi di diffusione, filtri convoluzionali su grafi. Applicazione al filtraggio distribuito e all'interpolazione dei segnali. Deep Learning su grafi: progettazione di architetture neurali su grafo, pooling, meccanismi di attenzione. Applicazioni a problemi di classificazione di grafi e nodi. Parte 3: Ottimizzazione distribuita e apprendimento Ottimizzazione del consenso distribuito: consenso su reti, discesa del gradiente distribuito, analisi di convergenza, architetture di comunicazione, aggiunta di strutture (ad esempio vincoli, sparsità, ecc.) tramite operatori prossimali. Applicazione alla localizzazione distribuita di target nelle reti wireless. Apprendimento federato: federated averaging, esempi di problemi di apprendimento federato, applicazione a support vector machines. Sfide nell'apprendimento federato: comunicazioni costose, eterogeneità di sistema e statistica, privacy. Apprendimento convesso federato: fondamenti di teoria della dualità, metodi di ottimizzazione primale-duale (ascensione duale, metodo dei moltiplicatori, ADMM). ADMM distribuito con suddivisione in esempi e/o funzionalità. Applicazione a problemi di apprendimento convessi federati.

Conoscenze di base di analisi matematica, algebra lineare e teoria della probabilità

Vetterli, Martin, Jelena Kovačević, and Vivek K. Goyal. Foundations of signal processing. Cambridge University Press, 2014. S. Foucart and R. Holger, A mathematical introduction to compressive sensing, Basel: Birkhäuser, 2013. S. Boyd and L. Vandenberghe, Convex Optimization, Cambridge University Press, 2004; [M.E.J. Newman, Networks: An Introduction, Oxford, UK: Oxford University Press. S. Boyd et al., Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers, Foundations and Trends in Machine Learning, 3(1):1–122, 2011.

La frequenza non è obbligatoria ma è altamente raccomandata

Esame orale più la discussione di un progetto informatico svolto su uno degli argomenti del corso.

Didattica frontale con esercitazioni al computer

Part 1: Signal Processing Methods and Applications Definition of signals, signal properties, discrete representations, Fourier transforms, filtering, sampling theory, applications to audio signals and images. Basics of convex optimization: Convex sets, convex functions, convex optimization problems. Sparse representations, compressive sensing, application to image recovery. Matrix completion, application to recommendation systems. Sparse plus low-rank models, Application to traffic prediction over networks. Part 2: Graph Signal Processing and Learning Algebraic graph theory: Graph properties, connectivity, degree centrality, eigenvector centrality, PageRank, betweeness, modularity, spectral clustering. Independence graphs: Markov networks, Bayes networks, Gaussian Markov Random Fields, inference of graph topology from data. Application to brain functional connectivity inference. Graph signal processing: Graph Fourier transform, graph filtering, sampling and interpolation of graph signals. Diffusion processes, graph convolutional filters. Application to distributed filtering and signal interpolation. Deep Learning on graphs: Design of graph neural architectures, pooling, attention mechanisms. Applications to graph and node classification problems. Part 3: Distributed Optimization and Learning Distributed consensus optimization: Consensus over networks, distributed gradient descent, convergence analysis, communication architectures, adding structure (e.g., constraints, sparsity, etc.) via proximal operators. Application to distributed target localization in wireless networks. Federated learning: Federated averaging, examples of federated learning problems, Application to federated support vector machines. Challenges in Federated Learning: Expensive communications, System and Statistical heterogeneity, Privacy. Federated convex learning: Basics of duality theory, primal-dual optimization methods (dual ascent, method of multipliers, ADMM). Distributed ADMM with splitting across examples and/or features. Application to federated convex learning problems.

Basic knowledge of calculus, probability theory and algebra

Vetterli, Martin, Jelena Kovačević, and Vivek K. Goyal. Foundations of signal processing. Cambridge University Press, 2014. S. Foucart and R. Holger, A mathematical introduction to compressive sensing, Basel: Birkhäuser, 2013. S. Boyd and L. Vandenberghe, Convex Optimization, Cambridge University Press, 2004; [M.E.J. Newman, Networks: An Introduction, Oxford, UK: Oxford University Press. S. Boyd et al., Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers, Foundations and Trends in Machine Learning, 3(1):1–122, 2011.

It is not mandatory to attend the classes, but it is highly recommended

Oral exam (typically two open questions), plus a computer project carried out over one of the topics of the course.

The lessons are based on classical lectures on the topics of the course and computer exercises to test algorithms and methodologies.