Physics - Fisica

STEFANO GIAGU
STEFANO GIAGU
ANDREA CIARDIELLO
ANDREA CIARDIELLO

OBIETTIVI GENERALI:
Acquisire familiarità con tecniche avanzate di deep learning basato su modelli di reti neurali differenziabili con paradigmi di apprendimento supervisionato, non supervisionato e rinforzato; acquisire competenze di modellizzazione di problemi complessi, attraverso tecniche di deep learning, e saperle applicare a contesti applicativi diversi nei campi della fisica, della ricerca scientifica di base e applicata.

Gli argomenti trattati includono: richiami generali sul Machine Learning, reti neurali differenziabili, tecniche di regolarizzazione. Convolutional neural network, neural network per analisi di sequenze (RNN, LSTM/GRU, Transformers). Tecniche avanzate di apprendimento: transfer learning, domain adaptation, adversarial learning, self-supervised and contrastive learning, model distillation.
Graph Neural Networks (statici e dinamici) e applicazione a modelli strutturati per la fisica: modelli dinamici, simulazione di fluidi complessi, GNN Hamiltoniani e Lagrangiani. Modelli generativi e variazionali: variational mean-field theory, expectation maximization, modelli energy based e maximum entropy (Hopfield networks, Boltzman machines and RBM), AutoEncoders, Variational AutoEncoders, GANs, Autoregressive flow models, invertible networks, modelli generativi basati su GNN. Reti Neurali quantistiche.

OBIETTIVI SPECIFICI:
A - Conoscenza e capacità di comprensione
OF 1) Conoscenza sul funzionamento delle reti neurali e loro interpretazione matematica come approssimatori universali
OF 2) Comprensione dei limiti e delle potenzialità di modelli avanzati di deep learning
OF 3) Compresione dei limit e delle potenzialità dell’uso del DL nel risolvere problemi di fisica
B – Capacità applicative
OF 4) Progettazione, implementazione, messa in esercizio e analisi di architetture di deep learning per risolvere problemi complessi in divers ambiti applicativi della fisica e della ricerca scientifica

C - Autonomia di giudizio
OF 5) Essere in grado di valutare le prestazioni di diverse architetture, e di valutare la capacità di generalizzazione delle stesse
D – Abilità nella comunicazione
OF 6) Essere in grado di comunicare con chiarezza la formulazione di un problema di apprendimento avanzato e la sua implementazione, la sua applicabilità in contesti realistici
OF 7) Essere in grado di motivare le scelte architetturali e di regolarizzazione alla base di un modello di DL

E - Capacità di apprendere
OF 8) Essere in grado di apprendere tecniche alternative e più complesse
OF 9) Essere in grado di implementare tecniche esistenti in maniera efficiente, robusta e affidabile

OBIETTIVI GENERALI:
Acquisire familiarità con tecniche avanzate di deep learning basato su modelli di reti neurali differenziabili con paradigmi di apprendimento supervisionato, non supervisionato e rinforzato; acquisire competenze di modellizzazione di problemi complessi, attraverso tecniche di deep learning, e saperle applicare a contesti applicativi diversi nei campi della fisica, della ricerca scientifica di base e applicata. Gli argomenti trattati includono: richiami generali sul Machine Learning, reti neurali differenziabili, tecniche di regolarizzazione. Convolutional neural network, neural network per analisi di sequenze (RNN, LSTM/GRU, Transformers). Tecniche avanzate di apprendimento: transfer learning, domain adaptation, adversarial learning, self-supervised and contrastive learning, model distillation. Graph Neural Networks (statici e dinamici) e applicazione a modelli strutturati per la fisica: modelli dinamici, simulazione di fluidi complessi, GNN Hamiltoniani e Lagrangiani. Modelli generativi e variazionali: variational mean-field theory, expectation maximization, modelli energy based e maximum entropy (Hopfield networks, Boltzman machines and RBM), AutoEncoders, Variational AutoEncoders, GANs, Autoregressive flow models, invertible networks, modelli generativi basati su GNN. Reti Neurali quantistiche.

OBIETTIVI SPECIFICI:

A - Conoscenza e capacità di comprensione
OF 1) Conoscenza sul funzionamento delle reti neurali e loro interpretazione matematica come approssimatori universali
OF 2) Comprensione dei limiti e delle potenzialità di modelli avanzati di deep learning
OF 3) Compresione dei limit e delle potenzialità dell’uso del DL nel risolvere problemi di fisica

B – Capacità applicative
OF 4) Progettazione, implementazione, messa in esercizio e analisi di architetture di deep learning per risolvere problemi complessi in divers ambiti applicativi della fisica e della ricerca scientifica

C - Autonomia di giudizio
OF 5) Essere in grado di valutare le prestazioni di diverse architetture, e di valutare la capacità di generalizzazione delle stesse

D – Abilità nella comunicazione
OF 6) Essere in grado di comunicare con chiarezza la formulazione di un problema di apprendimento avanzato e la sua implementazione, la sua applicabilità in contesti realistici
OF 7) Essere in grado di motivare le scelte architetturali e di regolarizzazione alla base di un modello di DL

E - Capacità di apprendere
OF 8) Essere in grado di apprendere tecniche alternative e più complesse
OF 9) Essere in grado di implementare tecniche esistenti in maniera efficiente, robusta e affidabile

Importanti: calcolo, algebra Lineare, nozioni di base di meccanica statistica e quantistica.
Indispensabili: basi di machine learning e deep neural network, buone conoscenze programmazione linguaggio Python e uso delle librerie numpy, matplotlib, sklearn, pandas, e pytorch

Lezioni teoriche [50% delle ore del corso]
Richiami generali sulle reti neurali artificiali differenziabili e sull'uso della libreria pytorch per la progettazione, training e test delle ANN. Architetture di base: MLP, Convolutional neural network, neural network per analisi di sequenze (RNN, LSTM/GRU). Attention, self-attention, transformers e visual transformers. Tecniche di apprendimento avanzate: transfer learning, domain adaptation, adversarial learning, self-supervised and contrastive learning, model distillation. Modelli per il rilevamento di oggetti e la segmentazione semantica e applicazioni. Graph Neural Network e Deep Learning geometrico. Modelli non supervisionati e rilevamento delle anomalie. Deep Learning Generativo: modelli autoregressivi, modelli invertibili: diffusion and normalizing flow, generative GNN. Quantum Machine Learning su near-term quantum devices, progetto e addestramento di QNN, Reinforcement Learning, Quantificazione delle incertezze in modelli di DNN. Energy models: Associative memories, Boltzmann Machines and RBMs.

Esercitazioni computazionali [50% delle ore del corso]
Implementazione e applicazione hands-on di modelli di DL in Tensorflow and pytorch e applicazione a diversi problemi fisici.

Data la natura altamente dinamica dell'area coperta da questo corso avanzato, non è previsto un testo unico di riferimento. Durante il corso verranno indicate e fornite di volta in volta le fonti sotto forma di articoli scientifici e capitoli di libri.

Testi di riferimento:
I. Goodfellow, Y. Bengio, A. Courville: Deep Learning, MIT Press (https://www.deeplearningbook.org/)
P. Baldi, Deep Learning in Science, Cambridge University Press
W. L. Hamilton, Graph Representation Learning Book, MCGill Uni press (https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf)
M.Schuld, F.Petruccione, Machine Learning with Quantum Computers, Springer

Il corso si svolge per circa il 50% con lezioni frontali integrate da proiezioni di slides ed esercitazioni in aula atte a fornire conoscenze avanzate delle tecniche di Deep Learning.
Il restante 50% è basato su esperienze pratiche computazionali hands-on che forniscono alcune delle capacità applicative necessarie per sviluppare ed implementare autonomamente modelli di Deep Learning avanzati per la risoluzione di diversi problemi nell'ambito della fisica e della ricerca scientifica in generale.

La frequenza alle lezioni non è obbligatoria ma è fortemente consigliata.
La frequenza alle attività di laboratorio è obbligatoria per almeno 2/3 delle sessioni

per superare il corso è necessario elaborare e documentare un progetto individuale assegnato a fine maggio da consegnare prima dell'esame a cui si vuole partecipare. Durante la sessione d'esame lo studente sarà invitato a presentare e discutere il progetto attraverso una breve presentazione con diapositive (~15-20 min max), rispondendo a specifiche domande poste dalla commissione d'esame

il voto finale è dato da una media ponderata tra la votazione sul progetto (50%) e la presentazione e discussione (50%)

Per conseguire la votazione di 30/30 e lode, lo studente deve dimostrare di aver acquisito un'ottima conoscenza degli argomenti trattati nel corso, e di essere in grado di padroneggiare gli strumenti software necessari per sviluppare e implementare il modello computazionale trattato durante il corso.

La determinazione del voto finale tiene conto dei seguenti elementi:

1. Progetto casa 50%
Il progetto sarà dimensionato in modo tale da richiedere un massimo di 2 settimane di lavoro per essere completato e documentato (per riprodurre i risultati riportati nel rapporto è necessaria una relazione scritta di massimo 15 pagine + codice e dataset). Consisterà nel riprodurre ed eventualmente migliorare i risultati riportati in un articolo scientifico in cui i metodi DL vengono applicati a un problema interessante e accessibile per lo studente.
La valutazione terrà conto:
- Correttezza dei concetti esposti;
- Chiarezza di presentazione;
- Capacità di elaborare i concetti appresi nello sviluppo di progetti originali.

2. Presentazione e discussione 50%
La valutazione terrà conto:
- Correttezza dei concetti esposti e delle risposte a specifici quesiti posti dalla commissione d'esame;
- Chiarezza della presentazione;

sviluppare e documentare un progetto individuale assegnato alla fine del corso incentrato sulla riproduzione e/o sul miglioramento dei risultati di un determinato documento che mostri un'applicazione avanzata di ML in fisica o scienze in generale

presentare e discutere i risultati del progetto e rispondere ad alcune domande tecniche specifiche sul codice sviluppato

• concetti generali e contesto
  • Testi di riferimento: C.M. Bishop: Deep Learning, Springer


• approfondimenti
  • Testi di riferimento: C.M. Bishop: Deep Learning, Springer e  W. L. Hamilton, Graph Representation Learning Book, MCGill Uni press


• esercitazioni di laboratorio computazionale
  • Testi di riferimento: notebook e note forniti dai docenti