MATHEMATICAL MODELS FOR NEURAL NETWORKS Canale unico
Docente coordinatore e verbalizzante: ELENA AGLIARI
Docenti
Obiettivi formativi
Obiettivi generali
Acquisire conoscenze di base sui metodi matematici impiegati nella modellistica dell'intelligenza artificiale, con particolare attenzione al "machine learning".
Obiettivi specifici
Conoscenza e comprensione: al temine del corso lo studente avrà acquisito le nozioni ed i risultati di base (prevalentemente negli ambiti di processi stocastici e meccanica statistica) utilizzati nello studio dei principali modelli di reti neurali (e.g., reti di Hopfield, macchine di Boltzmann, reti feed-forward).
Applicare conoscenza e comprensione: lo studente sarà in grado di individuare l’architettura ottimale per un certo “task” e di risolvere il modello risultante determinandone un diagramma di fase; lo studente avrà le basi per sviluppare, in autonomia, algoritmi di apprendimento e di richiamo.
Capacità critiche e di giudizio: lo studente sarà in grado di determinare i parametri che controllano il comportamento qualitativo di una rete neurale e di stimare valori per tali parametri che permettano il buon funzionamento della rete; sarà inoltre in grado di esaminare le analogie e le relazioni tra gli argomenti trattati nel corso ed in altri corsi dedicati a statistica ed analisi dati.
Capacità comunicative: capacità di esporre i contenuti nella parte orale e scritta della verifica, eventualmente attraverso l’ausilio di presentazioni.
Capacità di apprendimento: le conoscenze acquisite permetteranno uno studio, individuale o impartito in un corso di LM, relativo ad aspetti più specialistici di meccanica statistica, sviluppo di algoritmi, utilizzo di big data.
Risultati di apprendimento attesi
L'obiettivo primario del corso è quello di fornire agli studenti il linguaggio e gli strumenti di base per comprendere i meccanismi alla base del funzionamento delle reti neurali, da una prospettiva meccanico-statistica.
Al termine del corso lo studente coscienzioso
- padroneggerà i principali concetti di meccanica statistica dell'equilibrio dei sistemi complessi
- sarà in grado di definire rigorosamente alcuni modelli paradigmatici di reti neurali e di descriverne rigorosamente le prestazioni
- sarà in grado di prevedere il comportamento qualitativo di modelli di reti neurali che costituiscono semplici variazioni rispetto a quelli studiati durante il corso
- sarà in grado di programmare reti neurali come quelle studiate durante il corso o semplici variazioni sul tema
- conoscerà le proprietà di alcuni algoritmi di apprendimento automatico sia dal punto di vista statistico che dell'implementazione numerica
- acquisirà una buona capacità di utilizzare algoritmi computazionali su dati sintetici e/o reali, di discutere criticamente i risultati ottenuti e di individuare il modello e/o l'algoritmo più adatto tra quelli discussi durante il corso per un dato problema di apprendimento automatico
- sarà in grado di presentare i risultati teorici e numerici in modo comprensibile anche a chi non ha familiarità con tali argomenti, mantenendo comunque un buon livello di rigore.
Prerequisiti
Fondamenti di meccanica statistica (e.g., ensemble canonico, modello di Curie-Weiss) e di processi stocastici (e.g., catene di Markov).
Programma dell’insegnamento
Il corso inizia con l'introduzione di semplici modelli di neuroni e reti neurali, trattati come sistemi dinamici, la cui indagine può essere affrontata con tecniche analitiche.
Successivamente, si passerà a modelli più sofisticati che saranno studiati da una prospettiva meccanico-statistica. A questo scopo, verranno richiamati i concetti di base della meccanica statistica e della teoria dell'informazione. Ci concentreremo in particolare su modelli (ad esempio, la rete di Hopfield e le macchine di Boltzmann) in grado di imitare la memoria associativa e i processi di apprendimento (semplici), e le loro capacità informative saranno trattate come proprietà collettive emergenti. Verranno proposti alcuni esercizi pratici su questi casi.
Infine, verranno presentati brevemente i modelli più avanzati, sia da un punto di vista teorico che algoritmico.
- Introduzione
Modelli biologici e artificiali
Neurone di McCulloch-Pitts
Reti neurali attrattive
Dinamica neuronale deterministica e stocastica
Memorizzazione hebbiana
- Introduzione alla meccanica statistica di equilibrio
Modello di Curie-Weiss
Transizioni di fase, rottura dell'ergodicità, rottura spontanea della simmetria
Modello di Mattis
Introduzione ai sistemi disordinati: frustrazione, mezzi "quenched" e "annealed", auto-media
Modello Hopfield
Soluzione del modello Hopfield nel regime di basso carico con il metodo dei punti di sella e tecniche di interpolazione
Stati puri e spuri
Tecnica segnale-rumore
Introduzione al modello Sherrington-Kirkpatrick
Soluzione del modello Hopfield nel regime di alto carico con tecniche di interpolazione
Accoppiamento non locale con matrice di interazione pseudo-inversa
- Revisione dell'inferenza statistica
Elementi di teoria dell'informazione
Approccio bayesiano (e rasoio di Occam)
Massima verosimiglianza
Massima entropia
- Introduzione all'apprendimento automatico
Il percettrone di Rosenblatt
Apprendimento bayesiano
Definizioni di apprendimento supervisionato e non supervisionato
Note su autoencoder, reti feed-forward, reti neuronali convoluzionali
Macchine di Boltzmann
Contrastive divergence
Diagrammi di fase per le macchine di Boltzmann
Note sull'apprendimento profondo
- Modelli avanzati ispirati alla neurofisiologia
Testi di riferimento
Dispense del docente, disponibili su classroom
Bibliografia
A.C.C. Coolen, R. Kühn, P. Sollich, Theory of Neural Information Processing Systems, Oxford Press (2005).
C.M. Bishop, Neural Networks for Pattern Recognition, Oxford (1995).
C.M. Bishop, Pattern Recognition and Machine Learning, Springer (2009).
S.O. Haykin, Neural Networks and Learning Machines, Pearson (2009).
D. J. Amit, Modeling Brain Function: The World of Attractor Neural Networks, Cambridge University Press (1989).
B. Tirozzi, Modelli matematici di reti neurali, CEDAM (1995).
Lecturer’s notes, available on classroom
Lecturer’s slides, available on classroom
Modalità di svolgimento
Lezioni in classe con diapositive, prove ed esempi alla lavagna con discussioni, esercizi numerici in laboratorio (se disponibile). Sono anche proposti e incoraggiati metodi di apprendimento attivo come progetti di gruppo, flipped classroom, insegnamento just-in-time.
Le lezioni in aula hanno lo scopo di introdurre i concetti principali della meccanica statistica dei sistemi complessi, di definire modelli di reti neurali e strumenti quantitativi per la loro analisi. Le dimostrazioni e altre parti (ad esempio, cenni di dimostrazioni per diversi modelli, collegamenti ad altri contesti, semplici esercizi) alla lavagna sono finalizzati a fornire una conoscenza profonda e rigorosa della materia e a sollecitare il ragionamento critico e flessibile. Gli esercizi al calcolatore hanno lo scopo di migliorare le capacità computazionali degli studenti e renderli consapevoli dei problemi che possono sorgere nell'implementazione pratica delle reti neurali, nonché pronti a trovare soluzioni adeguate. Infine, l'apprendimento attivo ha lo scopo di migliorare le soft-skills come la capacità di lavorare in gruppo e di fare presentazioni efficaci.
Frequenza
Frequenza non obbligatoria
Modalità di esame
Sono possibili due opzioni:
- Esame orale su tutto il programma del corso (come dettagliato su classroom) dove lo studente deve dimostrare di essere in grado di presentare argomenti correttamente, con capacità di ragionamento logico, di fornire dettagli e dare esempi, di fare collegamenti con altri argomenti del corso.
- Progetto da svolgere in piccoli gruppi (2-4 persone): l'argomento deve essere concordato con il docente e sviluppato autonomamente; la composizione del gruppo è scelta dagli studenti; ogni progetto deve essere accompagnato da una relazione (10-20 pagine) che deve essere inviata al docente almeno una settimana prima della data dell'esame e che sarà valutata fino a 13/30; nella data dell'esame gli studenti presentano il loro progetto (alla lavagna o tramite slide) in 20 minuti, seguiti da 10 minuti dedicati a domande e discussione sull'argomento specifico del progetto e da 5 minuti dedicati a domande su argomenti correlati che fanno parte del programma del corso, che saranno valutati rispettivamente 13/30 e 5/30. La lode corrisponde a 31/30.
Esempi di domande
Si descriva il modello di Hopfield. Su disegni e commenti il diagramma di fase del modello di Hopfield. Si descriva un algoritmo di apprendimento per una macchina di Boltzmann. Si dimostri l'esistenza dell'energia libera nel modello di Hopfield in basso carico. Si dimostri il teorema di convergenza del percettrone.
Programmazione delle attività didattiche
Obiettivi per lo sviluppo sostenibile - Agenda ONU 2030
- Anno accademico2026/2027
- Corso di studio a cui afferisce l’insegnamentoMatematica applicata
- Codice insegnamento10605752
- CurriculumMatematica per Data Science - 10
- Anno e semestre2º anno - 1º semestre
- TipologiaAttività formative affini ed integrative
- AmbitoAttività formative affini o integrative
- SSDMAT/07
- Presenza obbligatoriaNo
- Linguaeng
- CFU6 CFU
- Durata complessiva52 ore
- Distribuzione delle ore40 classroom hours, 12 training hours