ARTIFICIAL INTELLIGENCE AUDIO PROCESSING Canale unico
Docente coordinatore e verbalizzante: AURELIO UNCINI
Docenti
Obiettivi formativi
GENERALI
Conoscenza degli elementi teorici fondamentali dei metodi deep learning con particolare riferimento alla elaborazione del segnale audio. Gli studenti acquisiranno conoscenze su: i) fondamenti di acustica; ii) fondamenti di elaborazione del segnale per applicazioni audio; iii) intelligenza artificiale e metodi di apprendimento automatico orientati al segnale audio (musica, parlato, segnali acustici vari) e ai vari contesti applicativi.
SPECIFICI
• Conoscenza e capacità di comprensione: conoscere i fondamenti dell'AI-DASP, con particolare riguardo alla definizione di algoritmi per l'analisi, la sintesi e la generazione di segnali audio.
• Capacità di applicare conoscenza e comprensione: saper applicare le tecniche e le procedure AI-DASP nei problemi più comuni descritti nel corso.
• Autonomia di giudizio: riguardo alla possibile soluzione ottimale dei problemi AI-DASP.
• Abilità comunicative: capacità di presentare in modo efficace metodi, risultati e soluzioni sia a specialisti che a non specialisti.
• Capacità di apprendimento: apprendimento autonomo su testi specializzati; capacità di proseguire eventuali studi successivi, ad esempio un dottorato di ricerca, su questioni avanzate di AI-ASP.
Risultati di apprendimento attesi
CONOSCENZA E COMPRENSIONE
L’insegnamento fornisce conoscenze di base e avanzate relative all’intelligenza artificiale applicata all’elaborazione dei segnali audio, integrando elementi di acustica, digital audio signal processing, sistemi adattativi, machine learning e deep learning. Particolare attenzione è dedicata all’analisi, alla rappresentazione, al riconoscimento, al miglioramento e alla generazione dei segnali audio.
Al termine del corso lo studente avrà acquisito conoscenze riguardanti:
1. fondamenti di acustica, psicoacustica e rappresentazione digitale dei segnali audio;
2. tecniche di elaborazione audio nel dominio del tempo, della frequenza e tempo-frequenza;
3. filtraggio adattativo, identificazione di sistemi e tecniche di enhancement;
4. modelli di machine learning e reti neurali per segnali audio;
5. architetture convolutional, recurrent e Transformer, modelli self-supervised e foundation models per l’audio;
6. applicazioni a voce, musica, eventi acustici, audio spaziale e contenuti multimodali;
7. utilizzo di ambienti e librerie software di riferimento, tra cui Python, NumPy, SciPy, Librosa e PyTorch.
CAPACITÀ APPLICATIVE
Lo studente sarà in grado di progettare, implementare e valutare algoritmi di elaborazione intelligente dei segnali audio in diversi contesti applicativi. In particolare, acquisirà competenze relative a registrazione multicanale, filtraggio, equalizzazione, effetti audio, cancellazione del rumore, separazione delle sorgenti, classificazione e riconoscimento di eventi acustici, elaborazione della voce e della musica, audio spaziale e binaurale, sintesi e generazione audio mediante modelli neurali.
Le attività pratiche saranno svolte su dati reali mediante strumenti software impiegati nella ricerca e nello sviluppo industriale.
AUTONOMIA DI GIUDIZIO
Attraverso esercitazioni e attività progettuali, lo studente svilupperà la capacità di analizzare criticamente problemi di elaborazione audio, selezionare le metodologie più appropriate, definire criteri di valutazione e interpretare i risultati sperimentali, considerando accuratezza, qualità percettiva, complessità computazionale e robustezza delle soluzioni.
ABILITÀ DI COMUNICAZIONE
Lo studente sarà in grado di descrivere e discutere metodologie, architetture e risultati sperimentali utilizzando una terminologia tecnica appropriata. Sarà inoltre in grado di comunicare efficacemente con interlocutori specialisti e non specialisti nei settori della ricerca e dell’industria, con particolare riferimento alle tecnologie audio e musicali, alle interfacce vocali, ai sistemi multimediali e multimodali, ai beni culturali, alla domotica, al monitoraggio ambientale e alla sicurezza.
CAPACITÀ DI APPRENDIMENTO
Lo studente acquisirà gli strumenti metodologici necessari per approfondire autonomamente tecniche e architetture emergenti nell’ambito dell’intelligenza artificiale per l’audio, consultare la letteratura scientifica, utilizzare nuove librerie software e aggiornare le proprie competenze in un settore in rapida evoluzione.
Prerequisiti
Non sono previsti particolari prerequisiti se non quelli degli argomenti base di matematica, calcolo e algebra, tipiche del biennio di ingegneria e di altre facoltà scientifiche.
Programma dell’insegnamento
PROGRAMMA DEL CORSO
Parte 1: Fondamenti di Audio e Acustica — 1 CFU
1.1 Fondamenti di Audio e Acustica
Onde sonore e segnali audio digitali. Proprietà fondamentali della propagazione acustica. Microfoni e altoparlanti: principi di funzionamento e caratteristiche direttive. Fondamenti dell'udito umano e della psicoacustica. Scale percettive, fenomeni di mascheramento, loudness, altezza (pitch) e timbro.
1.2 Fondamenti di Audio Spaziale
Principi di audio binaurale e multicanale. Head-Related Impulse Responses (HRIR) e Head-Related Transfer Functions (HRTF). Fondamenti della localizzazione sonora, rendering binaurale, array di microfoni e di altoparlanti, audio spaziale per realtà virtuale e aumentata.
Parte 2: Rappresentazione ed Elaborazione dei Segnali Audio — 1 CFU
2.1 Elementi di Elaborazione Digitale dei Segnali Audio
Campionamento e quantizzazione. Rappresentazioni nel dominio del tempo e della frequenza. Filtraggio digitale. Trasformata di Fourier a tempo breve (STFT) e spettrogrammi. Rappresentazioni Mel, banchi di filtri e coefficienti MFCC. Principi della rappresentazione tempo-frequenza.
2.2 Rappresentazione delle Caratteristiche Audio
Segmentazione, normalizzazione e data augmentation. Estrazione di caratteristiche spettrali, temporali, ritmiche e percettive. Pitch, energia, zero-crossing rate, onset, tempo e beat. Log-Mel spectrograms e rappresentazioni apprese (learned embeddings). Preparazione e annotazione di dataset per applicazioni di machine learning.
2.3 Applicazioni di Base del DSP Audio
Introduzione all'audio enhancement, separazione delle sorgenti, dereverberazione, cancellazione dell'eco e filtraggio spaziale. I metodi classici vengono presentati principalmente come riferimento e termine di confronto rispetto ai moderni approcci basati su modelli neurali.
Parte 3: Intelligenza Artificiale per l'Audio — 4 CFU
3.1 Machine Learning e Reti Neurali per l'Audio
Formulazione dei problemi audio come problemi di classificazione, regressione, modellazione di sequenze e generazione. Apprendimento supervisionato, non supervisionato e self-supervised. Procedure di addestramento, validazione e test. Funzioni di costo e metriche di valutazione.
Reti neurali feedforward, convoluzionali e ricorrenti. Temporal Convolutional Networks. Meccanismi di attenzione e architetture Transformer. Modelli operanti su forme d'onda, spettrogrammi e rappresentazioni latenti.
3.2 Representation Learning e Foundation Models
Apprendimento di rappresentazioni per parlato, musica e suoni ambientali. Autoencoder, contrastive learning e masked prediction. Modelli self-supervised per l'audio. Pretraining, fine-tuning, transfer learning, parameter-efficient adaptation, zero-shot e few-shot learning.
Audio embeddings, foundation models per parlato, musica e audio generico. Modelli audio-linguistici, rappresentazioni congiunte audio-testo e apprendimento multimodale.
3.3 Elaborazione Intelligente del Parlato
Riconoscimento automatico del parlato (ASR). Identificazione e verifica del parlante. Speaker diarization. Keyword spotting e riconoscimento della lingua. Speech enhancement e distant speech processing.
Sistemi neurali di text-to-speech, neural vocoder, voice conversion, speech-to-speech translation e generazione controllata della voce. Aspetti etici, sicurezza, autenticazione e rilevazione di contenuti vocali sintetici.
3.4 Comprensione di Scene Acustiche ed Eventi Sonori
Classificazione di scene acustiche. Riconoscimento e localizzazione di eventi sonori. Analisi di eventi polifonici. Tecniche weakly supervised e apprendimento con dataset limitati o sbilanciati.
Applicazioni al monitoraggio ambientale, smart cities, smart home, diagnostica industriale, tecnologie assistive, sicurezza e indicizzazione automatica di contenuti multimediali.
3.5 Audio Enhancement e Source Separation basati su IA
Tecniche di deep learning per denoising, dereverberazione, cancellazione dell'eco e restauro audio. Audio inpainting e bandwidth extension. Separazione di sorgenti mono e multicanale, speech separation, music demixing e target source extraction.
Neural beamforming e integrazione tra array di microfoni e modelli neurali. Valutazione oggettiva e percettiva della qualità audio.
3.6 Intelligenza Artificiale per la Musica
Music Information Retrieval. Classificazione di genere, riconoscimento di strumenti, trascrizione automatica, conversione audio-to-MIDI, analisi di beat, tempo, accordi e struttura musicale.
Rappresentazioni neurali della musica, separazione delle sorgenti, accompagnamento automatico, composizione assistita dall'IA e produzione musicale. Modelli generativi simbolici, waveform-based e nello spazio latente.
3.7 Modelli Generativi per Audio e Musica
Modelli autoregressivi, Variational Autoencoders, Generative Adversarial Networks, Normalizing Flows e Diffusion Models per la generazione audio. Neural vocoders. Generazione text-to-audio e text-to-music.
Generazione controllabile, editing nel dominio latente, prompt-based generation e criteri di valutazione della qualità, della diversità e della coerenza semantica dei contenuti generati.
3.8 Sistemi Audio Multimodali e Interattivi
Apprendimento audio-visivo, separazione audiovisiva delle sorgenti, localizzazione di sorgenti sonore, audio captioning e audio question answering.
Sistemi audio intelligenti per realtà virtuale e aumentata, gaming, ambienti immersivi, interfacce acustiche intelligenti e progettazione adattiva del paesaggio sonoro.
3.9 Laboratorio di Artificial Intelligence for Audio
Sviluppo di pipeline complete mediante Python e librerie scientifiche e di deep learning (NumPy, SciPy, Librosa, PyTorch e framework audio dedicati). Gestione dei dataset, utilizzo di modelli preaddestrati, fine-tuning, valutazione sperimentale e aspetti di implementazione in tempo reale, cloud ed edge computing.
Testi di riferimento
Aurelio Uncini, “Digital Audio Processing Fundamentals”, Springer, ISBN 978-3-031-14230-7, Feb. 2024.
Aurelio Uncini, "Principles of Acoustic Signal Processing," Ed. 2026
Altre dispense e articoli forniti dal Docente.
Bibliografia
Udo Zölzer, "Digital Audio Signal Processing 2nd Edition", Wiley, ISBN: 978-0-470-99785-7, 2008.
"DAFX - Digital Audio Effects 2nd Edition", Edited by Udo Zölzer, ISBN: 978-0-470-66599-2 ,John Wiley & Sons, 2011.
A. Uncini, "Fundamentals of Adaptive Signal Processing", Springer, ISBN 978-3-319-02807-1, 2015.
Modalità di svolgimento
Il corso è svolto in modo tradizionale.
Durante il corso, con la supervisione del docente, sono previsti seminari tenuti da "testimonial" esterni provenienti dal mondo della produzione industriale del settore audio e dai settori televisivo, cinematografico e dell'intrattenimento.
Frequenza
La frequenza al corso è facoltativa
Modalità di esame
Per superare l'esame occorre conseguire un voto non inferiore a 18/30.
Lo studente deve dimostrare di aver acquisito una conoscenza sufficiente degli argomenti del programma e di essere in grado di risolvere problemi attinenti a tali argomenti.
Per conseguire un punteggio pari a 30/30 e lode, lo studente deve invece dimostrare di aver acquisito
una conoscenza eccellente di tutti gli argomenti trattati durante il corso, e di essere capace di raccordarli in modo logico e coerente.
Prova orale 6 punti
Valutazione progetto 24 punti
Esempi di domande
Campi applicativi dei sistemi adattivi nel settore dell'audio,
Effetti Audio,
Tecniche microfoniche per l'audio 3D,
Modello percettivo dell'ascoltatore
Obiettivi per lo sviluppo sostenibile - Agenda ONU 2030
- Anno accademico2026/2027
- Corso di studio a cui afferisce l’insegnamentoTelecommunication Engineering - Ingegneria delle Telecomunicazioni
- Codice insegnamento10621073
- Anno e semestre2º anno - 1º semestre
- TipologiaAttività formative affini ed integrative
- AmbitoAttività formative affini o integrative
- SSDING-IND/31
- Presenza obbligatoriaNo
- LinguaENG
- CFU6 CFU
- Durata complessiva60 ore
- Distribuzione delle ore36 classroom hours, 24 training hours