INFORMATION THEORY AND CODING

Obiettivi formativi

GENERALI Il modulo ha l’obiettivo di fornire agli studenti una conoscenza solida dei principi fondamentali della teoria dell'informazione e della codifica. Al termine del percorso, lo studente sarà in grado di comprendere il concetto di entropia come misura dell’informazione, di analizzare l’efficienza di codici per la compressione (come quelli di Huffman e di Shannon-Fano) e di valutare le prestazioni di codici per la rilevazione e correzione degli errori, come i codici lineari. Sarà inoltre in grado di interpretare il significato e le implicazioni del teorema di Shannon, e di applicare queste nozioni allo studio della capacità di un canale di comunicazione. Il corso mira anche a sviluppare la capacità di modellare problemi di comunicazione in termini matematici, promuovendo l’approccio quantitativo e logico-deduttivo nella progettazione e nell’analisi di sistemi per la trasmissione efficiente e affidabile dell’informazione. Particolare attenzione è dedicata sia agli aspetti teorici sia alle applicazioni pratiche nei moderni sistemi di comunicazione digitale. SPECIFICI • Conoscenza e capacità di comprensione: Lo studente acquisisce una solida comprensione dei fondamenti della teoria dell’informazione e dei codici per la compressione e il riconoscimento/ correzione degli errori. • Capacità di applicare conoscenza e comprensione: Lo studente è in grado di applicare i principi teorici per analizzare e progettare sistemi di comunicazione digitale efficienti e affidabili. • Autonomia di giudizio: Lo studente sviluppa la capacità di valutare in autonomia le soluzioni più appropriate in relazione alle caratteristiche della sorgente e del canale di comunicazione. • Abilità comunicative: Lo studente acquisisce il linguaggio tecnico necessario per descrivere con chiarezza modelli, codici e risultati nel contesto della trasmissione dell’informazione. • Capacità di apprendimento: Lo studente è in grado di approfondire autonomamente concetti avanzati di teoria dell’informazione e codici in vista di sviluppi accademici o professionali.

Canale 1
MAURO BIAGI Scheda docente

Programmi - Frequenza - Esami

Programma
Parte 1 – Teoria dell’Informazione e Codici (60 ore) Fondamenti di Informazione, Sorgente e Canale (30 ore) Misura dell'informazione (entropia), codifica di sorgenti discrete (simboli indipendenti/dipendenti, Markov). Compressione di dati, audio e immagini (Ziv-Lempel, MP3, JPEG). Modelli di canale discreto e binario, concetti di capacità, informazione mutua, teoremi di Shannon, disuguaglianza di Fano, sicurezza dell'informazione. Tecniche di Codifica per Rilevamento e Correzione Errori (15 ore) Codici per rilevamento errori (parità, checksum, CRC, ARQ). Codici per correzione errori (FEC, codici interlacciati). Codici a blocchi e lineari: costruzione (matrici generatrici e di parità), codici ciclici, duali. Codici noti: Hamming, Golay, BCH, Reed-Solomon, codici a lunghezza massima. Codifica Avanzata e Tecniche di Decodifica (15 ore) Codici convoluzionali: rappresentazione, capacità di correzione, decodifica Viterbi (hard/soft decision), interleaving e concatenazione. Codici Turbo: RSC, puncturing, concatenazione parallela, decodifica iterativa. Tecniche recenti: Trellis Coded Modulation (TCM), Low-Density Parity-Check (LDPC), Space-Time Block Codes (STBC), CDMA. Parte 2 – Elaborazione dei Segnali per le Telecomunicazioni (60 ore) Teoria della stima (20 ore): Proprietà degli stimatori: polarizzazione, efficienza, consistenza. Stima non polarizzata a minima varianza. Limite inferiore di Cramér-Rao. Modelli lineari. Statistiche sufficienti. Stima a massima verosimiglianza. Minimi quadrati. Stima Bayesiana, stima MMSE lineare. Applicazioni alla stima della fase portante e della temporizzazione dei simboli nelle comunicazioni. Teoria della rivelazione (10 ore): Teorema di Neyman-Pearson. Minima probabilità di errore. Rischio Bayesiano. Test di ipotesi. Rivelazione di segnali deterministici: Matched filters. Rivelazione di segnali aleatori: Estimator-Correlator. Equalizzazione e sistemi multiportante (18 ore): Canali modellati come sistemi LTI e LTV. Esempi di modelli di canale. Ricevitori ottimi per canali con ISI e AWGN, stima di sequenza a massima verosimiglianza. Sistemi a trasmissione a blocchi, rivelazione dei simboli, intervalli di guardia, equalizzazione lineare (zero forcing, MMSE, LMS adattativo). OFDM (Orthogonal Frequency Division Multiplexing): modulazione e demodulazione, prefisso ciclico, implementazione digitale tramite DFT (Discrete Fourier Transform). Problemi di sincronizzazione. Stima del canale. Diversità e comunicazioni multi-antenna (12 ore): Canali wireless: shadowing, multipath fading. Canali SISO e MIMO. Effetti del fading. Probabilità di outage. Probabilità media di errore. Diversità in ricezione e trasmissione. Comunicazioni multi-antenna, rivelazione di simboli MIMO, guadagno da multiplexing, beamforming MIMO, compromesso tra diversità e multiplexing.
Prerequisiti
I prerequisiti dei corsi sono: conoscenza della teoria dei segnali e delle modulazioni numeriche
Testi di riferimento
Cover and Thomas, Elements of Information Theory Appunti e lucidi fornita dal docente mediante slides
Frequenza
La frequenza è fortemente consigliata, ma non obbligatoria.
Modalità di esame
L'esame ha un unica prova tra i due moduli componenti che constano di una parte scritta ed una orale
Bibliografia
[1] Cover, Thomas "Elements of Information theory"
Modalità di erogazione
Il corso è erogato esclusivamente in presenza
  • Anno accademico2025/2026
  • CorsoTelecommunication Engineering - Ingegneria delle Telecomunicazioni
  • CurriculumTelecommunication Engineering (percorso valido anche ai fini del rilascio del doppio titolo italo-francese o italo-statunitense )
  • Anno1º anno
  • Semestre1º semestre
  • SSDING-INF/03
  • CFU6