加入收藏  || English Version 
 
《信息论》教学大纲

  发布日期:2015-03-11  浏览量:842


 

信息论课程是高等学校信息类专业教学计划中的一门必修的重要专业课。信息理论在通信领域中发挥越来越重要的作用,显示出它是解决通信领域中有关问题的有力工具的本色。同时,由于信息理论解决问题的思路和方法的独特、新颖和有效,在当今时代,信息论已经渗透到很多其他相关的自然科学甚至社会科学领域。

本课程的目的和任务是使学生通过本课程的学习获得经典信息论的基本理论、编码方法,为学习后续课程和实际应用以及研究工作打好基础。

先修课程要求:数学分析、概率统计、线性代数。

本课程计划72学时,4学分。

选用教材:

傅祖芸,《信息论—基础理论与应用》,电子工业出版社,2003

教学手段:课堂讲授为主,多媒体为辅。

考核方法:考试。

 

 

 

 

 

 

 

 

 

教学进程安排表

周次

学时数

教学方法

备注

1

4

信息的概念,信息论研究的对象、目的和内容,信源的数学模型及分类,离散信源的信息熵

讲授

 

2

4

信息熵的基本性质,离散无记忆的扩展信源 ,离散平稳信源

讲授

 

3

4

马尔可夫信源

讲授

 

4

4

信源剩余度与自然语言的熵,离散信道及其信道容量,信道的数学模型及分类

讲授

 

5

4

平均互信息及平均条件互信息,平均互信息的特性

讲授

 

6

4

信道容量及其一般计算方法,离散无记忆扩展信道及其信道容量,独立并联信道及其信道容量

讲授

 

7

4

串联信道的互信息和数据处理定理,信源与信道的匹配,无失真信源编码,编码器,等长码

讲授

 

8

4

渐近等分割性和E典型序列,等长信源编码定理,变长码

讲授

 

9

4

变长编码定理,霍夫曼码和其他编码方法

讲授

 

10

4

霍夫曼码和其他编码方法

讲授

 

11

4

错误概率和译码规则,错误概率与编码方法,联合E典型序列

讲授

 

12

4

有噪信道编码定理,联合信源信道编码定理,纠错码的基本思想

讲授

 

13

4

线性码

讲授

 

14

4

汉明码,循环码

讲授

 

15

4

失真度和平均失真度,信息率失真函数及性质

,信息率失真函数的参量表述及其计算

讲授

 

16

4

二元信源和离散对称信源的RD)函数,连续信源的信息率失真函数,保真度准则下信源编码定理,联合有失真信源信道编码逆定理

讲授

 

17

4

网络信息论,保密系统的基本信息理论

讲授

 

18

4

复习考试

讲授

 

 

 

 

 

第一章  绪论

一、学习目的

通过本章的学习,要求学生掌握信息的概念;掌握信息、消息、信号之间的异同;掌握概率信息的概念;掌握信息论的研究对象和目的;一般掌握信息论的研究内容;了解信息论的发展过程。绪论计划2学时。

二、课程内容

第一节  信息的概念

信息的概念,掌握信息、消息、信号之间的异同,掌握概率信息的概念

第二节  信息论研究的对象、目的和内容

通信系统模型,信息论学科的研究对象、目的和内容

第三节  信息论发展简史与现状

信息论学科发展的历史、现状和动向。

三、重点、难点提示和教学手段

本章重点:信息的概念;信息论学科的研究对象、目的和内容;信息论学科发展的历史、现状和动向。

难点为信息的概念。

教学手段:理论教学。

第二章  离散信源及其信息测度

一、学习目的

通过本章的学习,要求学生掌握用概率空间描述信源的方法;掌握离散无记忆信源的定义、自信息、信息熵及信息熵的基本性质;一般掌握熵的唯一性定理;掌握离散无记忆的扩展信源的概念及其信息熵;牢固掌握离散平稳信源的概念,二维平稳信源的联合熵、条件熵,离散平稳信源的极限熵;掌握马尔可夫信源的概念及其信息熵;掌握信源剩余度的概念;了解自然语言信源的信息熵;了解意义信息和加权熵。本章计划12学时。

二、课程内容

第一节  信源的数学模型及分类

信源的数学模型-概率空间,根据概率空间的统计特性对信源进行分类。

第二节  离散信源的信息熵

离散信源的自信息、平均自信息(信息熵)

第三节  信息熵的基本性质

离散信源熵函数的基本性质:对称性、确定性、非负性、扩展性、可加性、强可加性、递增性、极值性和上凸性。

*第四节  离散信源的唯一性定理

离散信源的唯一性定理

第五节  离散无记忆的扩展信源

离散无记忆的扩展信源的数学模型,及信息熵。

第六节  离散平稳信源

离散平稳信源的数学定义,二维平稳信源及其信息熵,离散平稳信源的极限熵。

第七节  马尔可夫信源

马尔可夫链,马尔可夫信源的定义及信息熵。

第八节  信源剩余度与自然语言信源的熵

信源剩余度,自然语言信源的信息熵。

*第九节  意义信息和加权

了解意义信息和加权熵。

三、重点、难点提示和教学手段

本章重点:信源的数学模型;各类离散信源的信息熵。

难点:马尔可夫信源的信息熵

教学手段:理论教学为主,习题辅导为辅

四、思考与练习

根据课程的实际情况,具体形式由教师自行掌握。

第三章  离散信道及其信道容量

一、学习目的

通过本章学习,要求学生掌握离散信道的数学模型;掌握信道疑义度、平均互信息和条件平均互信息的概念;掌握平均互信息的性质;掌握几种离散信道容量的计算;一般掌握信道容量的迭代计算;掌握离散无记忆扩展信道的概念及信道容量的计算;掌握独立并联信道的信道容量;掌握串联信道的互信息;掌握信息不增性原理和数据处理定理;掌握信道剩余度的概念。本章计划12学时。

二、课程内容

第一节  信道的数学模型及分类

信道的分类,离散信道的数学模型,单符号离散信道的数学模型。

第二节  平均互信息及平均条件互信息

信道疑义度,平均互信息,平均条件互信息。

第三节  平均互信息的特性

平均互信息的特性:非负性、极值性、扩展性、交互性、状性。

第四节  信道容量及其一般计算方法

离散无噪信道的信道容量,对称离散信道的信道容量,准对称信道的信道容量,及一般离散信道的信道容量的计算方法。

*第五节  信道容量的迭代算法

信道容量的迭代算法,信道容量的迭代算法的收敛性。

第六节  离散无记忆扩展信道及其信道容量

离散无记忆扩展信道的数学模型及其信道容量。

第七节  独立并联信道及其信道容量

独立并联信道的数学模型及其信道容量

第八节  串联信道的互信息和数据处理定理

串联信道的互信息和数据处理定理。

第九节  信源与信道的匹配

掌握信道剩余度的概念,信源与信道的匹配。

三、重点、难点提示和教学手段

本章重点、难点:离散信道的数学模型;信道容量;数据处理定理。

教学手段:理论教学。

 

四、思考与练习

根据课程的实际情况,具体形式由教师自行掌握

 

第四章  无失真信源编码

一、学习目的

通过本章学习,要求学生牢固掌握编码的概念;掌握等长码和等长信源编码定理;一般掌握渐近等分割性;掌握编码效率的概念;掌握唯一可译变长码和即时码的概念、即时码的构造、克拉夫特不等式、唯一可译变长码的判断;掌握无失真变长信源编码定理;掌握平均码长、紧致码和码的剩余度的概念;掌握霍夫曼码的编码方法、霍夫曼码的紧致性;一般掌握费诺码、香农码的编码方法;了解一些实用的无失真信源编码方法。本章计划14学时。

二、课程内容

第一节编码器

编码的实质,编码器的概念,及码的分类。

第二节  等长码

掌握等长唯一可以码存在的条件。

第三节  渐近等分割性和 典型序列

渐近等分割性定理, 典型序列的概念。

第四节  等长信源编码定理

等长信源编码定理的内容及其证明,编码效率的概念。

第五节  变长码

惟一可译码与即时码,即时码的树图构造法,克拉夫特不等式,惟一可译码的判别法。

第六节  变长信源编码定理

平均码长的概念,变长信源编码定理(即香农第一定理)内容、证明、物理意义,香农编码。

第七节  霍夫曼码和其他编码方法

霍夫曼码,r元霍夫曼码,霍夫曼码的最佳性,费诺码,香农—费诺—埃利斯码。

第八节  几种实用的无失真信源编码方法

MH编码,算术编码,LZ码。

三、重点、难点提示和教学手段

本章重点:等长码;等长信源编码定理;变长码;变长码的编码方法;变长信源编码定理;霍夫曼码和其他编码方法。

难点:等长及变长编码定理的证明。

教学手段:理论教学。

四、思考与练习

根据课程的实际情况,列出要求学生思考、理解、辨析、练习等若干问题。具体形式由教师自行掌握。

第五章  有噪信道编码

一、学习目的

通过本章学习,要求学生牢固掌握错误概率的概念;牢固掌握错误错误概率准则、最大似然译码准则,以及如何根据这些准则进行译码;牢固掌握费诺不等式;牢固掌握错误概率和编码方法的关系;一般掌握联合渐近等分割性;掌握有噪信道编码定理;掌握联合信源信道编码定理;掌握纠错码的概念及方法;了解线性码、汉明码、循环码等。本章计划16学时。

二、课程内容

第一节  错误概率和译码规则

影响错误概率的因素,译码规则的选择准则,最小错误概率译码,最大似然译码准则,费诺不等式。

第二节  错误概率与编码方法

错误概率受编码方法的影响,Hamming距离,最小距离译码准则。

第三节  联合 典型序列

联合渐近等分割性,联合 典型序列的概念。

第四节  有噪信道编码定理

有噪信道编码定理(即香农第二定理)。

第五节  联合信源信道编码定理

联合信源信道编码定理。

第六节  纠错码的基本思想和汉明码

纠错码的基本概念和主要数学问题,线性码,循环码,Hamming码。

三、重点、难点提示和教学手段

本章重点:有噪信道编码定理,线性码,Hamming码。

本章难点:有噪信道编码定理的理解,线性码的编码和译码,Hamming码。

教学手段:理论教学。

四、思考与练习

根据课程的实际情况,列出要求学生思考、理解、辨析、练习等若干问题。具体形式由教师自行掌握。

第七章  保真度准则下的信源编码

一、学习目的

通过本章学习,要求学生牢固掌握失真度、平均失真度、保真度准则的概念;掌握信息率失真函数的概念及其性质;一般掌握信息率失真函数的参量表述;一般掌握信息率失真函数的计算;掌握二元对称信源的信息率失真函数;掌握离散对称信源的信息率失真函数;一般掌握信息率失真函数的迭代计算;一般掌握连续信源的信息率失真函数的概念;了解连续信源信息率失真函数的参量表述和计算;掌握保真度准则下的信源编码定理(失真 典型序列、定理证明方法只要求了解);掌握联合有失真信源信道编码定理;了解有失真信源编码定理的实际意义。本章计划8学时。

二、课程内容

第一节  失真度和平均失真度

单符号的失真度,失真矩阵,平均失真度,保真度准则。

第二节  信息率失真函数及其性质

信息率失真函数R(D),性质:定义域,凸性,单调性和连续性。

第三节  信息率失真函数的参量表述及其计算

信息率失真函数的参量表述及其计算。

第四节  二元信源和离散对称信源的R(D)函数

二元对称信源的RD)函数,离散对称信源的R(D)函数。

第七节  保真度准则下的信源编码定理

保真度准则下的信源编码定理及其逆定理

第八节  联合有失真信源信道编码定理

联合有失真信源信道编码定理。

第九节  有失真信源编码定理的实用, 意义

有失真信源编码定理的实用意义。

三、重点、难点提示和教学手段

本章重点:失真度;信息率失真函数;保真度准则下的信源编码定理。

本章难点:失真度;信息率失真函数;保真度准则下的信源编码定理。

教学手段:理论教学。

四、思考与练习

根据课程的实际情况,列出要求学生思考、理解、辨析、练习等若干问题。具体形式由教师自行掌握。

第八章  网络信息论

一、学习目的

通过本章,要求学生掌握多变量联合典型序列; 会计算多址信道容量区域; 理解相关信源编码。本章计划2学时。

二、课程内容

第一节  网络通信模型

网络信道的分类,及相应的模型。

第二节  多变量联合典型序列

多变量联合典型序列的概念及相关定理

第三节  相关信源编码

边信息的概念,相关信源编码定理及其逆定理

第四节  多址接入信道

离散多址接入信道,多址接入高斯噪声信道。

第七节  相关信源和多址接入信道

相关信源和多址接入信道的对偶性,相关信源的多址接入信道

三、重点、难点提示和教学手段

本章为选讲内容,教师可根据实际情况选讲部分内容

第九章  保密系统的基本信息理论

一、学习目的

通过本章学生,要求学生一般掌握保密学的基本概念和保密系统的数学模型;了解单表密码、移位代换密码、乘数密码、固定周期位移置换、多表代换密码;了解完全保密性、理论保密性和实际保密性的概念。本章计划2学时。

二、课程内容

第一节  保密学的基本概念

本节介绍保密学中的一些基本的概念。

第二节  保密系统的数学模型

本节介绍保密系统的数学模型,保密系统的安全性标准。

第三节  古典密码体制

单表密码,移位代换密码,数乘密码,固定周期的位置置换,多表代换密码。

第四节  完全保密性

本节用信息论的观点分析保密系统的安全性问题。

第五节  理论保密性

本节讨论在唯密文破译条件下,破译一种密码体制时理论上的破译者必须处理的密文量至少需多少。

第六节  实际保密性

保密系统的实际保密性。

三、重点、难点提示和教学手段

本章重点:信息论在保密学中的应用;香农对保密学问题的基本观点。

教学手段:理论教学。

四、思考与练习

根据课程的实际情况,列出要求学生思考、理解、辨析、练习等若干问题。具体形式由教师自行掌握。

阅读书目

[1] Rober G. Gallager 主编,《Information Theory and Reliable Communication》,Massachusetts Institute of Technology出版社,1968.

[2] Robert J. McEliece, The Theory of Information and Coding ,电子工业出版社,2003.

[3] 姜单,《信息论与编码》,中国科学技术大学出版社,2001.

[4] 曹雪虹,《信息论与编码》,北京邮电大学出版社 2004.

打印此页】【顶部】【关闭
   
版权所有 © 2007-2017 安徽大学数学科学学院 All rights reserved 皖ICP备05018241号
地址:安徽省合肥市九龙路111号安徽大学磬苑校区理工楼H楼 邮编:230601 E-mail:math@ahu.edu.cn
访问统计:自2013年9月1日以来总访问:1000  后台管理