信息论是现代信息通信领域的基础理论，是研究信息传输和信息处理的一般规律的科学。在借鉴了国内外众多的信息论优秀教材和参考资料之后编写了《信息论基础教程（第3版）》。《信息论基础教程（第3版）》为第3版，以香农的三个编码定理为中心，重点讲述了相关的基本概念、基本原理和基本方法。鉴于目前各大专院校都在削减学时，教材只是讲述经典信息论的内容，没有涉及过多的分支。《信息论基础教程（第3版）》可作为通信及电子信息类相关专业高年级本科生和研究生教材，也可作为相关专业科研人员的参考书。第1章绪论1.1信息的概念1.2信息论的研究对象、目的和内容习题1第2章信息的度量2.1自信息和互信息2.1.1自信息2.1.2互信息2.2平均自信息2.2.1平均自信息的概念2.2.2熵函数的性质2.2.3联合熵与条件熵2.3平均互信息2.3.1平均互信息的概念2.3.2平均互信息的性质2.3.3数据处理定理习题2第3章信源及信源熵3.1信源的分类及其数学模型3.2离散单符号信源3.3离散多符号信源3.3.1离散平稳无记忆信源3.3.2离散平稳有记忆信源3.3.3马尔可夫信源3.3.4信源的相关性和剩余度3.4连续信源3.4.1连续信源的微分熵3.4.2连续信源的最大熵3.4.3连续信源的熵功率习题3第4章信道及信道容量4.1信道的分类4.2离散单符号信道及其信道容量4.2.1离散单符号信道的数学模型4.2.2信道容量的概念4.2.3几种特殊信道的信道容量4.2.4离散对称信道的信道容量4.2.5一般离散信道的信道容量4.2.6信道容量定理4.2.7信道容量的迭代算法4.3离散多符号信道及其信道容量4.4组合信道及其信道容量4.4.1独立并联信道4.4.2级联信道4.5连续信道及其信道容量4.5.1连续随机变量的互信息4.5.2高斯加性信道的信道容量4.5.3多维高斯加性信道的信道容量4.6波形信道及其信道容量习题4第5章无失真信源编码5.1信源编码的相关概念5.1.1编码器5.1.2码的分类5.2定长码及定长信源编码定理5.3变长码及变长信源编码定理5.3.1Kraft不等式和McMillan不等式5.3.2唯一可译码的判别准则5.3.3紧致码平均码长界限定理5.3.4无失真变长信源编码定理（香农第一定理）5.4变长码的编码方法5.4.1香农编码5.4.2香农一费诺一埃利斯编码5.4.3二元霍夫曼码5.4.4г元霍夫曼码5.4.5费诺码5.5实用的无失真信源编码方法5.5.1游程编码5.5.2算术编码5.5.3LZW编码习题5第6章有噪信道编码6.1信道编码的相关概念6.1.1错误概率和译码规则6.1.2错误概率与编码方法6.2有噪信道编码定理6.3纠错编码6.3.1纠错码分类6.3.2纠错码的基本概念6.3.3线性分组码6.3.4卷积码习题6第7章限失真信源编码7.1失真测度7.1.1失真函数7.1.2平均失真7.2信息率失真函数7.2.1D失真许可信道7.2.2信息率失真函数的定义7.2.3信息率失真函数R（D）的性质7.3限失真信源编码定理7.4信息率失真函数的计算7.4.1应用参量表示式计算R（D）7.4.2率失真函数的迭代算法7.5常用的
