《信息论与编码基础》全面地介绍了Shannon信息论的基本理论：信息的统计度量、Shannon三大编码定理以及对应的三类编码，无失真信源编码、限失真信源编码及信道编码。全书共分7章，主要内容包括绪论,信源和信源熵,无失真信源编码、限失真信源编码，信道及信道容量以及信道编码，信息率失真函数，信息论方法的应用等。
本书深入浅出，概念清晰，系统性强，力求以通俗易懂的语言及大量典型的应用实例使读者快速、高效地学习和掌握信息论与编码的基本理论和技术。
本书适合作为高等院校通信工程、电子与信息技术等相关专业本科生的教材，也可作为低年级研究生的教学参考书，也可供从事信息领域的科技工作者、工程技术人员参考。
信息技术是当今通信、计算机和自动控制界的热门技术。特别是信息技术与微电子、光电子以及计算机技术的不断结合，使现代信息技术的发展充满了生机与活力，人类也逐步迈进高度发展的信息科学时代。而信息论为计算机技术和通信技术的发展奠定了坚实的理论基础。它不仅在方法论的层面上解决了通信的有效性、可靠性和安全性问题，而且在认识论层面上帮助人们认识事物的本质。
信息论是应用近代数理统计的方法研究信息传输、存储和处理的科学，是在长期通信工程实践中发展起来的一门新兴科学，亦称为通信的数学理论。美国科学家香农(C．E．Shannon)1948年在《贝尔电话杂志》上发表的著名论文《通信的数学理论》为信息论的诞生和发展奠定了理论基础。近年来，随着信息理论与编码技术的长足发展，它已发展成为一门综合性的新兴学科。不仅直接应用于通信、计算机、电子信息和自动控制领域，而且还广泛渗透到生物学、医学、语言学、社会学和经济学等领域。因此，越来越多的技术人员渴望学到有关信息论的相关知识，越来越多的高等学校纷纷开设信息论课程。“信息论与编码”已成为我国高等学校的通信工程、计算机、自动化、电子与信息等专业的主干基础课程。选择一本适合本校校情且具有课程特色的教材就显得尤为重要。
本教材在长期的教学实践中，吸取同教材的优点，将“通信原理”、“信息论基础”等课程的教学内容进行重新调整，删除部分重复、陈旧内容，并增加了信息论应用方面的内容；从最基本的信息度量开始，到信息论方法在信号处理中的应用，层层深入，全面介绍信息论与编码的基本理论和技术。考虑到本科生的实际水平，在一些较难理解的地方详细论述，力求用简介、通俗易懂的语言描述物理概念、注重物理概念的理解、弱化公式推导与证明。以便读者在短时间内掌握信息论与编码的精髓。
全书共分7章：第1章为绪论部分，着重介绍信息的基本概念、信息论的形成和发展、信息论的研究范畴以及通信系统的基本模型；第2章为信源和信源熵，着重介绍信源的特性和分类，信息的统计度量、平稳离散信源和连续信源的特性以及信息度量；第3章为信道和信道容量，主要介绍信道的数学模型和分类以及单符号离散信道的信道容量、组合信道，连续信道的信道容量；第4章为信源编码，主要介绍编码的定义和分类、离散无失真信源编码定理以及一些常用的信源编码方法；第5章为信道编码， 主要介绍信道编码的[1][2]概念以及一些信道编码方法；第6章为信息率失真函数。主要介绍信息率失真函数的概念以及离散信源和连续信源的信息率失真函数；第7章为信息论方法的应用，主要介绍信息论方法在信号处理中的应用，信息论方法在其他学科领域中的应用以及最大熵谱估计和最小误差熵估计。
本书由兰州理工大学计算机与通信学院陈海燕主编，其中，陈海燕编写了第1章、第2章、第4章和第7章；第3章、第6章由曹明华编写；第5章由贾科军编写；全书由陈海燕统稿。
本教材的出版由兰州理工大学校级规划教材编写资金资助；在编写的过程中得到了清华大学出版社的大力支持，白立军编辑做了大量的工作，在此表示衷心的感谢！
本教材的编写，是在同行专家所做的大量工作的基础上，汲取各家之长而成。所借鉴内容已在参考文献中列出，因篇幅限制，不尽周全。在此，向这些作者一并表示感谢！
由于编者水平有限，错误和不当之处在所难免，殷切希望广大读者批评指正。
编者
2014年12月
第1章 绪论
1.1 信息的概念
1.2 信息论的形成和发展
1.3 信息论的研究范畴
1.4 通信系统模型
1.5 习题
第2章 信源和信息熵
2.1 信源的特性和分类
2.2 离散信源的信息度量
2.2.1 信息量的定义
2.2.2 自信息量
2.2.3 联合信息量与条件自信息量
2.3 互信息量
2.3.1 互信息量的定义
2.3.2 互信息的性质
2.3.3 条件互信息和联合互信息
2.4 信源熵
2.5 条件熵和联合熵
2.6 熵函数的数学特性
2.7 加权熵
2.8 平均互信息量
2.9 信息不增性原理
2.10 平稳离散信源
2.10.1 离散平稳无记性信源的扩展信源
2.10.2 离散平稳信源的熵
2.10.3 马尔可夫信源
2.10.4 信源的冗余度
2.11 连续信源
2.11.1 连续随机变量的熵
2.11.2 最大相对熵
2.11.3 熵功率
2.12 习题
第3章 信道及信道容量
3.1 信道的数学模型和分类
3.1.1 信道的分类
3.1.2 单符号离散信道的数学模型
3.2 单符号离散信道中的熵速率与信道容量
3.2.1 离散无噪声信道的熵速率和信道容量
3.2.2 几种特殊离散信道的容量
3.2.3 对称离散信道的信道容量
3.2.4 离散信道容量的一般计算方法
3.3 多符号离散信道及其信道容量
3.4 组合信道的信道容量
3.4.1 串联信道及其信道容量
3.4.2 独立并联信道的信道容量
3.5 网络信息理论
3.5.1 多址接入信道
3.5.2 广播信道
3.5.3 相关信源的多用户信道
3.6 连续信道及其信道容量
3.6.1 连续信道的平均互信息量
3.6.2 连续信道的熵速率与信道容量
3.6.3 连续信源的香农公式与噪声
3.7 信道编码定理
3.8 习题
第4章 信源编码
4.1 编码的定义
4.2 码的分类
4.3 离散无失真信源编码定理
4.4 离散信源编码
4.4.1 香农编码
4.4.2 费诺编码
4.4.3 赫夫曼编码
4.4.4 游程编码
4.4.5 冗余位编码
4.4.6 Lempel-Ziv编码
4.4.7 算术编码
4.5 习题
第5章 信道编码
5.1 数字通信系统
5.2 信道编码及编码定理
5.3 信道模型
5.3.1 二进制对称信道
5.3.2 离散无记忆信道
5.3.3 离散输入、连续输出信道
5.3.4 波形信道
5.4 差错控制方式
5.5 信道编码的分类及其基本概念
5.5.1 信道编码的分类
5.5.2 信道编码的基本概念
5.6 常见的几种检错码
5.6.1 奇偶校验码
5.6.2 水平奇偶校验码
5.6.3 水平垂直奇偶校验码
5.6.4 恒比码
5.6.5 群计数码
5.7 线性分组码
5.7.1 基本概念
5.7.2 线性分组码的编码
5.7.3 线性分组码的译码
5.8 循环码
5.8.1 循环码的代数结构
5.8.2 循环码的编码
5.8.3 循环码的译码
5.9 卷积码
5.9.1 基本原理
5.9.2 卷积码的描述
5.9.3 卷积码的译码
5.10 Turbo码
5.10.1 Turbo码的编码
5.10.2 Turbo码的译码
5.11 LDPC码
5.11.1 LDPC码的编码
5.11.2 LDPC码的译码
5.12 习题
第6章 信息率失真函数
6.1 基本概念
6.1.1 失真函数与平均失真度
6.1.2 信息率失真函数的定义
6.1.3 信息率失真函数R(D)的性质
6.2 离散信源的信息率失真函数
6.2.1 离散信源信息率失真函数的参量表达式
6.2.2 二元信源的信息率失真函数
6.2.3 离散信源R(D)函数计算
6.2.4 信息率失真函数R(D)的迭代算法
6.3 连续信源的信息率失真函数
6.4 限失真信源编码定理
6.5 习题
第7章 信息论方法的应用
7.1 信息论方法在信号处理中的应用
7.2 信息论在其他学科领域的应用
7.2.1 信息论与博弈论
7.2.2 信息论与统计学
7.2.3 信息论与密码学
7.3 最大熵谱与最小误差熵估计
7.3.1 最大熵谱估计
7.3.2 最小误差熵估计
7.4 习题
参考文献
书单推荐
