信息論基礎（含習題與解答）

前言
第1章緒論1
1.1信息概念和特性1
1.2熵的概念2
1.3信息論研究的基本問題和主要內容3
1.3.1信息論研究的基本問題3
1.3.2信息論研究內容4
1.4香農簡介5
1.5本書結構7
1.6本章小結7
第2章數學基礎8
2.1概率論基礎8
2.1.1概率空間8
2.1.2隨機變量與分布函數11
2.1.3多維隨機變量及其分布13
2.1.4數字特征18
2.1.5大數定律及中心極限定理21
2.2馬爾可夫鏈24
2.2.1有限狀態(tài)馬氏鏈24
2.2.2狀態(tài)轉移概率24
2.2.3齊次馬氏鏈25
2.2.4馬氏鏈的平穩(wěn)分布27
2.3凸函數和常用不等式28
2.3.1凸函數28
2.3.2常用不等式30
2.4本章小結32
習題33
第3章信息度量和熵36
3.1自信息、條件自信息和聯合自信息36
3.1.1自信息36
3.1.2條件自信息38
3.1.3聯合自信息39
3.2互信息和信息散度39
3.2.1互信息定義39
3.2.2互信息的性質40
3.2.3條件互信息41
3.2.4信息散度41
3.3離散集合的平均信息量(熵)43
3.3.1信息熵43
3.3.2條件熵44
3.3.3聯合熵44
3.3.4熵的基本性質45
3.3.5各類熵的關系49
3.3.6熵函數的唯一性51
3.3.7通信系統(tǒng)中熵的意義51
3.4平均互信息53
3.4.1平均互信息定義53
3.4.2平均互信息與熵的關系54
3.4.3平均互信息的性質56
3.4.4多隨機變量的互信息61
3.5本章小結69
習題70
第4章信源和熵74
4.1信源的分類與數學模型74
4.1.1信源的分類74
4.1.2信源的數學模型74
4.2離散信源75
4.2.1離散無記憶信源和熵75
4.2.2離散平穩(wěn)信源和熵76
4.2.3馬爾可夫信源79
4.2.4信源的冗余度84
4.3連續(xù)信源86
4.3.1連續(xù)信源的熵與平均互信息86
4.3.2連續(xù)隨機變量信息散度90
4.3.3幾種特殊分布連續(xù)信源熵90
4.3.4最大熵定理94
4.3.5熵功率96
4.3.6隨機矢量通過線性系統(tǒng)后信息的變化96
4.3.7符號持續(xù)時間不同信源的熵99
4.4本章小結102
習題104
第5章信道與信道容量107
5.1信道的特性及其分類107
5.1.1信道模型107
5.1.2信道分類107
5.2離散信道及其容量108
5.2.1離散信道數學模型108
5.2.2離散信道容量111
5.2.3多符號離散信道的容量124
5.3連續(xù)/波形信道及其容量126
5.3.1加性噪聲信道和容量127
5.3.2加性高斯信道和容量129
5.3.3加性非高斯信道的容量130
5.3.4多維無記憶加性高斯信道133
5.3.5限頻限功率高斯信道的容量136
5.3.6香農信道編碼定理139
5.4本章小結140
習題142
第6章無失真信源編碼145
6.1信源編碼簡介145
6.2離散信源定長編碼147
6.2.1典型序列與信源序列的漸近均分特性148
6.2.2定長編碼定理150
6.2.3定長碼參數151
6.3離散信源變長編碼152
6.3.1變長碼的唯一可譯性和即時性153
6.3.2Kraft不等式154
6.3.3變長編碼定理156
6.3.4變長碼參數157
6.4平穩(wěn)信源和Markov信源的編碼158
6.4.1平穩(wěn)信源的編碼158
6.4.2馬爾可夫信源的編碼159
6.5變長編碼方法161
6.5.1香農編碼161
6.5.2Fano編碼162
6.5.3Huffman編碼162
6.5.4實用的信源編碼方法166
6.6本章小結169
習題170
第7章限失真信源編碼174
7.1系統(tǒng)模型和失真測度175
7.1.1系統(tǒng)模型175
7.1.2失真測度175
7.1.3失真函數舉例說明176
7.2信息率失真函數177
7.2.1定義177
7.2.2信息率失真函數的性質177
7.2.3簡單信源的信息率失真函數180
7.3離散信源R(D)計算188
7.3.1離散信源信息率失真函數的參量表示188
7.3.2離散信源R(D)求解矢量/矩陣表示190
7.3.3參量s的意義191
7.3.4離散信源R(D)的迭代計算194
7.4連續(xù)信源的信息率失真函數196
7.4.1連續(xù)信源的平均失真函數196
7.4.2d(x，y)只與x？y有關情況下率失真函數的求解198
7.4.3高斯信源的率失真函數199
7.4.4限帶高斯信源的率失真函數201
7.4.5一般信源率失真函數的上限和下限202
7.5限失真信源編碼定理202
7.6本章小結205
習題207
第8章MIMO信道模型及容量210
8.1引言210
8.2無線信道特性210
8.2.1路徑損耗211
8.2.2信道衰落213
8.2.3信道擴展215
8.2.4信道相關性217
8.3MIMO信道模型222
8.3.1常見信道模型222
8.3.2基本信道模型224
8.3.3擴展信道模型226
8.4MIMO信道容量228
8.4.1確定性MIMO信道228
8.4.2隨機性MIMO信道232
8.5本章小結236
習題238
第9章數字噴泉碼240
9.1信道模型241
9.1.1刪除信道241
9.1.2無線信道242
9.2數字噴泉碼的數學描述242
9.2.1數字噴泉碼的定義242
9.2.2數字噴泉碼的Tanner圖243
9.2.3數字噴泉碼的度分布函數244
9.3典型的數字噴泉碼245
9.3.1LT碼245
9.3.2Raptor碼246
9.4數字噴泉碼的譯碼算法247
9.4.1刪除信道中的譯碼算法247
9.4.2無線信道中的譯碼算法248
9.5數字噴泉碼的密度演化分析方法250
9.5.1刪除信道中的密度演化250
9.5.2無線信道中的密度演化253
9.6本章小結256
參考文獻258