TensorFlow 2.0深度學(xué)習(xí)應(yīng)用實(shí)踐

第1章  星星之火 1
1.1  計(jì)算機(jī)視覺與深度學(xué)習(xí) 1
1.1.1  人類視覺神經(jīng)的啟迪 2
1.1.2  計(jì)算機(jī)視覺的難點(diǎn)與人工神經(jīng)網(wǎng)絡(luò) 3
1.1.3  應(yīng)用深度學(xué)習(xí)解決計(jì)算機(jī)視覺問題 4
1.2  計(jì)算機(jī)視覺學(xué)習(xí)的基礎(chǔ)與研究方向 5
1.2.1  學(xué)習(xí)計(jì)算機(jī)視覺結(jié)構(gòu)圖 5
1.2.2  計(jì)算機(jī)視覺的學(xué)習(xí)方式和未來趨勢(shì) 6
1.3  本章小結(jié) 7
第2章  Python的安裝與使用 8
2.1  Python基本安裝和用法 8
2.1.1  Anaconda的下載與安裝 8
2.1.2  Python編譯器PyCharm的安裝 11
2.1.3  使用Python計(jì)算softmax函數(shù) 13
2.2  Python常用類庫threading 15
2.2.1  threading庫的使用 15
2.2.2  threading模塊中重要的Thread類 16
2.2.3  threading中Lock類 17
2.2.4  threading中join類 18
2.3  本章小結(jié) 18
第3章  深度學(xué)習(xí)的理論基礎(chǔ)——機(jī)器學(xué)習(xí) 19
3.1  機(jī)器學(xué)習(xí)基本分類 19
3.1.1  應(yīng)用學(xué)科的分類 19
3.1.2  學(xué)習(xí)模式的分類 20
3.1.3  應(yīng)用領(lǐng)域的分類 20
3.2  機(jī)器學(xué)習(xí)基本算法 21
3.2.1  機(jī)器學(xué)習(xí)的算法流程 21
3.2.2  基本算法的分類 22
3.3  算法的理論基礎(chǔ) 23
3.3.1  小學(xué)生的故事——求圓的面積 23
3.3.2  機(jī)器學(xué)習(xí)基礎(chǔ)理論——函數(shù)逼近 24
3.4  回歸算法 25
3.4.1  函數(shù)逼近經(jīng)典算法——線性回歸算法 25
3.4.2  線性回歸的姐妹——邏輯回歸 27
3.5  本章小結(jié) 28
第4章  Python類庫的使用——數(shù)據(jù)處理及可視化展示 29
4.1  從小例子起步——NumPy的初步使用 29
4.1.1  數(shù)據(jù)的矩陣化 29
4.1.2  數(shù)據(jù)分析 30
4.1.3  基于統(tǒng)計(jì)分析的數(shù)據(jù)處理 32
4.2  圖形化數(shù)據(jù)處理——Matplotlib包使用 32
4.2.1  差異的可視化 33
4.2.2  坐標(biāo)圖的展示 34
4.2.3  玩?zhèn)€大的 35
4.3  深度學(xué)習(xí)理論方法——相似度計(jì)算 38
4.3.1  基于歐幾里得距離的相似度計(jì)算 38
4.3.2  基于余弦角度的相似度計(jì)算 39
4.3.3  歐幾里得相似度與余弦相似度的比較 40
4.4  數(shù)據(jù)的統(tǒng)計(jì)學(xué)可視化展示 40
4.4.1  數(shù)據(jù)的四分位 40
4.4.2  數(shù)據(jù)的四分位示例 41
4.4.3  數(shù)據(jù)的標(biāo)準(zhǔn)化 45
4.4.4  數(shù)據(jù)的平行化處理 46
4.4.5  熱點(diǎn)圖-屬性相關(guān)性檢測(cè) 48
4.5  Python實(shí)戰(zhàn)——某地降雨的關(guān)系處理 49
4.5.1  不同年份的相同月份統(tǒng)計(jì) 49
4.5.2  不同月份之間的增減程度比較 51
4.5.3  每月降雨不相關(guān)嗎 52
4.6  本章小結(jié) 53
第5章  OpenCV的基礎(chǔ)使用 54
5.1  OpenCV基本的圖片讀取 54
5.1.1  基本的圖片存儲(chǔ)格式 54
5.1.2  圖像的讀取與存儲(chǔ) 56
5.1.3  圖像的轉(zhuǎn)換 56
5.1.4  使用NumPy模塊對(duì)圖像進(jìn)行編輯 58
5.2  OpenCV的卷積核處理 59
5.2.1  計(jì)算機(jī)視覺的三種不同色彩空間 59
5.2.2  卷積核與圖像特征提取 60
5.2.3  卷積核進(jìn)階 62
5.3  本章小結(jié) 63
第6章  OpenCV與TensorFlow的融合 64
6.1  圖片的自由縮放以及邊緣裁剪 64
6.1.1  圖像的擴(kuò)縮裁挖 64
6.1.2  圖像色調(diào)的調(diào)整 65
6.1.3  圖像的旋轉(zhuǎn)、平移和翻轉(zhuǎn) 67
6.2  使用OpenCV擴(kuò)大圖像數(shù)據(jù)庫 68
6.2.1  圖像的隨機(jī)裁剪 68
6.2.2  圖像的隨機(jī)旋轉(zhuǎn)變換 69
6.2.3  圖像色彩的隨機(jī)變換 70
6.2.4  對(duì)鼠標(biāo)的監(jiān)控 70
6.3  本章小結(jié) 71
第7章  Let’s play TensorFlow 72
7.1  TensorFlow游樂場(chǎng) 72
7.1.1  I want to play a game 72
7.1.2  TensorFlow游樂場(chǎng)背后的故事 75
7.1.3  如何訓(xùn)練神經(jīng)網(wǎng)絡(luò) 76
7.2  Hello TensorFlow 77
7.2.1  TensorFlow名稱的解釋 77
7.2.2  TensorFlow基本概念 78
7.3  本章小結(jié) 80
第8章  Hello TensorFlow，從0到1 81
8.1  TensorFlow的安裝 81
8.2.1  檢測(cè)Anaconda中的TensorFlow版本 81
8.2.2  TensorFlow 2.0 GPU版本基礎(chǔ)顯卡推薦和前置軟件安裝 82
8.2.3  個(gè)Hello TensorFlow小程序 84
8.2  TensorFlow常量、變量和數(shù)據(jù)類型 86
8.3  TensorFlow矩陣計(jì)算 88
8.4  Hello TensorFlow 89
8.5  本章小結(jié) 92
第9章  TensorFlow重要算法基礎(chǔ) 93
9.1  BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 93
9.2  BP神經(jīng)網(wǎng)絡(luò)兩個(gè)基礎(chǔ)算法詳解 95
9.2.1  小二乘法（LS算法）詳解 95
9.2.2  道士下山的故事——梯度下降算法 98
9.3  反饋神經(jīng)網(wǎng)絡(luò)反向傳播算法介紹 101
9.3.1  深度學(xué)習(xí)基礎(chǔ) 101
9.3.2  鏈?zhǔn)角髮?dǎo)法則 102
9.3.3  反饋神經(jīng)網(wǎng)絡(luò)原理與公式推導(dǎo) 103
9.3.4  反饋神經(jīng)網(wǎng)絡(luò)原理的激活函數(shù) 108
9.3.5  反饋神經(jīng)網(wǎng)絡(luò)原理的Python實(shí)現(xiàn) 109
9.4  本章小結(jié) 115
第10章  Hello TensorFlow & Keras 116
10.1  MODEL！MODEL！還是MODEL 116
10.2  使用Keras API實(shí)現(xiàn)鳶尾花分類的例子（順序模式） 117
10.2.1  數(shù)據(jù)的準(zhǔn)備 118
10.2.2  數(shù)據(jù)的處理 118
10.2.3  梯度更新函數(shù)的寫法 119
10.3  使用Keras函數(shù)式編程實(shí)現(xiàn)鳶尾花分類的例子（重點(diǎn)） 120
10.4  使用保存的Keras模式對(duì)模型進(jìn)行復(fù)用 123
10.5  使用TensorFlow 2.0標(biāo)準(zhǔn)化編譯對(duì)Iris模型進(jìn)行擬合 124
10.6  多輸入單輸出TensorFlow 2.0編譯方法（選學(xué)） 128
10.7  多輸入多輸出TensorFlow 2.0編譯
方法（選學(xué)） 132
10.8  全連接層詳解 133
10.8.1  全連接層的定義與實(shí)現(xiàn) 133
10.8.2  使用TensorFlow 2.0自帶的
API實(shí)現(xiàn)全連接層 135
10.8.3  打印顯示TensorFlow 2.0設(shè)計(jì)的
Model結(jié)構(gòu)和參數(shù) 138
10.9  本章小結(jié) 140
第11章  卷積層詳解與MNIST實(shí)戰(zhàn) 141
11.1  卷積運(yùn)算基本概念 141
11.1.1  卷積運(yùn)算 142
11.1.2  TensorFlow 2.0中卷積函數(shù)實(shí)現(xiàn)詳解 143
11.1.3  池化運(yùn)算 145
11.1.4  softmax激活函數(shù) 146
11.1.5  卷積神經(jīng)網(wǎng)絡(luò)原理 147
11.2  TensorFlow 2.0編程實(shí)戰(zhàn)：MNIST手寫體識(shí)別 150
11.2.1  MNIST數(shù)據(jù)集 150
11.2.2  MNIST數(shù)據(jù)集特征和標(biāo)簽介紹 151
11.2.3  TensorFlow 2.0編程實(shí)戰(zhàn)MNIST數(shù)據(jù)集 153
11.2.4  使用自定義的卷積層實(shí)現(xiàn)MNIST識(shí)別 157
11.3  本章小結(jié) 161
第12章  卷積神經(jīng)網(wǎng)絡(luò)公式推導(dǎo)與應(yīng)用 162
12.1  反饋神經(jīng)網(wǎng)絡(luò)算法 162
12.1.1  經(jīng)典反饋神經(jīng)網(wǎng)絡(luò)正向與反向傳播公式推導(dǎo) 162
12.1.2  卷積神經(jīng)網(wǎng)絡(luò)正向與反向傳播公式推導(dǎo) 165
12.2  使用卷積神經(jīng)網(wǎng)絡(luò)分辨CIFAR-10數(shù)據(jù)集 171
12.2.1  CIFAR-10數(shù)據(jù)集下載與介紹 172
12.2.2  CIFAR-10模型的構(gòu)建與數(shù)據(jù)處理 174
12.2.3  CIFAR-10模型的細(xì)節(jié)描述與參數(shù)重構(gòu) 181
12.3  本章小結(jié) 183
第13章  TensorFlow Datasets和TensorBoard詳解 184
13.1  TensorFlow Datasets簡(jiǎn)介 184
13.2  Datasets 數(shù)據(jù)集的基本使用 186
13.3  Datasets 數(shù)據(jù)集的使用——Fashion-MNIST 188
13.3.1  Fashion-MNIST數(shù)據(jù)集下載與展示 189
13.3.2  模型的建立與訓(xùn)練 191
13.4  使用Keras對(duì)Fashion-MNIST數(shù)據(jù)集進(jìn)行處理 193
13.5  使用TensorBoard可視化訓(xùn)練過程 199
13.5.1  TensorBoard文件夾的設(shè)置 199
13.5.2  TensorBoard的顯式調(diào)用 200
13.5.3  TensorBoard的使用 202
13.6  本章小結(jié) 206
第14章  從冠軍開始：ResNet 207
14.1  ResNet基礎(chǔ)原理與程序設(shè)計(jì)基礎(chǔ) 207
14.1.1  ResNet誕生的背景 208
14.1.2  模塊工具的TensorFlow實(shí)現(xiàn)——不要重復(fù)造輪子 211
14.1.3  TensorFlow高級(jí)模塊layers用法簡(jiǎn)介 211
14.2  ResNet實(shí)戰(zhàn)CIFAR-100數(shù)據(jù)集分類 219
14.2.1  CIFAR-100數(shù)據(jù)集簡(jiǎn)介 219
14.2.2  ResNet殘差模塊的實(shí)現(xiàn) 222
14.2.3  ResNet網(wǎng)絡(luò)的實(shí)現(xiàn) 224
14.2.4  使用ResNet對(duì)CIFAR-100進(jìn)行分類 227
14.3  ResNet的兄弟——ResNeXt 228
14.3.1  ResNeXt誕生的背景 229
14.3.2  ResNeXt殘差模塊的實(shí)現(xiàn) 230
14.3.3  ResNeXt網(wǎng)絡(luò)的實(shí)現(xiàn) 231
14.3.4  ResNeXt和ResNet的比較 233
14.4  本章小結(jié) 234
第15章  Attention is all we need 235
15.1  簡(jiǎn)單的理解注意力機(jī)制 235
15.1.1  何為注意力 235
15.1.2  hard or soft——注意力機(jī)制的兩種常見形式 237
15.1.3  Spatial and Channel——注意力機(jī)制的兩種實(shí)現(xiàn)形式 237
15.2  SENet or CBAM注意力機(jī)制的經(jīng)典模型 240
15.2.1  后的冠軍——SENet 240
15.2.2  結(jié)合了Spatial and Channel的CBAM模型 243
15.2.3  注意力的前沿研究——基于細(xì)粒度的圖像注意力機(jī)制 248
15.3  本章小結(jié) 249
第16章  開始找工作吧——深度學(xué)習(xí)常用面試問題答疑 250
16.1  深度學(xué)習(xí)面試常用問題答疑 250
16.1.1  如何降低過擬合（Overfitting） 251
16.1.2  全連接層詳解 254
16.1.3  激活函數(shù)起作用的原因 255
16.1.4  卷積后的圖像大小 255
16.1.5  池化層的作用 255
16.1.6  為什么在后分類時(shí)使用softmax而不是傳統(tǒng)的SVM 256
16.2  卷積神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu)面試問答匯總 256
16.2.1  數(shù)據(jù)集的注意事項(xiàng) 256
16.2.2  卷積模型訓(xùn)練的注意事項(xiàng) 256
16.3  NIN模型介紹 25716.3.1  NIN（Network In Network）模型簡(jiǎn)介 257
16.3.2  貓狗大戰(zhàn)——NIN的代碼實(shí)現(xiàn) 258
16.4  deeper is better——GoogLeNet模型介紹 260
16.4.1  GoogLeNet模型的介紹 261
16.4.2  GoogLeNet模型單元的
TensorFlow實(shí)現(xiàn) 263
16.4.3  GoogLeNet模型一些注意事項(xiàng) 266
16.5  本章小結(jié) 267
第17章  不服就是GAN——對(duì)抗生成網(wǎng)絡(luò) 268
17.1  一個(gè)悲慘的故事 268
17.2  GAN基本原理簡(jiǎn)介 269
17.3  GAN實(shí)戰(zhàn)——手寫體數(shù)字的生成 272
17.3.1  MNIST數(shù)據(jù)集和GAN模型實(shí)現(xiàn) 272
17.3.2  訓(xùn)練參數(shù)的定義和實(shí)現(xiàn) 275
17.4  本章小結(jié) 278
第18章  未來的趨勢(shì)——圖卷積神經(jīng)網(wǎng)絡(luò)初步 279
18.1  圖卷積神經(jīng)網(wǎng)絡(luò)的誕生背景 279
18.1.1  圖卷積基本原理介紹 279
18.1.2  圖卷積基本原理和公式介紹 281
18.1.3  圖卷積需要的基本概念 282
18.2  實(shí)戰(zhàn)圖卷積神經(jīng)網(wǎng)絡(luò) 283
18.2.1  cora數(shù)據(jù)集簡(jiǎn)介 283
18.2.2  圖卷積模型的建立 286
18.3  本章小結(jié) 288