深度學(xué)習(xí)基礎(chǔ)與實踐

版權(quán)聲明 iii
O'Reilly　Media， Inc．介紹 iv
前言　xv
第　1 章 機器學(xué)習(xí)回顧　1
1．1　學(xué)習(xí)的機器　1
1．1．1　機器如何學(xué)習(xí)　2
1．1．2　生物學(xué)的啟發(fā)　4
1．1．3　什么是深度學(xué)習(xí)　5
1．1．4　鉆進奇幻的兔子洞　5
1．2　提出問題　6
1．3　機器學(xué)習(xí)背后的數(shù)學(xué)：線性代數(shù)　7
1．3．1　標量　7
1．3．2　向量　7
1．3．3　矩陣　8
1．3．4　張量　8
1．3．5　超平面　8
1．3．6　相關(guān)數(shù)學(xué)運算　8
1．3．7　將數(shù)據(jù)轉(zhuǎn)換成向量　9
1．3．8　方程組求解　10
1．4　機器學(xué)習(xí)背后的數(shù)學(xué)：統(tǒng)計學(xué)　12
1．4．1　概率　12
1．4．2　條件概率　14
1．4．3　后驗概率　14
1．4．4　分布　15
1．4．5　樣本與總體　16
1．4．6　重采樣方法　16
1．4．7　選擇性偏差　17
1．4．8　似然　17
1．5　機器學(xué)習(xí)如何工作　17
1．5．1　回歸　17
1．5．2　分類　19
1．5．3　聚類　19
1．5．4　欠擬合與過擬合　20
1．5．5　優(yōu)化　20
1．5．6　凸優(yōu)化　21
1．5．7　梯度下降　22
1．5．8　SGD　24
1．5．9　擬牛頓優(yōu)化方法　24
1．5．10　生成模型與判別模型　25
1．6　邏輯回歸　25
1．6．1　邏輯函數(shù)　26
1．6．2　理解邏輯回歸的輸出　26
1．7　評估模型　27
1．8　建立對機器學(xué)習(xí)的理解　30
第　2 章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)與深度學(xué)習(xí)　31
2．1　神經(jīng)網(wǎng)絡(luò)　31
2．1．1　生物神經(jīng)元　33
2．1．2　感知器　34
2．1．3　多層前饋網(wǎng)絡(luò)　37
2．2　訓(xùn)練神經(jīng)網(wǎng)絡(luò)　42
2．3　激活函數(shù)　49
2．3．1　線性函數(shù)　49
2．3．2　sigmoid函數(shù)　49
2．3．3　tanh函數(shù)　50
2．3．4　hard tanh函數(shù)　51
2．3．5　softmax函數(shù)　51
2．3．6　修正線性函數(shù)　51
2．4　損失函數(shù)　53
2．4．1　損失函數(shù)的符號　53
2．4．2　用于回歸的損失函數(shù)　54
2．4．3　用于分類的損失函數(shù)　56
2．4．4　用于重建的損失函數(shù)　57
2．5　超參數(shù)　58
2．5．1　學(xué)習(xí)率　58
2．5．2　正則化　59
2．5．3　動量　59
2．5．4　稀疏　59
第　3 章 深度網(wǎng)絡(luò)基礎(chǔ)　60
3．1　定義深度學(xué)習(xí)　60
3．1．1　什么是深度學(xué)習(xí)　60
3．1．2　本章結(jié)構(gòu)　67
3．2　深度網(wǎng)絡(luò)的通用構(gòu)建原則　67
3．2．1　參數(shù)　68
3．2．2　層　68
3．2．3　激活函數(shù)　69
3．2．4　損失函數(shù)　70
3．2．5　優(yōu)化算法　71
3．2．6　超參數(shù)　73
3．2．7　小結(jié)　77
3．3　深度網(wǎng)絡(luò)的構(gòu)造塊　77
3．3．1　RBM　78
3．3．2　自動編碼器　82
3．3．3　變分自動編碼器　83
第　4 章 深度網(wǎng)絡(luò)的主要架構(gòu)　85
4．1　UPN　85
4．1．1　DBN　86
4．1．2　GAN　88
4．2　CNN　91
4．2．1　生物學(xué)啟發(fā)　92
4．2．2　思路　92
4．2．3　CNN架構(gòu)概要　93
4．2．4　輸入層　94
4．2．5　卷積層　95
4．2．6　池化層　101
4．2．7　全連接層　102
4．2．8　CNN的其他應(yīng)用　102
4．2．9　CNN列表　103
4．2．10　小結(jié)　103
4．3　RNN　103
4．3．1　時間維度建?！?04
4．3．2　三維空間輸入　105
4．3．3　為什么不是馬爾可夫模型　107
4．3．4　常見的RNN架構(gòu)　107
4．3．5　LSTM網(wǎng)絡(luò)　108
4．3．6　特定領(lǐng)域應(yīng)用與混合網(wǎng)絡(luò)　114
4．4　遞歸神經(jīng)網(wǎng)絡(luò)　115
4．4．1　網(wǎng)絡(luò)架構(gòu)　115
4．4．2　遞歸神經(jīng)網(wǎng)絡(luò)的變體　115
4．4．3　遞歸神經(jīng)網(wǎng)絡(luò)的應(yīng)用　116
4．5　小結(jié)與討論　116
4．5．1　深度學(xué)習(xí)會使其他算法過時嗎　116
4．5．2　不同的問題有不同的最佳方法　117
4．5．3　什么時候需要深度學(xué)習(xí)　117
第　5 章 建立深度網(wǎng)絡(luò)　118
5．1　將深度網(wǎng)絡(luò)與適合的問題匹配　118
5．1．1　列式數(shù)據(jù)與多層感知器　119
5．1．2　圖像與CNN　119
5．1．3　時間序列與RNN　120
5．1．4　使用混合網(wǎng)絡(luò)　121
5．2　DL4J工具套件　121
5．2．1　向量化與DataVec　121
5．2．2　運行時與ND4J　121
5．3　DL4J API的基本概念　123
5．3．1　加載與保存模型　123
5．3．2　為模型獲取輸入　124
5．3．3　建立模型架構(gòu)　124
5．3．4　訓(xùn)練與評估　125
5．4　使用多層感知器網(wǎng)絡(luò)對CSV數(shù)據(jù)建?！?26
5．4．1　建立輸入數(shù)據(jù)　128
5．4．2　確定網(wǎng)絡(luò)架構(gòu)　128
5．4．3　訓(xùn)練模型　131
5．4．4　評估模型　131
5．5　利用CNN對手寫圖像建?！?32
5．5．1　使用LeNet CNN的Java代碼示例　132
5．5．2　加載及向量化輸入圖像　134
5．5．3　DL4J中用于LeNet的網(wǎng)絡(luò)架構(gòu)　135
5．5．4　訓(xùn)練CNN網(wǎng)絡(luò)　138
5．6　基于RNN的序列數(shù)據(jù)建?！?39
5．6．1　通過LSTM生成莎士比亞風(fēng)格作品　139
5．6．2　基于LSTM的傳感器時間序列分類　146
5．7　利用自動編碼器檢測異?！?52
5．7．1　自動編碼器示例的Java代碼列表　152
5．7．2　設(shè)置輸入數(shù)據(jù)　156
5．7．3　自動編碼器的網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練　156
5．7．4　評估模型　157
5．8　使用變分自動編碼器重建MNIST數(shù)字　158
5．8．1　重建MNIST數(shù)字的代碼列表　158
5．8．2　VAE模型的檢驗　161
5．9　深度學(xué)習(xí)在自然語言處理中的應(yīng)用　163
5．9．1　使用Word2Vec的學(xué)習(xí)詞嵌入　163
5．9．2　具有段落向量的句子的分布式表示　168
5．9．3　使用段落向量進行文檔分類　171
第　6 章 深度網(wǎng)絡(luò)調(diào)優(yōu)　176
6．1　深度網(wǎng)絡(luò)調(diào)優(yōu)的基本概念　176
6．1．1　建立深度網(wǎng)絡(luò)的思路　177
6．1．2　構(gòu)建思路的步驟　178
6．2　匹配輸入數(shù)據(jù)與網(wǎng)絡(luò)架構(gòu)　178
6．3　模型目標與輸出層的關(guān)系　180
6．3．1　回歸模型的輸出層　180
6．3．2　分類模型的輸出層　180
6．4　處理層的數(shù)量、參數(shù)的數(shù)量和存儲器　182
6．4．1　前饋多層神經(jīng)網(wǎng)絡(luò)　183
6．4．2　控制層和參數(shù)的數(shù)量　183
6．4．3　估計網(wǎng)絡(luò)內(nèi)存需求　185
6．5　權(quán)重初始化策略　187
6．6　使用激活函數(shù)　188
6．7　應(yīng)用損失函數(shù)　190
6．8　理解學(xué)習(xí)率　191
6．8．1　使用參數(shù)更新比率　192
6．8．2　關(guān)于學(xué)習(xí)率的具體建議　193
6．9　稀疏性對學(xué)習(xí)的影響　195
6．10　優(yōu)化方法的應(yīng)用　195
6．11　使用并行化和GPU更快地進行訓(xùn)練　197
6．11．1　在線學(xué)習(xí)與并行迭代算法　197
6．11．2　DL4J中的SGD并行　199
6．11．3　GPU　201
6．12　控制迭代和小批量的大小　202
6．13　如何使用正則化　203
6．13．1　使用先驗函數(shù)正則化　204
6．13．2　最大范數(shù)正則化　204
6．13．3　Dropout　205
6．13．4　其他正則化事項　206
6．14　處理類別不平衡　207
6．14．1　類別采樣方法　208
6．14．2　加權(quán)損失函數(shù)　208
6．15　處理過擬合　209
6．16　通過調(diào)優(yōu)UI來使用網(wǎng)絡(luò)統(tǒng)計信息　210
6．16．1　檢測不佳的權(quán)重初始化　212
6．16．2　檢測非混洗數(shù)據(jù)　213
6．16．3　檢測正則化的問題　214
第　7 章 調(diào)優(yōu)特定的深度網(wǎng)絡(luò)架構(gòu)　217
7．1　CNN　217
7．1．1　卷積架構(gòu)常見的模式　218
7．1．2　配置卷積層　220
7．1．3　配置池化層　224
7．1．4　遷移學(xué)習(xí)　225
7．2　RNN　226
7．2．1　網(wǎng)絡(luò)輸入數(shù)據(jù)和輸入層　227
7．2．2　輸出層與RnnOutputLayer　228
7．2．3　訓(xùn)練網(wǎng)絡(luò)　228
7．2．4　調(diào)試LSTM的常見問題　230
7．2．5　填充與掩碼　230
7．2．6　掩碼評估與評分　231
7．2．7　循環(huán)網(wǎng)絡(luò)架構(gòu)的變體　232
7．3　受限玻爾茲曼機　232
7．3．1　隱藏層神經(jīng)元與可用信息建模　233
7．3．2　使用不同的單元　234
7．3．3　用RBM正則化　234
7．4　DBN　235
7．4．1　利用動量　235
7．4．2　使用正則化　235
7．4．3　確定隱藏單元的數(shù)量　236
第　8 章 向量化　237
8．1　機器學(xué)習(xí)中的向量化方法　237
8．1．1　為什么需要將數(shù)據(jù)向量化　238
8．1．2　處理列式原始數(shù)據(jù)屬性的策略　240
8．1．3　特征工程與規(guī)范化技術(shù)　241
8．2　使用DataVec進行ETL和向量化　247
8．3　將圖像數(shù)據(jù)向量化　248
8．3．1　DL4J中的圖像數(shù)據(jù)表示　248
8．3．2　使用DataVec將圖像數(shù)據(jù)與向量規(guī)范化　250
8．4　將序列數(shù)據(jù)向量化　251
8．4．1　序列數(shù)據(jù)源的主要變體　251
8．4．2　使用DataVec將序列數(shù)據(jù)向量化　252
8．5　將文本向量化　256
8．5．1　詞袋　257
8．5．2　TF-IDF　258
8．5．3　Word2Vec與VSM的比較　261
8．6　使用圖形　261
第　9 章 在Spark上使用深度學(xué)習(xí)和DL4J　262
9．1　在Spark和Hadoop上使用DL4J的介紹　262
9．2　配置和調(diào)優(yōu)Spark運行　266
9．2．1　在Mesos上運行Spark　267
9．2．2　在YARN中執(zhí)行Spark　268
9．2．3　Spark調(diào)優(yōu)簡要介紹　269
9．2．4　對在Spark上運行的DL4J作業(yè)調(diào)優(yōu)　273
9．3　為Spark和DL4J建立Maven項目對象模型　274
9．3．1　一個pom．xml文件依賴模板　275
9．3．2　為 CDH 5．x設(shè)置POM文件　279
9．3．3　為HDP 2．4創(chuàng)建POM文件　279
9．4　Spark和Hadoop故障排除　280
9．5　DL4J在Spark上的并行執(zhí)行　281
9．6　Spark平臺上的DL4J API最佳實踐　284
9．7　多層感知器的Spark示例　285
9．7．1　建立Spark MLP網(wǎng)絡(luò)架構(gòu)　288
9．7．2　分布式訓(xùn)練與模型評估　289
9．7．3　構(gòu)建和執(zhí)行DL4J Spark作業(yè)　290
9．8　使用Spark和LSTM生成莎士比亞作品　290
9．8．1　建立LSTM網(wǎng)絡(luò)架構(gòu)　292
9．8．2　訓(xùn)練、跟蹤進度及理解結(jié)果　293
9．9　基于park上的CNN進行MNIST建?！?94
9．9．1　配置Spark作業(yè)和加載MNIST數(shù)據(jù)　296
9．9．2　建立LeNet CNN架構(gòu)與訓(xùn)練　297
附錄A　人工智能是什么　299
附錄B　RL4J與強化學(xué)習(xí)　307
附錄C　每個人都需要了解的數(shù)字　325
附錄D　神經(jīng)網(wǎng)絡(luò)和反向傳播：數(shù)學(xué)方法　326
附錄E　使用ND4J API　330
附錄F　使用DataVec　341
附錄G　從源代碼構(gòu)建DL4J　350
附錄H　設(shè)置DL4J項目　352
附錄I　為DL4J項目設(shè)置GPU　356
附錄J　解決DL4J安裝上的問題　359
關(guān)于作者　365
關(guān)于封面　365