機(jī)器學(xué)習(xí)與大數(shù)據(jù)技術(shù)

第 1章 緒論 1
1．1 機(jī)器學(xué)習(xí) 3
1．1．1概述 3
1．1．2評(píng)價(jià)準(zhǔn)則 4
1．1．3分類 6
1．1．4常用工具 7
1．2 大數(shù)據(jù) 9
1．3 人工智能 10
1．4 圖像處理技術(shù) 12
第 2章 機(jī)器學(xué)習(xí)理論與方法 13
2．1 回歸分析與最小二乘法 13
2．2聚類 15
2．2．1簡(jiǎn)介 15
2．2．2基本原理 15
2．2．3常用聚類算法 17
2．3 遺傳算法 20
2．3．1簡(jiǎn)介 20
2．3．2基本原理 21
2．3．3特點(diǎn)與應(yīng)用 23
2．4 蟻群算法 23
2．4．1簡(jiǎn)介 23
2．4．2基本原理 24
2．4．3特點(diǎn)與應(yīng)用 26
2．5 粒子群算法 27
2．5．1簡(jiǎn)介 27
2．5．2基本原理 27
2．5．3特點(diǎn)與應(yīng)用 28
2．6 人工神經(jīng)網(wǎng)絡(luò) 29
2．6．1簡(jiǎn)介 29
2．6．2神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 31
2．6．3 BP神經(jīng)網(wǎng)絡(luò) 37
2．6．4 RBF神經(jīng)網(wǎng)絡(luò) 38
2．7支持向量機(jī) 40
2．7．1簡(jiǎn)介 40
2．7．2基本原理 40
2．7．3特點(diǎn)與應(yīng)用 46
2．8 隱馬爾科夫模型 46
第3章 深度學(xué)習(xí)理論與方法 50
3．1 簡(jiǎn)介 50
3．2 常見(jiàn)模型 51
3．2．1卷積神經(jīng)網(wǎng)絡(luò) 52
3．2．2受限玻爾茲曼機(jī) 54
3．2．3深度信念網(wǎng)絡(luò) 56
3．2．4自動(dòng)編碼器 57
3．2．5降噪自動(dòng)編碼器 59
3．2．6堆疊降噪自動(dòng)編碼器 59
3．3 應(yīng)用場(chǎng)景 60
3．4 發(fā)展趨勢(shì) 61
3．4．1深度集成學(xué)習(xí) 61
3．4．2深度強(qiáng)化學(xué)習(xí) 62
3．4．3深度遷移學(xué)習(xí) 63
第4章 大數(shù)據(jù)處理技術(shù) 65
4．1 大數(shù)據(jù)簡(jiǎn)介 65
4．1．1大數(shù)據(jù)概念與特點(diǎn) 65
4．1．2大數(shù)據(jù)類型 66
4．1．3大數(shù)據(jù)應(yīng)用 67
4．2 大數(shù)據(jù)技術(shù) 68
4．2．1數(shù)據(jù)獲取與預(yù)處理技術(shù) 68
4．2．2存儲(chǔ)與管理技術(shù) 71
4．2．3分析與挖掘技術(shù) 72
4．2．4可視化技術(shù) 74
4．3 大數(shù)據(jù)處理框架 79
4．3．1簡(jiǎn)介 79
4．3．2 Hadoop 80
4．3．3 Spark 82
4．3．4 Storm 84
4．3．5 HBase 85
4．3．6 Hive 86
4．4 大數(shù)據(jù)面臨挑戰(zhàn) 86
4．4．1數(shù)據(jù)安全性 87
4．4．2計(jì)算復(fù)雜性 87
4．4．3計(jì)算時(shí)效性 87
第5章 大數(shù)據(jù)與智能系統(tǒng)開(kāi)發(fā)——以農(nóng)業(yè)應(yīng)用為例 88
5．1 農(nóng)業(yè)信息化概述 88
5．1．1農(nóng)業(yè)信息概念 88
5．1．2農(nóng)業(yè)信息分類 88
5．1．3農(nóng)業(yè)信息技術(shù) 89
5．2 農(nóng)業(yè)大數(shù)據(jù)概述 89
5．2．1農(nóng)業(yè)大數(shù)據(jù)概念 89
5．2．2農(nóng)業(yè)大數(shù)據(jù)特點(diǎn) 90
5．2．3農(nóng)業(yè)大數(shù)據(jù)標(biāo)準(zhǔn) 90
5．2．4農(nóng)業(yè)大數(shù)據(jù)發(fā)展趨勢(shì) 91
5．3 農(nóng)業(yè)大數(shù)據(jù)技術(shù) 92
5．3．1獲取與預(yù)處理技術(shù) 92
5．3．2存儲(chǔ)與集成技術(shù) 95
5．3．3挖掘與可視化技術(shù) 95
5．3．4發(fā)展趨勢(shì) 96
5．4 農(nóng)業(yè)大數(shù)據(jù)機(jī)遇、挑戰(zhàn)與對(duì)策 97
5．4．1機(jī)遇 97
5．4．2挑戰(zhàn)與對(duì)策 97
5．5 基于安卓的農(nóng)業(yè)智能 99
5．5．1簡(jiǎn)介 99
5．5．2APP開(kāi)發(fā)步驟 100
5．5．3農(nóng)業(yè)APP 101
第6章 圖像處理與分析技術(shù) 102
6．1 簡(jiǎn)介 102
6．1．1常用術(shù)語(yǔ) 102
6．1．2圖像處理與分析基礎(chǔ) 106
6．2 圖像處理技術(shù)在農(nóng)業(yè)中的應(yīng)用 111
6．2．1農(nóng)業(yè)圖像特點(diǎn) 111
6．2．2農(nóng)業(yè)應(yīng)用場(chǎng)景 111
6．3圖像細(xì)化算法 112
6．3．1細(xì)化算法原理 112
6．3．2改進(jìn)算法 114
第7章 機(jī)器學(xué)習(xí)、大數(shù)據(jù)技術(shù)和圖像處理技術(shù)的應(yīng)用——以農(nóng)業(yè)應(yīng)用為例 118
7．1 簡(jiǎn)介 118
7．2 隨機(jī)森林在棉蚜等級(jí)預(yù)測(cè)中的應(yīng)用 118
7．2．1隨機(jī)森林原理 118
7．2．2隨機(jī)森林構(gòu)建 119
7．2．3袋外數(shù)據(jù)OOB和OOB估計(jì) 120
7．2．4實(shí)驗(yàn)結(jié)果與分析 121
7． 3 基于鄰域核函數(shù)的局部支持向量機(jī)在樹(shù)木圖像分類中的應(yīng)用 127
7．3．1鄰域核函數(shù) 128
7．3．2基于鄰域核函數(shù)的局部支持向量機(jī) 129
7．3．3實(shí)驗(yàn)結(jié)果與分析 129
7．4 局部支持向量回歸在小麥蚜蟲(chóng)預(yù)測(cè)中的應(yīng)用 132
7．4．1小麥蚜蟲(chóng)預(yù)測(cè)原理 132
7．4．2數(shù)據(jù)來(lái)源與預(yù)處理 132
7．4．3支持向量回歸與局部支持向量回歸 134
7．4．4實(shí)驗(yàn)結(jié)果與分析 136
7．5 深度學(xué)習(xí)在小麥蚜蟲(chóng)短期預(yù)測(cè)中的應(yīng)用 138
7．5．1數(shù)據(jù)來(lái)源與預(yù)處理 138
7．5．2模型評(píng)價(jià)指標(biāo) 139
7．5．3基于DBN_LSVR的小麥蚜蟲(chóng)短期預(yù)測(cè)模型 140
7．5．4實(shí)驗(yàn)結(jié)果與分析 141
7．6 基于Spark的支持向量機(jī)在小麥病害圖像識(shí)別中的應(yīng)用 143
7．6．1數(shù)據(jù)來(lái)源與預(yù)處理 144
7．6．2 基于Spark的支持向量機(jī) 149
7．6．3實(shí)驗(yàn)結(jié)果與分析 151
7．7 Hadoop平臺(tái)下基于粒子群的局部支持向量機(jī) 153
7．7．1相關(guān)技術(shù)及算法 154
7．7．2改進(jìn)算法原理 155
7．7．3 MapRuduce實(shí)現(xiàn) 155
7．7．4改進(jìn)思想 156
7．7．5實(shí)驗(yàn)結(jié)果與分析 157
第8章 Python基礎(chǔ) 160
8．1 基礎(chǔ)知識(shí) 160
8．1．1Python安裝與使用 160
8．1．2編碼規(guī)范 160
8．1．3模塊導(dǎo)入 161
8．1．4異常處理 163
8．2 語(yǔ)言基礎(chǔ) 164
8．2．1基本數(shù)據(jù)類型 164
8．2．2運(yùn)算符與表達(dá)式 166
8．2．3選擇與循環(huán) 172
8．2．4字符串 176
8．2．5列表、元組與字典 178
8．2．6正則表達(dá)式 187
8．3 函數(shù) 190
8．3．1函數(shù)定義 190
8．3．2 函數(shù)調(diào)用 191
8．3．3函數(shù)參數(shù) 192
8．3．4返回值 195
8．3．5變量作用域 196
8．4 類 197
8．4．1類定義 197
8．4．2類方法 198
8．4．3繼承與多態(tài) 199
8．4．4應(yīng)用舉例 199
8．5 文件 206
8．5．1打開(kāi)和關(guān)閉 206
8．5．2讀寫(xiě) 207
8．5．3其他操作 208
8．5．4目錄操作 209
第9章 Python數(shù)據(jù)處理與機(jī)器學(xué)習(xí) 210
9．1 矩陣計(jì)算 210
9．1．1基礎(chǔ)知識(shí) 210
9．1．2應(yīng)用舉例 218
9．2 網(wǎng)絡(luò)爬蟲(chóng) 222
9．2．1基礎(chǔ)知識(shí) 222
9．2．2應(yīng)用舉例 226
9．3 數(shù)據(jù)庫(kù) 226
9．3．1 Sqlite數(shù)據(jù)庫(kù) 226
9．3．2 MySQL數(shù)據(jù)庫(kù) 228
9．4 OpenCV圖像編程 230
9．4．1圖像基礎(chǔ)操作 230
9．4．2圖像幾何變換 231
9．4．3圖像濾波 233
9．4．4數(shù)學(xué)形態(tài)學(xué) 235
9．4．5應(yīng)用舉例 236
9．5 數(shù)據(jù)可視化 237
9．5．1 matplotlib可視化 237
9．5．2 plotly可視化 238
9．6 基于Python機(jī)器學(xué)習(xí)算法 240
9．6．1線性回歸 240
9．6．2 Logistic回歸 242
9．6．3 K近鄰算法 245
9．6．4 K均值聚類 247
9．6．5決策樹(shù) 250
9．7 基于Python大數(shù)據(jù)處理技術(shù) 255
9．7．1 MapReduce編程 255
9．7．2 應(yīng)用舉例 256
9．8 Tensorflow編程 256
9．8．1簡(jiǎn)介 256
9．8．2基礎(chǔ)知識(shí) 258
9．8．3應(yīng)用舉例 260
參考文獻(xiàn) 261