Python數(shù)據(jù)分析：零基礎入門到實戰(zhàn)開發(fā)

目　錄
第1章　什么是數(shù)據(jù)分析
1.1　Python開發(fā)環(huán)境 1
1.2　數(shù)據(jù)分析的前世今生 2
1.2.1　數(shù)據(jù)分析歷史 2
1.2.2　數(shù)據(jù)分析的現(xiàn)實應用 2
1.2.3　數(shù)據(jù)分析的技能需求 3
1.3　數(shù)據(jù)分析流程 4
1.3.1　數(shù)據(jù)導入、清洗 5
1.3.2　單變量分析 6
1.3.3　多變量分析 6
1.3.4　選擇模型 6
1.3.5　估計與假設檢驗 7
1.3.6　可視化 8
1.4　數(shù)據(jù)分析經(jīng)典案例 8
1.4.1　犯罪率的下降與法律條文的生成 8
1.4.2　利用數(shù)據(jù)觀察校園作弊行為 9
1.4.3　靠統(tǒng)計學致富的數(shù)學家 11
1.5　數(shù)據(jù)分析的第一個實戰(zhàn) 12
1.5.1　單變量探索 12
1.5.2　多變量分析 16
1.5.3　選擇模型 21
1.5.4　假設檢驗 25
第2章　Python知識進階
2.1　Python語言 28
2.1.1　Python的歷史 29
2.1.2　Python的特色 29
2.2　Python技巧與進階 31
2.2.1　數(shù)據(jù)類型方面的技巧 31
2.2.2　數(shù)字方面的使用技巧 32
2.2.3　枚舉 34
2.2.4　匿名函數(shù)的應用 35
2.2.5　裝飾器：語法糖 37
2.2.6　列表生成式 39
2.2.7　迭代器與生成器 39
2.3　Python編程的易錯點 41
2.3.1　全局變量與局部變量 42
2.3.2　閉包 43
2.3.3　函數(shù)傳參 44
2.3.4　列表和數(shù)組的區(qū)別 45
2.3.5　變量和按引用傳遞 45
2.3.6　None：一個獨特的類型 47
2.4　小結 48
第3章　NumPy的入門與進階
3.1　ndarray數(shù)組 49
3.1.1　ndarray數(shù)組的創(chuàng)建 49
3.1.2　C和Fortran順序 51
3.2　索引 51
3.2.1　基本索引 51
3.2.2　高維數(shù)組的索引 52
3.2.3　高階索引 54
3.3　廣播機制 56
3.4　NumPy數(shù)組的運算 58
3.4.1　NumPy的數(shù)值計算 58
3.4.2　比較與排序 59
3.4.3　NumPy的數(shù)組計算 60
3.4.4　ufunc高級應用 61
3.4.5　NumPy初等函數(shù)與math內(nèi)置初等函數(shù)的區(qū)別 63
3.4.6　NumPy中的多項式函數(shù) 64
3.4.7　其他功能函數(shù) 65
第4章　pandas的入門與進階
4.1　pandas的數(shù)據(jù)結構 66
4.1.1　Series的創(chuàng)建 67
4.1.2　Series的數(shù)值計算 68
4.1.3　DataFrame的創(chuàng)建 69
4.1.4　DataFrame的基本屬性 70
4.2　pandas數(shù)據(jù)結構的基本操作 72
4.2.1　轉置 72
4.2.2　索引 73
4.2.3　DataFrame的關系型操作 75
4.2.4　DataFrame的畫圖操作 76
4.2.5　查看數(shù)據(jù) 80
4.3　pandas數(shù)據(jù)結構的進階操作 81
4.3.1　數(shù)據(jù)導入導出 81
4.3.2　表格合并 83
4.3.3　讀寫文件中的編碼問題 90
4.3.4　刪除與替換數(shù)據(jù) 92
4.3.5　表格整體性分析 96
4.3.6　GroupBy分組運算 98
4.3.7　綜合練習 103
第5章　SciPy入門與進階
5.1　SciPy中的常數(shù)與函數(shù) 106
5.1.1　SciPy中的常數(shù) 106
5.1.2　SciPy中的special模塊 107
5.2　SciPy中的科學計算工具 108
5.2.1　求解多元方程組 108
5.2.2　擬合方程 110
5.2.3　最優(yōu)化算法 113
5.2.4　統(tǒng)計分布 116
5.2.5　積分 120
5.2.6　插值 121
第6章　可視化
6.1　可視化的魅力 124
6.1.1　別出心裁的可視化 124
6.1.2　可視化的基本理論 126
6.1.3　可視化實例 127
6.2　matplotlib第三方庫的基本功能 131
6.2.1　matplotlib繪圖的基礎組件 131
6.2.2　餅圖 134
6.2.3　條形圖 139
6.2.4　散點圖 142
6.2.5　折線圖 145
6.2.6　箱線圖 146
6.2.7　小提琴圖 148
6.2.8　Basemap簡單介紹 150
6.3　交互式繪圖 151
6.3.1　matplotlib的簡單交互式繪圖 151
6.3.2　pyecharts可視化庫 154
第7章　時間序列
7.1　datetime庫的簡單介紹 160
7.1.1　時間坐標的構造 160
7.1.2　時間和字符串的轉換 161
7.2　時間序列中pandas的應用 162
7.2.1　DatetimeIndex 162
7.2.2　pandas中時間坐標的構造 163
7.2.3　PeriodIndex（時間索引類型） 164
7.2.4　采樣 166
7.2.5　超前或滯后 167
7.2.6　移動窗口函數(shù) 168
7.3　時間序列的時區(qū)轉換 169
第8章　數(shù)據(jù)分析中的統(tǒng)計學
8.1　有趣的選擇 171
8.2　數(shù)據(jù)分析回答ofo多久才能退押金 172
8.3　統(tǒng)計學在數(shù)據(jù)分析中扮演的角色 178
8.4　數(shù)據(jù)預處理 178
8.4.1　數(shù)據(jù)清洗 178
8.4.2　數(shù)據(jù)集成 180
8.4.3　數(shù)據(jù)變換 181
8.5　特征工程 182
8.5.1　過濾法 183
8.5.2　包裝法 186
8.5.3　嵌入式方法 190
8.5.4　正則化 193
8.6　模型訓練 194
8.7　模型評估 199
8.8　數(shù)據(jù)分析中的其他問題 201
8.8.1　數(shù)據(jù)泄露 201
8.8.2　大數(shù)據(jù)下的數(shù)據(jù)分析 202
8.8.3　辛普森悖論 204
8.8.4　數(shù)據(jù)集的劃分 205
8.8.5　優(yōu)化調參 206
第9章　豆瓣電影TOP 250數(shù)據(jù)分析
9.1　項目介紹 210
9.1.1　爬蟲的簡單介紹 210
9.1.2　網(wǎng)頁的構成 210
9.1.3　實戰(zhàn)中的爬蟲技術介紹 211
9.1.4　實戰(zhàn)中數(shù)據(jù)存儲與讀取 215
9.1.5　實戰(zhàn)中的界面設計 216
9.1.6　實戰(zhàn)中的數(shù)據(jù)可視化 219
9.2　數(shù)據(jù)庫操作 224
9.2.1　數(shù)據(jù)庫的安裝與配置 225
9.2.2　數(shù)據(jù)存儲到數(shù)據(jù)庫 227
9.3　數(shù)據(jù)庫標準語言 228
9.3.1　創(chuàng)建數(shù)據(jù)庫、表 229
9.3.2　表的刪除與更新 229
9.3.3　查詢 230
9.3.4　聚合與排序 230
9.3.5　數(shù)據(jù)更新 231
9.3.6　表的集合運算 232
9.3.7　Python和數(shù)據(jù)庫語言的關系 234
第10章　Python豐富的可視化案例
10.1　turtle庫的簡單使用 236
10.2　北上廣深租房分析可視化案例 238
10.2.1　數(shù)據(jù)爬取 238
10.2.2　讀取數(shù)據(jù) 240
10.2.3　數(shù)據(jù)分析 241
第11章　Python預測應用——SVM預測股票漲跌
11.1　SVM介紹 246
11.1.1　SVM原理 246
11.1.2　核函數(shù) 247
11.2　SVM實戰(zhàn) 249
11.2.1　數(shù)據(jù)預處理 249
11.2.2　訓練模型 251
11.2.3　遺傳算法 252
第12章　文本分析《三國演義》：挖掘人物圖譜
12.1　項目簡單說明 262
12.1.1　代碼分塊介紹 262
12.1.2　效果圖展示 265
12.2　工程具體實現(xiàn) 265
12.2.1　設計思想 266
12.2.2　代碼詳解 266
12.2.3　可視化 267
目　錄
第1章　什么是數(shù)據(jù)分析
1.1　Python開發(fā)環(huán)境 1
1.2　數(shù)據(jù)分析的前世今生 2
1.2.1　數(shù)據(jù)分析歷史 2
1.2.2　數(shù)據(jù)分析的現(xiàn)實應用 2
1.2.3　數(shù)據(jù)分析的技能需求 3
1.3　數(shù)據(jù)分析流程 4
1.3.1　數(shù)據(jù)導入、清洗 5
1.3.2　單變量分析 6
1.3.3　多變量分析 6
1.3.4　選擇模型 6
1.3.5　估計與假設檢驗 7
1.3.6　可視化 8
1.4　數(shù)據(jù)分析經(jīng)典案例 8
1.4.1　犯罪率的下降與法律條文的生成 8
1.4.2　利用數(shù)據(jù)觀察校園作弊行為 9
1.4.3　靠統(tǒng)計學致富的數(shù)學家 11
1.5　數(shù)據(jù)分析的第一個實戰(zhàn) 12
1.5.1　單變量探索 12
1.5.2　多變量分析 16
1.5.3　選擇模型 21
1.5.4　假設檢驗 25
第2章　Python知識進階
2.1　Python語言 28
2.1.1　Python的歷史 29
2.1.2　Python的特色 29
2.2　Python技巧與進階 31
2.2.1　數(shù)據(jù)類型方面的技巧 31
2.2.2　數(shù)字方面的使用技巧 32
2.2.3　枚舉 34
2.2.4　匿名函數(shù)的應用 35
2.2.5　裝飾器：語法糖 37
2.2.6　列表生成式 39
2.2.7　迭代器與生成器 39
2.3　Python編程的易錯點 41
2.3.1　全局變量與局部變量 42
2.3.2　閉包 43
2.3.3　函數(shù)傳參 44
2.3.4　列表和數(shù)組的區(qū)別 45
2.3.5　變量和按引用傳遞 45
2.3.6　None：一個獨特的類型 47
2.4　小結 48
第3章　NumPy的入門與進階
3.1　ndarray數(shù)組 49
3.1.1　ndarray數(shù)組的創(chuàng)建 49
3.1.2　C和Fortran順序 51
3.2　索引 51
3.2.1　基本索引 51
3.2.2　高維數(shù)組的索引 52
3.2.3　高階索引 54
3.3　廣播機制 56
3.4　NumPy數(shù)組的運算 58
3.4.1　NumPy的數(shù)值計算 58
3.4.2　比較與排序 59
3.4.3　NumPy的數(shù)組計算 60
3.4.4　ufunc高級應用 61
3.4.5　NumPy初等函數(shù)與math內(nèi)置初等函數(shù)的區(qū)別 63
3.4.6　NumPy中的多項式函數(shù) 64
3.4.7　其他功能函數(shù) 65
第4章　pandas的入門與進階
4.1　pandas的數(shù)據(jù)結構 66
4.1.1　Series的創(chuàng)建 67
4.1.2　Series的數(shù)值計算 68
4.1.3　DataFrame的創(chuàng)建 69
4.1.4　DataFrame的基本屬性 70
4.2　pandas數(shù)據(jù)結構的基本操作 72
4.2.1　轉置 72
4.2.2　索引 73
4.2.3　DataFrame的關系型操作 75
4.2.4　DataFrame的畫圖操作 76
4.2.5　查看數(shù)據(jù) 80
4.3　pandas數(shù)據(jù)結構的進階操作 81
4.3.1　數(shù)據(jù)導入導出 81
4.3.2　表格合并 83
4.3.3　讀寫文件中的編碼問題 90
4.3.4　刪除與替換數(shù)據(jù) 92
4.3.5　表格整體性分析 96
4.3.6　GroupBy分組運算 98
4.3.7　綜合練習 103
第5章　SciPy入門與進階
5.1　SciPy中的常數(shù)與函數(shù) 106
5.1.1　SciPy中的常數(shù) 106
5.1.2　SciPy中的special模塊 107
5.2　SciPy中的科學計算工具 108
5.2.1　求解多元方程組 108
5.2.2　擬合方程 110
5.2.3　最優(yōu)化算法 113
5.2.4　統(tǒng)計分布 116
5.2.5　積分 120
5.2.6　插值 121
第6章　可視化
6.1　可視化的魅力 124
6.1.1　別出心裁的可視化 124
6.1.2　可視化的基本理論 126
6.1.3　可視化實例 127
6.2　matplotlib第三方庫的基本功能 131
6.2.1　matplotlib繪圖的基礎組件 131
6.2.2　餅圖 134
6.2.3　條形圖 139
6.2.4　散點圖 142
6.2.5　折線圖 145
6.2.6　箱線圖 146
6.2.7　小提琴圖 148
6.2.8　Basemap簡單介紹 150
6.3　交互式繪圖 151
6.3.1　matplotlib的簡單交互式繪圖 151
6.3.2　pyecharts可視化庫 154
第7章　時間序列
7.1　datetime庫的簡單介紹 160
7.1.1　時間坐標的構造 160
7.1.2　時間和字符串的轉換 161
7.2　時間序列中pandas的應用 162
7.2.1　DatetimeIndex 162
7.2.2　pandas中時間坐標的構造 163
7.2.3　PeriodIndex（時間索引類型） 164
7.2.4　采樣 166
7.2.5　超前或滯后 167
7.2.6　移動窗口函數(shù) 168
7.3　時間序列的時區(qū)轉換 169
第8章　數(shù)據(jù)分析中的統(tǒng)計學
8.1　有趣的選擇 171
8.2　數(shù)據(jù)分析回答ofo多久才能退押金 172
8.3　統(tǒng)計學在數(shù)據(jù)分析中扮演的角色 178
8.4　數(shù)據(jù)預處理 178
8.4.1　數(shù)據(jù)清洗 178
8.4.2　數(shù)據(jù)集成 180
8.4.3　數(shù)據(jù)變換 181
8.5　特征工程 182
8.5.1　過濾法 183
8.5.2　包裝法 186
8.5.3　嵌入式方法 190
8.5.4　正則化 193
8.6　模型訓練 194
8.7　模型評估 199
8.8　數(shù)據(jù)分析中的其他問題 201
8.8.1　數(shù)據(jù)泄露 201
8.8.2　大數(shù)據(jù)下的數(shù)據(jù)分析 202
8.8.3　辛普森悖論 204
8.8.4　數(shù)據(jù)集的劃分 205
8.8.5　優(yōu)化調參 206
第9章　豆瓣電影TOP 250數(shù)據(jù)分析
9.1　項目介紹 210
9.1.1　爬蟲的簡單介紹 210
9.1.2　網(wǎng)頁的構成 210
9.1.3　實戰(zhàn)中的爬蟲技術介紹 211
9.1.4　實戰(zhàn)中數(shù)據(jù)存儲與讀取 215
9.1.5　實戰(zhàn)中的界面設計 216
9.1.6　實戰(zhàn)中的數(shù)據(jù)可視化 219
9.2　數(shù)據(jù)庫操作 224
9.2.1　數(shù)據(jù)庫的安裝與配置 225
9.2.2　數(shù)據(jù)存儲到數(shù)據(jù)庫 227
9.3　數(shù)據(jù)庫標準語言 228
9.3.1　創(chuàng)建數(shù)據(jù)庫、表 229
9.3.2　表的刪除與更新 229
9.3.3　查詢 230
9.3.4　聚合與排序 230
9.3.5　數(shù)據(jù)更新 231
9.3.6　表的集合運算 232
9.3.7　Python和數(shù)據(jù)庫語言的關系 234
第10章　Python豐富的可視化案例
10.1　turtle庫的簡單使用 236
10.2　北上廣深租房分析可視化案例 238
10.2.1　數(shù)據(jù)爬取 238
10.2.2　讀取數(shù)據(jù) 240
10.2.3　數(shù)據(jù)分析 241
第11章　Python預測應用——SVM預測股票漲跌
11.1　SVM介紹 246
11.1.1　SVM原理 246
11.1.2　核函數(shù) 247
11.2　SVM實戰(zhàn) 249
11.2.1　數(shù)據(jù)預處理 249
11.2.2　訓練模型 251
11.2.3　遺傳算法 252
第12章　文本分析《三國演義》：挖掘人物圖譜
12.1　項目簡單說明 262
12.1.1　代碼分塊介紹 262
12.1.2　效果圖展示 265
12.2　工程具體實現(xiàn) 265
12.2.1　設計思想 266
12.2.2　代碼詳解 266
12.2.3　可視化 267