并行程序設(shè)計(jì)：概念與實(shí)踐

譯者序
前言
致謝
第1章　緒論 1
11　一個(gè)有趣的例子及其分析 2
12　并行計(jì)算基礎(chǔ) 10
121　分布式內(nèi)存系統(tǒng) 10
122　共享內(nèi)存系統(tǒng) 11
123　并行程序設(shè)計(jì)需考慮的因素 13
13　HPC動(dòng)態(tài)和排名 15
14　附加練習(xí) 17
第2章　理論背景 19
21　PRAM 20
211　PRAM變體 21
212　PRAM上的并行前綴計(jì)算 22
213　PRAM上稀疏數(shù)組的壓縮算法 24
22　網(wǎng)絡(luò)拓?fù)?25
23　Amdahl定律和Gustafson定律 29
24　Foster的并行算法設(shè)計(jì)方法學(xué) 34
25　附加練習(xí) 37
參考文獻(xiàn) 40
第3章　現(xiàn)代體系結(jié)構(gòu) 41
31　存儲(chǔ)層次 42
311　馮·諾依曼瓶頸 42
312　高速緩沖存儲(chǔ)器 43
313　緩存算法 44
314　優(yōu)化緩存訪問(wèn) 45
315　高速緩存一致性 48
316　虛假共享 50
317　并發(fā)多線程技術(shù)和預(yù)取技術(shù) 50
318　展望 51
32　并行性的層次 51
321　Flynn分類法 51
322　SIMD概念 53
323　通用微處理器上的向量化 54
324　結(jié)構(gòu)體數(shù)組和數(shù)組結(jié)構(gòu)體 57
325　展望 63
33　附加練習(xí) 63
參考文獻(xiàn) 67
第4章　C++多線程編程 68
41　多線程編程簡(jiǎn)介 69
411　多線程編程和多進(jìn)程編程的區(qū)別 69
412　派生和并入線程 69
413　我們的第一個(gè)多線程程序 71
42　處理返回值 73
421　傳統(tǒng)方法 74
422　使用promise和future的現(xiàn)代方法 75
423　異步方式 80
43　基于靜態(tài)分發(fā)的調(diào)度機(jī)制 82
431　串行程序 83
432　線程的區(qū)塊分發(fā) 87
433　線程的循環(huán)分發(fā) 90
434　虛假共享 91
435　線程的塊循環(huán)分發(fā) 93
44　處理負(fù)載不平衡 95
441　靜態(tài)調(diào)度 99
442　動(dòng)態(tài)塊循環(huán)分發(fā) 101
45　用條件變量通知線程 104
451　為一個(gè)睡覺(jué)的學(xué)生建模 105
452　使用條件變量 107
453　使用future和promise單發(fā)同步 108
46　隱式可數(shù)集合上的并行化 110
461　隱式可數(shù)集合 111
462　線程池用例 112
463　一個(gè)簡(jiǎn)單線程池的實(shí)現(xiàn) 114
47　附加練習(xí) 119
參考文獻(xiàn) 121
第5章　高級(jí)C++11多線程編程 122
51　無(wú)鎖編程 122
511　原子計(jì)數(shù) 123
512　非基本原子數(shù)據(jù)類型 124
513　利用比較交換以原子方式并行化最大值歸約 126
514　任意原子操作 129
515　ABA問(wèn)題 132
52　工作共享線程池 133
521　工作共享線程池的用例 133
522　工作共享的實(shí)現(xiàn) 135
53　并行圖搜索 137
531　二元背包問(wèn)題 138
532　串行實(shí)現(xiàn) 139
533　并行實(shí)現(xiàn) 144
54　展望 146
55　附加練習(xí) 148
參考文獻(xiàn) 149
第6章　OpenMP 150
61　OpenMP簡(jiǎn)介 151
611　OpenMP簡(jiǎn)史 151
612　基礎(chǔ) 151
62　parallel for制導(dǎo)語(yǔ)句 153
621　向量加法 154
622　變量共享和私有化 157
623　矩陣向量乘法 160
63　基本的并行歸約 162
631　最近鄰分類 162
632　手寫(xiě)數(shù)字?jǐn)?shù)據(jù)集MNIST 163
633　完全配對(duì)距離計(jì)算的理論視角 164
634　完全配對(duì)計(jì)算的實(shí)現(xiàn) 165
635　并行標(biāo)簽預(yù)測(cè) 168
636　性能評(píng)測(cè) 169
64　不平衡循環(huán)調(diào)度 171
641　對(duì)稱性引起的負(fù)載失衡 172
642　內(nèi)積計(jì)算實(shí)現(xiàn) 173
643　性能評(píng)測(cè) 174
65　高級(jí)歸約 175
651　MNIST數(shù)據(jù)集上的SOFTMAX回歸分類器 175
652　定制歸約操作符 183
653　OpenMP高級(jí)歸約 187
66　任務(wù)并行 189
661　樹(shù)遍歷 190
662　循環(huán)中生成任務(wù) 193
67　SIMD向量化 193
671　數(shù)據(jù)依賴 195
672　向量化感知函數(shù) 196
68　展望 196
69　附加練習(xí) 197
參考文獻(xiàn) 202
第7章　統(tǒng)一計(jì)算設(shè)備架構(gòu) 203
71　CUDA簡(jiǎn)介 204
72　支持CUDA的GPU硬件架構(gòu) 206
721　主機(jī)與設(shè)備之間的互連 206
722　顯存和峰值寬度 207
723　計(jì)算資源的組織 207
73　內(nèi)存訪問(wèn)模式 211
731　均值名人臉的計(jì)算 212
732　計(jì)算中心化的數(shù)據(jù)矩陣 218
733　計(jì)算協(xié)方差矩陣 221
734　計(jì)算特征臉 229
74　內(nèi)存層次結(jié)構(gòu) 232
741　問(wèn)題簡(jiǎn)介 233
742　串行DTW的線性內(nèi)存算法 237
743　線性內(nèi)存DTW的一個(gè)初始CUDA移植 243
744　共享內(nèi)存中的波前松弛 248
745　并發(fā)調(diào)度和bank沖突 253
746　紋理內(nèi)存和常量?jī)?nèi)存 254
75　優(yōu)化準(zhǔn)則 257
76　附加練習(xí) 258
參考文獻(xiàn) 259
第8章　高級(jí)CUDA編程 261
81　warp內(nèi)聯(lián)函數(shù)和原子操作 261
811　分段并行歸約 262
812　全局并行歸約 265
813　任意原子操作 267
814　展望 269
82　利用多塊GPU和流 269
821　牛頓迭代 269
822　利用多塊GPU 272
823　通信和計(jì)算交叉 274
824　多塊GPU上的流式計(jì)算 278
83　展望 280
831　統(tǒng)一內(nèi)存 280
832　動(dòng)態(tài)并行性 281
833　協(xié)作組 281
834　張量核心 281
835　GPU集群上的分布式計(jì)算 282
84　附加練習(xí) 282
參考文獻(xiàn) 284
第9章　MPI 286
91　MPI簡(jiǎn)介 286
92　基本概念 288
93　點(diǎn)到點(diǎn)通信 289
94　非阻塞通信 292
9