大數(shù)據(jù)技術及行業(yè)應用

第1章 大數(shù)據(jù)相關概念
1．1 什么是大數(shù)據(jù)?
1．2 大數(shù)據(jù)有多大?
1．3 大數(shù)據(jù)是一種思維方式
1．4 大數(shù)據(jù)思維的應用案例
1．5 大數(shù)據(jù)是如何產(chǎn)生的?
1．6 美國和中國的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)系統(tǒng)
1．7 如何學習大數(shù)據(jù)技術
本章小結
參考文獻
第2章 搭建私有大數(shù)據(jù)處理平臺
2．1 FreeBSD操作系統(tǒng)安裝
2．2 基礎軟件安裝
2．2．1 安裝Java運行環(huán)境
2．2．2 安裝bash
2．3 Hadoop安裝配置
2．3．1 系統(tǒng)規(guī)劃
2．3．2 配置conf／masters、con．f／slaves文件
2．3．3 Hadoop安裝
2．4 Hadoop開發(fā)環(huán)境配置
2．4．1 編譯Hadoop-eclipse-plugin-1．1．2．jar插件
2．4．2 eclipse配置
2．4．3 測試
2．5 Hadoop升級
2．6 Zookeeper安裝
2．6．1 在FreeBSD上安裝Zookeeper
2．6．2 啟動并測試Zookeeper
2．7 HBase安裝配置
2．8 FreeBSD上網(wǎng)配置
2．8．1 VPN上網(wǎng)配置
2．8．2 網(wǎng)頁認證上網(wǎng)配置
2．9 配置殺毒軟件
本章小結
第3章 大數(shù)據(jù)平臺虛擬化解決方案
3．1 Ubuntu上安裝Docker
3．1．1 Docker簡介
3．1．2 Docker安裝
3．1．3 Docker鏡像相關命令
3．1．4 Docker容器相關命令
3．1．5 Dockerfile創(chuàng)建鏡像
3．1．6 Docker實現(xiàn)Spark集群
3．1．7 Docker集中化Web界面管理平臺shipyard
3．1．8 DockerUI
3．2 OpenStack搭建
3．2．1 下載工具和鏡像
3．2．2 配置網(wǎng)橋
3．2．3 安裝fuel
3．2．4 安裝OpenStack平臺
3．2．5 使用OpenStack平臺
本章小結
參考文獻
第4章 大數(shù)據(jù)平臺解決方案
4．1 大數(shù)據(jù)平臺比較
4．2 CDH大數(shù)據(jù)平臺搭建
4．2．1 Cloudera Manager安裝
4．2．2 添加服務
4．3 HDP大數(shù)據(jù)平臺搭建
4．3．1 部署Ambari
4．3．2 用Amban_web部署HDP平臺
本章小結
第5章 Spark在大數(shù)據(jù)處理中的應用
5．1 Spark集群搭建
5．1．1 Scala在Ubuntu下的安裝和配置
5．1．2 Spark集群搭建
5．1．3 Spark集群啟動測試
5．2 Spark-shell統(tǒng)計社交網(wǎng)絡中節(jié)點的度
5．2．1 啟動HDFS和Spark
5．2．2 運行Spark-shell
5．2．3 統(tǒng)計社交網(wǎng)絡中節(jié)點的度
5．3 Spark GraphX
5．3．1 屬性圖
5．3．2 圖操作
5．3．3 構建圖
5．3．4 圖計算相關算法
5．3．5 GraphX圖計算實例
本章小結
參考文獻
第6章 大數(shù)據(jù)技術在環(huán)境科學中的應用
6．1 大氣環(huán)境科學的數(shù)值模式的介紹
6．1．1 氣象模式
6．1．2 區(qū)域空氣質量模式
6．2 高分辨率實時觀測的大數(shù)據(jù)
本章小結
參考文獻
第7章 大數(shù)據(jù)在DrugBank藥物數(shù)據(jù)庫聚類方面的應用
7．1 簡介
7．2 開發(fā)環(huán)境及編程語言
7．3 算法設計
7．3．1 算法設計流程
7．3．2 相似度的計算
7．4 算法實現(xiàn)
7．4．1 文件的解析
7．4．2 對靶標、作用酶的分析
7．4．3 對分子中原子百分比的處理過程
7．4．4 結果的整合
7．4．5 最終結果展示
本章小結
參考文獻
第8章 大數(shù)據(jù)在電子商務數(shù)據(jù)分析中的應用
8．1 研究現(xiàn)狀
8．2 相關技術及概念
8．2．1 網(wǎng)絡爬蟲
8．2．2 HtmlUnit工具包
8．2．3 Mahout
8．2．4 樸素貝葉斯算法
8．2．5 文檔向量
8．2．6 TF-IDF改進加權
8．2．7 中文分詞
8．3 需求分析
8．3．1 系統(tǒng)功能
8．3．2 系統(tǒng)界面
8．4 概要設計
8．4．1 系統(tǒng)模塊設計
8．4．2 數(shù)據(jù)庫設計
8．5 詳細設計
8．5．1 用戶登錄模塊
8．5．2 爬蟲管理模塊
8．5．3 算法管理模塊
8．5．4 用戶管理模塊
8．6 系統(tǒng)測試
8．6．1 訓練集準備
8．6．2 新數(shù)據(jù)準備
8．6．3 訓練模型
8．6．4 數(shù)據(jù)分類
8．6．5 分類結果分析
本章小結
參考文獻
第9章 大數(shù)據(jù)技術在社交網(wǎng)絡研究中的應用
9．1 社區(qū)發(fā)現(xiàn)研究簡介
9．2 社區(qū)發(fā)現(xiàn)相關研究工作
9．2．1 相關工作
9．2．2 研究動機
9．3 模型與問題的形式化
9．3．1 社區(qū)森林模型
9．3．2 問題形式化
9．4 骨干度算法
9．4．1 骨干度算法框架
9．4．2 算法的時間復雜度
9．4．3 算法比較
9．5 實驗分析
9．5．1 數(shù)據(jù)集
9．5．2 一個特定人際關系網(wǎng)絡的測試
9．5．3 Zachary的空手道俱樂部測試
9．5．4 美國大學橄欖球隊
9．5．5 安然電子郵件公司數(shù)據(jù)集
9．5．6 DBLP合作網(wǎng)絡
9．5．7 結論
本章小結
參考文獻
第10章 大數(shù)據(jù)技術在文本挖掘和情感分類中的應用
10．1 研究綜述
lO．1．1 基于產(chǎn)品特征的觀點挖掘研究
10．1．2 產(chǎn)品評論結構化信息抽取方法
10．1．3 評論信息分類相關研究方法
10．2 評論文本的結構化信息抽取
10．2．1 產(chǎn)品特征抽取
10．2．2 基于關聯(lián)規(guī)則抽取評論的隱式特征
10．2．3 基于監(jiān)督學習抽取評論的隱式特征
10．3 情感分類研究綜述
10．3．1 基于詞典與語言規(guī)則進行情感分類
10．3．2 觀點挖掘結果歸納
10．4 算法評估結果與分析
10．4．1 隱式特征抽取實驗結果及分析
10．4．2 篇章 粒度情感分類實驗結果及分析
10．4．3 語句粒度情感分類實驗結果及分析
本章小結
參考文獻
第11章 大數(shù)據(jù)技術在電力系統(tǒng)中的應用
11．1 一種云可視化機網(wǎng)協(xié)調控制響應特性數(shù)據(jù)挖掘方法
11．1．1 技術領域
11．1．2 背景技術
11．1．3 方案內(nèi)容
11．2 基于電力數(shù)據(jù)分析的河北南網(wǎng)電力市場化風險對沖方法
11．2．1 電網(wǎng)對發(fā)電側市場化風險對沖分析
11．2．2 電網(wǎng)對用電側市場化風險對沖分析
11．2．3 基于方差偏離規(guī)律的統(tǒng)計套利對沖方法
本章小結
附錄 FreeBSD操作系統(tǒng)安裝