Spark最佳實踐 pdf掃描版

Spark最佳實踐是一本Spark的戰(zhàn)指南，由騰訊著名研發(fā)者陳歡和林世飛共同編著，全書基于真實數(shù)據(jù)，用案例分析全面解讀大數(shù)據(jù)應(yīng)用設(shè)計，采用了由淺入深的寫作手法，前面主要講解了Spark的部署、工作機(jī)制和內(nèi)核，后又通過實戰(zhàn)項目來介紹Spark SQL、Spark streaming 功能模塊，一步步的教你如何快速掌握使用Spark，并且本書還附有大量的實戰(zhàn)問題，非常大數(shù)據(jù)開發(fā)和運維人員下載學(xué)習(xí)參考。

內(nèi)容介紹

Spark最佳實踐全書共分8章。前4章介紹Spark的部署、工作機(jī)制和內(nèi)核，全書的重點在第5章到第8章，每章不但深入淺出的介紹Spark的一個功能模塊，而且還包含了實戰(zhàn)項目。后4章分別通過實戰(zhàn)項目介紹SparkSQL、SparkStreaming、SparkGraphX和SparkMLib功能模塊。此外，本書詳細(xì)介紹了常見的實戰(zhàn)問題，比如大數(shù)據(jù)環(huán)境下的配置設(shè)置、程序調(diào)優(yōu)等。本書附帶的一鍵安裝腳本，更能為初學(xué)者提供很大幫助。

作者簡介

陳歡，騰訊杰出程序員，15年編碼經(jīng)驗，曾任職網(wǎng)絡(luò)安全、互聯(lián)網(wǎng)金融等部門，親手從零建設(shè)了財付通業(yè)務(wù)的Spark集群，并使之同時支持SQL、實時計算、機(jī)器學(xué)習(xí)等多種數(shù)據(jù)計算場景。他目前就職于騰訊社交與效果廣告部，從事大數(shù)據(jù)分析工作。

林世飛，騰訊杰出研究員，2005年加入騰訊，先后在無線產(chǎn)品、安全中心、搜索平臺、開放平臺、社交與效果廣告部等部門從事開發(fā)和團(tuán)隊管理工作。他對網(wǎng)絡(luò)安全、搜索引擎、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)有一定了解，熱衷知識傳播和分享，曾獲騰訊學(xué)院2009年年度杰出講師。目前，他就職于社交與效果廣告部，負(fù)責(zé)廣告系統(tǒng)相關(guān)的研發(fā)工作。

Spark最佳實踐章節(jié)目錄

第1 章 Spark 與大數(shù)據(jù) 1
1．1　大數(shù)據(jù)的發(fā)展及現(xiàn)狀　1
1．1．1　大數(shù)據(jù)時代所面臨的問題　1
1．1．2　谷歌的大數(shù)據(jù)解決方案　2
1．1．3　Hadoop 生態(tài)系統(tǒng)　3
1．2　Spark 應(yīng)時而生　4
1．2．1　Spark 的起源　4
1．2．2　Spark 的特點　5
1．2．3　Spark 的未來發(fā)展　6
第2　章 Spark 基礎(chǔ)　8
2．1　Spark 本地單機(jī)模式體驗　8
2．1．1　安裝虛擬機(jī)　8
2．1．2　安裝JDK　19
2．1．3　下載Spark 預(yù)編譯包　21
2．1．4　本地體驗Spark　22
2．2　高可用Spark 分布式集群部署　25
2．2．1　集群總覽　26
2．2．2　集群機(jī)器的型號選擇　28
2．2．3　初始化集群機(jī)器環(huán)境　29
2．2．4　部署ZooKeeper 集群　33
2．2．5　編譯Spark　35
2．2．6　部署Spark Standalone 集群　37
2．2．7　高可用Hadoop 集群　40
2．2．8　讓Spark 運行在YARN 上　40
2．2．9　一鍵部署高可用Hadoop +
Spark　集群　42
2．3　Spark 編程指南　43
2．3．1　交互式編程　43
2．3．2　RDD 創(chuàng)建　44
2．3．3　RDD 操作　47
2．3．4　使用其他語言開發(fā)Spark 程序　54
2．4　打包和提交　54
2．4．1　編譯、鏈接、打包　54
2．4．2　提交　56
第3　章 Spark 工作機(jī)制　58
3．1　調(diào)度管理　58
3．1．1　集群概述及名詞解釋　58
3．1．2　Spark 程序之間的調(diào)度　60
3．1．3　Spark 程序內(nèi)部的調(diào)度　63
3．2　內(nèi)存管理　65
3．2．1　RDD 持久化　65
3．2．2　共享變量　66
3．3　容錯機(jī)制　67
3．3．1　容錯體系概述　67
3．3．2　Master 節(jié)點失效　68
3．3．3　Slave 節(jié)點失效　69
3．4　監(jiān)控管理　69
3．4．1　Web 界面　69
3．4．2　REST API　72
3．4．3　Metrics 指標(biāo)體系　73
3．4．4　其他監(jiān)控工具　73
3．5　Spark 程序配置管理　73
3．5．1　Spark 程序配置加載過程　74
3．5．2　環(huán)境變量配置　74
3．5．3　Spark 屬性項配置　74
3．5．4　查看當(dāng)前的配置　76
3．5．5　配置Spark 日志　76
第4　章 Spark 內(nèi)核講解　77
4．1　Spark 核心數(shù)據(jù)結(jié)構(gòu)RDD　77
4．1．1　RDD 的定義　78
4．1．2　RDD 的Transformation　80
4．1．3　RDD 的Action　82
4．1．4　Shuffle　83
4．2　SparkContext　84
4．2．1　SparkConf 配置　84
4．2．2　初始化過程　85
4．2．3　其他功能接口　87
4．3　DAG 調(diào)度　87
4．3．1　DAGScheduler　87
4．3．2　TaskScheduler　90
第5　章 Spark SQL 與數(shù)據(jù)倉庫　92
5．1　Spark SQL 基礎(chǔ)　93
5．1．1　分布式SQL 引擎　93
5．1．2　支持的SQL 語法　97
5．1．3　支持的數(shù)據(jù)類型　98
5．1．4　DataFrame　99
5．1．5　DataFrame 數(shù)據(jù)源　103
5．1．6　性能調(diào)優(yōu)　104
5．2　Spark SQL 原理和運行機(jī)制　104
5．2．1　Spark SQL 整體架構(gòu)　105
5．2．2　Catalyst 執(zhí)行優(yōu)化器　105
5．3　應(yīng)用場景：基于淘寶數(shù)據(jù)建立電商
數(shù)據(jù)倉庫　110
5．3．1　電商數(shù)據(jù)倉庫場景　111
5．3．2　數(shù)據(jù)準(zhǔn)備和表設(shè)計　111
5．3．3　用Spark SQL 來完成日常運營
數(shù)據(jù)分析　115
5．3．4　Spark SQL 在大規(guī)模數(shù)據(jù)下的
性能表現(xiàn)　120
第6　章 Spark 流式計算　122
6．1　Spark Streaming 基礎(chǔ)知識　123
6．1．1　入門簡單示例　123
6．1．2　基本概念　124
6．1．3　高級操作　129
6．2　深入理解Spark Streaming　132
6．2．1　DStream 的兩類操作　132
6．2．2　容錯處理　134
6．2．3　性能調(diào)優(yōu)　136
6．2．4　與Storm 的對比　137
6．3　應(yīng)用場景：一個類似百度統(tǒng)計的流式
實時系統(tǒng)　139
6．3．1　Web log 實時統(tǒng)計場景　139
6．3．2　日志實時采集　140
6．3．3　流式分析系統(tǒng)實現(xiàn)　140
第7　章 Spark 圖計算　149
7．1　什么是圖計算　149
7．1．1　圖的基本概念　149
7．1．2　圖計算的應(yīng)用　150
7．2　Spark GraphX 簡介　151
7．2．1　GraphX 實現(xiàn)　151
7．2．2　GraphX 常用API 介紹　152
7．3　應(yīng)用場景：基于新浪微博數(shù)據(jù)的社交
網(wǎng)絡(luò)分析　153
7．3．1　社交網(wǎng)絡(luò)分析的主要應(yīng)用　153
7．3．2　社區(qū)發(fā)現(xiàn)算法簡介　154
7．3．3　用GraphX 實現(xiàn)Louvain
算法　156
7．3．4　小試牛刀：誰是你的閨蜜　162
7．3．5　真實的場景：新浪微博關(guān)系
分析　164
第8　章 Spark MLlib　169
8．1　機(jī)器學(xué)習(xí)簡介　169
8．1．1　什么是機(jī)器學(xué)習(xí)　169
8．1．2　機(jī)器學(xué)習(xí)示例　171
8．1．3　機(jī)器學(xué)習(xí)的基本方法　172
8．1．4　機(jī)器學(xué)習(xí)的常見技巧　173
8．1．5　機(jī)器學(xué)習(xí)參考資料　174
8．2　MLlib 庫簡介　174
8．2．1　基礎(chǔ)數(shù)據(jù)類型　174
8．2．2　主要的庫　175
8．2．3　附帶的示例程序　176
8．3　應(yīng)用場景：搜索廣告點擊率
預(yù)估系統(tǒng)　178
8．3．1　應(yīng)用場景　178
8．3．2　邏輯回歸　179
8．3．3　學(xué)習(xí)算法　181
8．3．4　模型評估　184
8．3．5　數(shù)據(jù)準(zhǔn)備　186
8．3．6　模型訓(xùn)練　187
8．3．7　模型調(diào)優(yōu)　195
附錄　Scala 語言參考　197

使用說明

1、下載并解壓，得出pdf文件

2、如果打不開本文件，請務(wù)必下載pdf閱讀器

3、安裝后，在打開解壓得出的pdf文件

4、雙擊進(jìn)行閱讀