|
培訓內容
通過(guò)講師在課堂上的講解,以及實(shí)操練習,學(xué)員將學(xué)習以下內容:
• 在 Hadoop 機群上進(jìn)行分布式存儲和處理數據。
• 通在 Hadoop 機群上編寫(xiě)、配置和部署 Apache Spark 應用。
• 使用 Spark shell 進(jìn)行交互式數據分析。
• 使用 Spark SQL 查詢(xún)處理結構化數據。
• 使用 Spark Streaming 處理流式數據。
• 使用 Flume 和 Kafka 為 Spark Streaming 采集流式數據。
培訓對象及學(xué)員基礎
本課程適合于具有編程經(jīng)驗的開(kāi)發(fā)員及工程師。無(wú)需 Apache Hadoop 基礎
• 培訓內容中對 Apache Spark 的介紹所涉及的代碼及練習使用 Scala 和 Python,因此需至少掌握這兩個(gè)編程語(yǔ)言中的一種。
• 需熟練掌握 Linux 命令行。
• 對 SQL 有基本了解。
建議參加完該課程的學(xué)員考取CCA Spark and Hadoop全球認證證書(shū),證書(shū)全球通用。
證書(shū)可作為專(zhuān)業(yè)技術(shù)人員職業(yè)能力考核的證明,以及專(zhuān)業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據。
時(shí)間地點(diǎn)及聯(lián)系方式
北京市海淀區中關(guān)村創(chuàng )業(yè)大街 11月15-18日
Q1438118790; TEL4006-01-6012
課程大綱
第一天
Hadoop 及生態(tài)系統介紹
• Apache Hadoop 概述 • 數據存儲和攝取 • 數據處理 • 數據分析和探索 • 其他生態(tài)系統工具 • 練習環(huán)境及分析應用場(chǎng)景介紹
Apache Hadoop 文件存儲
• 傳統大規模系統的問(wèn)題 • HDFS 體系結構 • 使用 HDFS • Apache Hadoop 文件格式
Apache Hadoop 機群上的數據處理
• YARN 體系結構 • 使用 YARN
使用 Apache Sqoop 導入關(guān)系數據
• Sqoop 簡(jiǎn)介 • 數據導入 • 導入的文件選項 • 數據導出
Apache Spark 基礎
• 什么是 Apache Spark • 使用 Spark Shell • RDDs( 可恢復的分布式數據集) • Spark 里的函數式編程
第二天
Spark RDD
• 創(chuàng )建 RDD • 其他一般性 RDD 操作
使用鍵值對 RDD
• 鍵值對 RDD • MapReduce • 其他鍵值對 RDD 操作
編寫(xiě)和運行 Apache Spark 應用
• Spark 應用對比 Spark Shell • 創(chuàng )建 SparkContext • 創(chuàng )建 Spark 應用(Scala 和 Java) • 運行 Spark 應用 • Spark應用 WebUI
配置 Apache Spark 應用
• 配置 Spark 屬性 • 運行日志
Apache Spark 的并行處理
• 回顧:機群環(huán)境里的 Spark • RDD 分區 • 基于文件 RDD 的分區 • HDFS 和本地化數據 • 執行并行操作 • 執行階段及任務(wù)
Spark 持久化
• RDD 演變族譜 • RDD 持久化簡(jiǎn)介 • 分布式持久化
第三天
Apache Spark 數據處理的常見(jiàn)模式
• 常見(jiàn) Spark 應用案例 • 迭代式算法 • 機器學(xué)習 • 例子:K - Means
DataFrames 和 Spark SQL
• Apache Spark SQL 和 SQL Context • 創(chuàng )建 DataFrames • 變更及查詢(xún) DataFrames • 保存 DataFrames • DataFrames 和 RDD • Spark SQL 對比 Impala 和Hive-on-Spark • Spark 2.x 版本上的 Apache Spark SQL
Apache Kafka
• 什么是 Apache Kafka • Apache Kafka 概述 • 如何擴展 Apache Kafka • Apache Kafka 機群架構 • Apache Kafka 命令行工具
使用 Apache Flume 采集實(shí)時(shí)數據
• 什么是 Apache Flume • Flume 基本體系結構 • Flume 源 • Flume 槽 • Flume 通道 • Flume 配置
第四天
集成 Apache Flume 和 Apache Kafka
• 概要 • 應用案例 • 配置
Apache Spark Streaming:DStreams 介紹
• Apache Spark Streaming 概述 • 例子:Streaming 訪(fǎng)問(wèn)計數 • DStreams • 開(kāi)發(fā) Streaming 應用
Apache Spark Streaming:批處理
• 批處理操作 • 時(shí)間分片 • 狀態(tài)操作 • 滑動(dòng)窗口操作
Apache Spark Streaming:數據源
• Streaming 數據源概述 • Apache Flume 和Apache Kafka 數據源 • 例子:使用 Direct 模式連接 Kafka • 數據源
|
|