Spark框架深入剖析高清视频教程百度云

Spark框架深入剖析高清视频教程百度云

大数据2019-08-11 10:346210bw

视频截图:

视频目录:

第1章 Spark核心编程

1.1、Spark基本工作原理与RDD-1

1.2、Spark基本工作原理与RDD-2

1.3、使用Java开发本地测试的wordcount程序-1

1.4、使用Java开发本地测试的wordcount程序-2

1.5、将java开发的wordcount程序提交到spark集群上运行

1.6、使用scala开发wordcount程序

1.7、使用spark-shell开发wordcount程序

1.8、Spark UI补充说明

1.9、spark-submit中的--master选项的补充说明(重要,必看!)

1.10、wordcount程序原理深度剖析

1.11、Spark架构原理

1.12、创建RDD(集合、本地文件、HDFS文件)-1

1.13、创建RDD(集合、本地文件、HDFS文件)-2

1.14、transformation和action讲解与原理剖析

1.15、案例:统计每行出现的次数(操作key-value对)

1.16、常用transformation和action操作概览

1.17、map案例实战:将集合中的数字乘以2

1.18、filter案例实战:过滤集合中的偶数

1.19、flatMap案例实战:将文本行拆分为单词

1.20、groupByKey案例实战:将每个班级的成绩进行分组

1.21、reduceByKey案例实战:统计每个班级的总分

1.22、sortByKey案例实战:按照学生成绩进行排序

1.23、join和cogroup案例实战:打印学生成绩

1.24、action操作开发实战

1.25、RDD持久化详解

1.26、共享变量(Broadcast Variable和Accumulator)

1.27、高级编程之基于排序机制的wordcount程序

1.28、使用Java实现二次排序

1.29、使用Scala实现二次排序

1.30、获取文本内最大的前3个数字

1.31、获取每个班级排名前3的成绩(分组取topn)

第2章 Spark内核源码深度剖析

2.1、Spark内核架构深度剖析

2.2、宽依赖与窄依赖深度剖析

2.3、基于Yarn的两种提交模式深度剖析

2.4、基于yarn的提交模式的spark-env.sh配置补充

2.5、SparkContext原理剖析

2.6、SparkContext源码分析

2.7、Master主备切换机制原理剖析与源码分析

2.8、Master注册机制原理剖析与源码分析

2.9、Master状态改变处理机制原理剖析与源码分析

2.10、Master资源调度算法原理剖析与源码分析

2.11、Worker原理剖析与源码分析-1

2.12、Worker原理剖析与源码分析-2

2.13、job触发流程原理剖析与源码分析

2.14、stage划分算法原理剖析

2.15、DAGScheduler源码分析(stage划分算法、task最佳位置计算算法)

2.16、TaskScheduler原理剖析与源码分析

2.17、Executor原理剖析与源码分析

2.18、Task原理剖析

2.19、Task源码分析

2.20、普通Shuffle操作的原理剖析

2.21、优化后的Shuffle操作的原理剖析

2.22、Shuffle读写源码分析

2.23、BlockManager原理剖析

2.24、BlockManager源码分析-1

2.25、BlockManager源码分析-2

2.26、CacheManager原理剖析

2.27、CacheManager源码分析

2.28、Checkpoint原理剖析

第3章 Spark性能优化

3.1、性能优化概览

3.2、诊断内存的消耗

3.3、高性能序列化类库

3.4、优化数据结构

3.5、对多次使用的RDD进行持久化或Checkpoint

3.6、使用序列化的持久化级别

3.7、Java虚拟机垃圾回收调优

3.8、提高并行度

3.9、广播共享数据

3.10、数据本地化

3.11、reduceByKey和groupByKey

3.12、shuffle性能优化

下载地址:

下方评论,留邮箱获取下载地址!


注意:上述资料全部来源于互联网,仅供学习使用,如有侵权,请及时联系,博主会立刻删除。


资料搜集自互联网,转载请标注来源:吾就爱学习网【www.592xuexi.com】

吾就爱学习网 Copyright © 
Copyright © 2019 吾就爱学习网  All Rights Reserved. 备案号:京ICP备19019479号-2

免责声明:本网站上的所有资料均整理于互联网,方便广大网友学习使用。如果有内容侵犯到了您的权益,请及时联系,博主会立刻删除!
站内所有资源仅供学习与参考,请勿用于任何商业用途,否则产生的一切后果将由您自己承担!
Spark框架深入剖析高清视频教程百度云 联系我们| 关于我们