课程介绍:
1.本视频面向拥有Java语言基础的同学,以Java语言为蓝本,深入浅出的讲解scala语言的语法和特征,并应用scala语言,讲解spark生态系统下的大数据开发技术。
2.视频讲解与实例练习相结合,通过看视频也能保证知识得到充分的实践,知识掌握更牢靠。
3.语言部分由浅入深,在掌握函数式编程和面向对象的基础上能够掌握高阶函数编程(作为值的函数、柯里化、隐式值、隐式转换),使得学生可以胜任项目中的开发之外,还可以读懂Spark源码,为以后研究Spark架构和自己编写架构奠定扎实的基础。
4.在综合案例实现过程中,通过使用Akka通信模型实现RPC远程通信框架,这样既可以深入了解Spark的通信机制,又提升了Scala语言的开发技能。
5.通过学习scala语言部分的课程,学生能够具备一名中级scala开发工程师水平。
6.本视频,系统全面的讲解Spark环境的搭建以及与Hadoop生态圈的衔接。
7.在Scala语言的基础上,深入理解Spark常用算子和高级算子的使用场景,使得学生在以后的开发过程中能够灵活运用Spark核心技术。
8.讲解Spark生态,开发与性能调优双管齐下,分享企业中实战技能,学生学习更全面,更实际。
9.深入讲解Spark源码和Spark框架,从内到外,挖掘Spark的五脏六腑,做到深入,再深入。学生可以从原理,从基石上了解Spark生态的方方面面。
课程目录:
1.Scala语言环境安装、Scala的基本语法
2.常用方法练习
3.面向对象、模式匹配
4.Actor、柯里化、隐式转换
5.泛型、Akka
6.Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务
7.RDD的基本概念、常用算子练习
8.案例练习
9.Spark集群启动流程和任务提交流程、案例练习
10.RDD的依赖关系、Stage划分、任务的生成、自定义排序
11.Day11 Checkpoint、SparkSQL、Hive-On-Spark
12.SparkStreaming、窗口操作、Spark-On-Yarn
13.源码分析:Spark启动流程、Stage划分、任务生成、任务提交流程
2、出于传递信息之目的,故百万资源网可能会误刊发损害或影响您的合法权益,请您积极与我们联系处理(所有内容不代表本站观点与立场);
3、因时间、精力有限,我们无法一一核实每一条消息的真实性,但我们会在发布之前尽最大努力来核实这些信息;
4、无论出于何种目的要求本站删除内容,您均需要提供根据国家版权局发布的示范格式 《要求删除或断开链接侵权网络内容的通知》:https://www.bw1.net/banquan/sfgs.pdf, 国家知识产权局《要求删除或断开链接侵权网络内容的通知》填写说明: http://www.ncac.gov.cn/chinacopyright/contents/12227/342400.shtml 未按照国家知识产权局格式通知一律不予处理;请按照此通知格式填写发至本站的邮箱 master@bw1.net
请登录后发表评论
注册