大数据spark基础教程

  • 名称:大数据spark基础教程
  • 分类:数据库  
  • 观看人数:加载中
  • 时间:2018/3/15 20:45:37
 大数据终将主宰经济社会,消除个体差异,成就一元化的经济体系。网络经济时代,人们在经济社会中的诸种活动通过网络账户体系来实现,这些活动也就是所谓的网络账户活动,其基本内容更多地体现为账户间的关系。这些账户活动及其账户关系是由数字网络程序所设定的、驱动的,且被实时地记录下来。这就形成了所谓的“大数据”。因此,大数据来源于大量的网络账户的活动及其有效的记录,简言之,大数据是网络账户数据。
所谓大数据,麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围 的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据需要特殊的技术,以有效地处理大 量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
1.本视频面向拥有Java语言基础的同学,以Java语言为蓝本,深入浅出的讲解scala语言的语法和特征,并应用scala语言,讲解spark生态系统下的大数据开发技术。
2.视频讲解与实例练习相结合,通过看视频也能保证知识得到充分的实践,知识掌握更牢靠。
3.语言部分由浅入深,在掌握函数式编程和面向对象的基础上能够掌握高阶函数编程(作为值的函数、柯里化、隐式值、隐式转换),使得学生可以胜任项目中的开发之外,还可以读懂Spark源码,为以后研究Spark架构和自己编写架构奠定扎实的基础。
4.在综合案例实现过程中,通过使用Akka通信模型实现RPC远程通信框架,这样既可以深入了解Spark的通信机制,又提升了Scala语言的开发技能。