RDD初探

Posted on 2015-04-18 22:16 天边蓝 阅读(411) 评论(0)  编辑 收藏 引用
RDD初探 RDD(resilient distributed dataset )是Spark提出的一个创新性的概念,它提供了并行计算个阶段中数据的有效共享,弥补了MapReduce中的不足。与MapReduce单乏的Map和Reduce相比,在RDD上,Spark提供了丰富的操作,可以让程序开发人员利用RDD接口非常容易的编写出复杂的数据处理程序,先见见Spark版本的WordCount程序: 仅仅两行代码,相比MapReduce,是不是简洁了很多? 官网RDD的定义: Spark revolves around the concept of a resilient distributed dataset (RDD), which is a fault-tolerant collection of elements that can be operated on in parallel. There are two ways to create RDDs: parallelizing an existing collection in your driver program, or referencing a dataset in an external storage system, such as a shared filesystem, HDFS, HBase, or any data source offering a Hadoop InputFormat. RDD的特性: 1.分区的数据集 2.只读的数据集 3.只能从driver程序中已有的集合或外部存储进行创建 4.容错的,失败自动的快速重建 分区 分区,RDD是一个分区的数据集,其分区的多少决定着对这个RDD进行并行计算的粒度,在Spark中,每一个分区的计算在一个单独的任务中执行。对RDD的分区而言,用户可以指定其分区的数目;如果没有,系统将会使用默认值,默认情况下,其分区数为这个程序所分配到的资源的CPU核的数目;如, 指定分区数: 默认分区数: 位置优先 在Spark中,秉性着这么一种思想,“移动数据不如移动计算”,在Spark任务调度的时候,总是尽可能的将任务分配到数据块存储的位置。如,对HDFS文件生成的RDD,preferredLocation接口返回其每块数据所在的机器名或IP,在后续的任务调度中,调度器将尽可能的将计算任务分配到数据存储的位置,如: RDD依赖关系 可以说,RDD依赖关系是Spark任务调度最根本的依据。 在RDD的转换过程中,每次转换都会生成一个新的RDD,在用户程序中,对于某个RDD往往会有一系列的复杂的转换,这样,就形成了一条类似流水线样的前后依赖关系。 在Spark中,存在两种类型的依赖,即窄依赖和宽依赖; 窄依赖:父RDD的每一个分区只被子RDD的一个分区所使用,如:map、filter等; 宽依赖:父RDD的每一个分区只被子RDD的多个分区所使用,如:groupbyKey等; 区分两种依赖的原因: 1.窄依赖可以在集群的一个节点上如流水一般的执行,无需物化很多无用的中间RDD,大大提升了计算性能; 2.窄依赖对于节点计算失败后的恢复会更加有效,只要重新计算其对应父RDD的相应分区即可; RDD操作 RDD支持两种操作 Transformations:从一个已存的RDD生成一个新的RDD,如map操作 Action:执行一次计算并将相应的计算结果返回值driver程序,如reduce 在Spark中,所有的Transformation都是惰性的,他们只会记录其相应的依赖关系,而不会马上计算其结果,只有在action要求计算结果时才会实际计算RDD的值。 Spark提供了丰富的RDD操作,详细参考 http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD RDD的持久化 在Spark中,还有一个最重要的特性就是RDD的持久化。当你对一个RDD进行持久化操作时,spark会将该RDD的每个分区的第一次计算结果保存在相应的存储介质中。之后对该RDD的访问可以直接访问其存储的结果,这样我们可以将一些访问比较频繁的RDD进行持久化到内存中来,加快程序的处理时间(官网提供的数据时通常会加快速度10倍以上) RDD的持久化通过persist() 和 cache() 方法实现;

只有注册用户登录后才能发表评论。
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理


Copyright © 天边蓝