说明
相当于scala的 reduce() 操作,聚合 RDD 中的所有元素,先聚合 分区内 数据,再聚合 分区间 数据
声明
def reduce(f: (T, T) => T): T
形参:
- f: (T, T) => T:传入函数 或 lambda表达式
返回值:聚合结果,类型与 RDD内数据类型相同
例子
实现累加操作:
val sparConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
val sc = new SparkContext(sparConf)
val rdd:RDD[Int] = sc.makeRDD( List( 1,2,3,4,5,6 ),2 )
val res:Int=rdd.reduce(_ + _)
println(res)
sc.stop()
解释如下图:

