spark3.0教程:RDD行动算子reduce()

说明

相当于scala的 reduce() 操作,聚合 RDD 中的所有元素,先聚合 分区内 数据,再聚合 分区间 数据

声明

def reduce(f: (T, T) => T): T

形参:

  • f: (T, T) => T:传入函数 或 lambda表达式

返回值:聚合结果,类型与 RDD内数据类型相同

例子

实现累加操作:

val sparConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
val sc = new SparkContext(sparConf)

val rdd:RDD[Int] = sc.makeRDD( List( 1,2,3,4,5,6 ),2 )

val res:Int=rdd.reduce(_ + _)
println(res)
sc.stop()

解释如下图:


原文出处:/show_1IX1Nz2Jznqz.html