说明

将数据集中重复的数据移除，相当于 scala 集合中的 distinct，sql语句中的 distinct

例子

val sparConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
val sc = new SparkContext(sparConf)

val rdd:RDD[Int] = sc.makeRDD(List(1,1,2,2,2,3,3,4,5))

val resRDD: RDD[Int] = rdd.distinct()

resRDD.foreach(println)
sc.stop()

原文出处：/show_1IX1KSRgXGX2.html