spark3.0教程:RDD行动算子saveAsSequenceFile

说明

将 RDD(必须是 key-value类型 ) 的 数据 以 Hadoop 序列化 的方式,保存到 文件 中,每个分区保存一个文件,分区索引从 00000 开始

声明

def saveAsSequenceFile(
      path: String,
      codec: Option[Class[_ <: CompressionCodec]] = None): Unit

例子

val sparConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
val sc = new SparkContext(sparConf)

val rdd:RDD[(String,Int)] = sc.makeRDD( List( ("李雷",10),("韩梅梅",2),("lucy",13) ),2 )

rdd.saveAsSequenceFile("res3")
sc.stop()

原文出处:/show_1IX1O3Eg7xuT.html