spark3.0教程-SparkSQL:write.csv()保存csv文件

说明

通过 DataFrame 的 .write.csv("文件夹路径") 方法,可以将数据保存到 csv格式文件中

例子

将查询结果保存为 csv 格式文件

package read

import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}

object Std_write_csv {
  def main(args: Array[String]): Unit = {
    val sc = new SparkConf().setMaster("local[*]").setAppName("std")
    val spark = SparkSession.builder().config(sc).getOrCreate()

    val df: DataFrame = spark.read
      .option("header", "false") //默认为false,表示第一行不是表头
      .option("sep", ",") //列分隔符
      .csv("cdz.txt") //加载csv文件
      .toDF("id","ele_num","time","start_time","end_time")

    val res: DataFrame = df.select("id", "ele_num")
    res.write.csv("res_csv")
    spark.close()
  }
}

原文出处:/show_1IX4KK4C0d56.html