说明
通过 DataFrame 的 .write.csv("文件夹路径") 方法,可以将数据保存到 csv格式文件中
例子
将查询结果保存为 csv 格式文件
package read
import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}
object Std_write_csv {
def main(args: Array[String]): Unit = {
val sc = new SparkConf().setMaster("local[*]").setAppName("std")
val spark = SparkSession.builder().config(sc).getOrCreate()
val df: DataFrame = spark.read
.option("header", "false") //默认为false,表示第一行不是表头
.option("sep", ",") //列分隔符
.csv("cdz.txt") //加载csv文件
.toDF("id","ele_num","time","start_time","end_time")
val res: DataFrame = df.select("id", "ele_num")
res.write.csv("res_csv")
spark.close()
}
}