说明

SparkSession 的 .read.load("文件路径") 方法，是通用读取文件的方法，默认读取 parquet 格式文件，详见 链接

还可以读取 csv、json，连接 MySQL 等，需要搭配 .format("格式") 方法

例子

通过 load() 方法读取 csv格式文件

package read

import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}

object Std_load {
  def main(args: Array[String]): Unit = {
    val sc = new SparkConf().setMaster("local[*]").setAppName("std")
    var ss = SparkSession.builder().config(sc).getOrCreate()

    val df: DataFrame = ss.read
      .format("csv") // 配合 load() 方法，表示加载 csv 格式文件
      .option("header", "false") //默认为false，表示第一行不是表头
      .option("sep", ",") //列分隔符
      .load("cdz.txt") //通用加载文件方法，读取csv格式文件，要指定 format("csv")，否则报错
      .toDF("id","ele_num","time","start_time","end_time")

    df.printSchema()
    //显示所有数据
    df.show()
    ss.close()
  }
}

原文出处：/show_1IX4KJjnfmYJ.html