spark3.0教程:SparkSession作用和创建

介绍

使用 RDD 开发时,先创建 SparkContext 对象,该对象是 Spark 程序的入口

在 Spark2.0 后,推出了 SparkSession 类对象,是 Spark 程序的 统一入口

作用

  • 是 SparkSQL 编程的入口
  • 是 SparkCore 编程的入口,通过该对象可以获取 SparkContext 对象

spark-shell 命令创建 SparkSession

红框处,创建 SparkContext 对象,对象名为 sc;创建 SparkSession 对象,对象名为 spark

代码创建 SparkContext 对象

import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}
object Std1_sparksql {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[*]").setAppName("std")
    //创建SparkSession
    val ss: SparkSession = SparkSession.builder().config(conf).getOrCreate()

    ss.stop() //关闭
  }
}

解释:

  • .getOrCreate():如果当前存在一个 SparkSession 就直接返回,否则就创建

原文出处:/show_1IX3FDWSNamc.html