介绍
使用 RDD 开发时,先创建 SparkContext 对象,该对象是 Spark 程序的入口
在 Spark2.0 后,推出了 SparkSession 类对象,是 Spark 程序的 统一入口
作用
- 是 SparkSQL 编程的入口
- 是 SparkCore 编程的入口,通过该对象可以获取
SparkContext对象
spark-shell 命令创建 SparkSession
红框处,创建 SparkContext 对象,对象名为 sc;创建 SparkSession 对象,对象名为 spark
代码创建 SparkContext 对象
import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, SparkSession}
object Std1_sparksql {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setMaster("local[*]").setAppName("std")
//创建SparkSession
val ss: SparkSession = SparkSession.builder().config(conf).getOrCreate()
ss.stop() //关闭
}
}
解释:
.getOrCreate():如果当前存在一个SparkSession就直接返回,否则就创建
