介绍
使用 RDD 开发时,先创建 SparkContext 对象,该对象是 Spark 程序的入口
在 Spark2.0 后,使用 SparkSession 类对象,作为 Spark 程序的 统一入口
作用
- 是 SparkSQL 编程的入口
- 是 SparkCore 编程的入口,通过该对象可以获取
SparkContext对象
pyspark 命令创建 SparkSession
红框处,就是创建 SparkSession 对象,对象名为 spark
代码创建 SparkContext 对象
准备
# 初始化 Spark 环境
import findspark
findspark.init()
创建方式一:
# 导包
from pyspark.sql import SparkSession
# 创建 SparkSession 对象
spark = SparkSession.builder.\
appName("test").\
master("local[*]").\
getOrCreate()
# 从 SparkSession 对象获取 SparkContext 对象
sc = spark.sparkContext
解释:
\:python代码中,换行需要用\.getOrCreate():如果当前存在一个SparkSession就直接返回,否则就创建
创建方式二:
# 导包
from pyspark import SparkConf
from pyspark.sql import SparkSession
# 创建 SparkConf 对象
conf = SparkConf().setMaster("local[*]").setAppName("test")
# 创建 SparkSession 对象
spark = SparkSession.builder.config(conf = conf).getOrCreate()
# 从 SparkSession 对象获取 SparkContext 对象
sc = spark.sparkContext
