spark3.0-python教程:SparkSession作用和创建

介绍

使用 RDD 开发时,先创建 SparkContext 对象,该对象是 Spark 程序的入口

在 Spark2.0 后,使用 SparkSession 类对象,作为 Spark 程序的 统一入口

作用

  • 是 SparkSQL 编程的入口
  • 是 SparkCore 编程的入口,通过该对象可以获取 SparkContext 对象

pyspark 命令创建 SparkSession

红框处,就是创建 SparkSession 对象,对象名为 spark

代码创建 SparkContext 对象

准备

# 初始化 Spark 环境
import findspark
findspark.init()

创建方式一:

# 导包
from pyspark.sql import  SparkSession

# 创建 SparkSession 对象
spark = SparkSession.builder.\
    appName("test").\
    master("local[*]").\
    getOrCreate()

# 从 SparkSession 对象获取 SparkContext 对象
sc = spark.sparkContext

解释:

  • \:python代码中,换行需要用 \

  • .getOrCreate():如果当前存在一个 SparkSession 就直接返回,否则就创建

创建方式二:

# 导包
from pyspark import SparkConf
from pyspark.sql import SparkSession

# 创建 SparkConf 对象
conf = SparkConf().setMaster("local[*]").setAppName("test")
# 创建 SparkSession 对象
spark = SparkSession.builder.config(conf = conf).getOrCreate()

# 从 SparkSession 对象获取 SparkContext 对象
sc = spark.sparkContext

原文出处:/show_1IX3FDPaVvTP.html