spark3.0教程:SparkContext的作用和创建

SparkContext

SparkContext 是spark程序的 主要入口,负责与集群进行交互,包括:

  1. 与ClusterManager通信,进行资源申请、任务的分配和监控等
  2. 创建 RDD、累加器、广播变量 等
  3. 访问Spark的服务,运行任务

spark程序都要先创建 SparkContext 对象

提示:在 Spark2.0 后,使用 SparkSession 类对象,作为 Spark 程序的 统一入口

注意:

每个JVM里 只能存在 一个 处于激活状态 的SparkContext,在创建新的SparkContext之前必须调用 stop() 来关闭之前的 SparkContext

Spark Shell命令创建对象

使用Spark Shell自动初始化SparkContext

编写应用程序时,需要初始化SparkContext

代码创建 SparkContext 对象

编写应用程序时,需要创建 SparkContext 对象

val sparConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
val sc = new SparkContext(sparConf)

感谢:

https://blog.csdn.net/weixin_43878293/article/details/90020221

https://www.cnblogs.com/xia520pi/p/8609602.html


原文出处:/show_1IX1IoD545lJ.html