SparkContext
SparkContext 是spark程序的 主要入口,负责与集群进行交互,包括:
- 与ClusterManager通信,进行资源申请、任务的分配和监控等
- 创建 RDD、累加器、广播变量 等
- 访问Spark的服务,运行任务
spark程序都要先创建 SparkContext 对象
提示:在 Spark2.0 后,使用 SparkSession 类对象,作为 Spark 程序的 统一入口
注意:
每个JVM里 只能存在 一个 处于激活状态 的SparkContext,在创建新的SparkContext之前必须调用 stop() 来关闭之前的 SparkContext
Spark Shell命令创建对象
使用Spark Shell自动初始化SparkContext
编写应用程序时,需要初始化SparkContext
代码创建 SparkContext 对象
编写应用程序时,需要创建 SparkContext 对象
val sparConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
val sc = new SparkContext(sparConf)
感谢:
https://blog.csdn.net/weixin_43878293/article/details/90020221
https://www.cnblogs.com/xia520pi/p/8609602.html
