spark3.0教程:三大数据结构(RDD算子、累加器、广播变量)

Spark 计算框架为了能够进行 高并发 和 高吞吐 的数据处理,封装了 三大数据结构,用于处理不同的应用场景。

三大数据结构:

  • RDD算子 : 弹性分布式数据集,用于对数据做处理,及打印结果 或 将保存结果
  • 累加器:分布式共享 只写变量
  • 广播变量:分布式共享 只读变量

原文出处:/show_1IX1HUFYtkz2.html