spark3.0教程-SparkSQL:DataFrame介绍、与 RDD 的区别

介绍

DataFrame 用于 SparkSQL 编程,类似 Pandas 的 DataFrame,以 二维表数据结构 存储数据。

与 RDD 相同点

分布式集合

与 RDD 不同点

RDD 没有数据结构,存储什么数据都可以,以对象的方式存储

DataFrame ,数据结构类似 关系型数据库 中的 表,有行有列,有数据的结构信息,即 schema

如下图:


原文出处:/show_1IX3FH9vZvkJ.html