spark3.0-SparkSQL DSL语法

介绍

DataFrame 提供一个特定领域语言(domain-specific language, DSL)去管理结构化的数据。

可以在 Scala, Java, Python 和 R 中使用 DSL, 使用 DSL 语法风格 不必去创建临时视图了

一句话解释

使用 DataFrame 的 API(方法) 来查询统计数据

方法分类

DataFrame 中涵盖很多方法,大致分类如下:

  • 选择函数 select():选取某些列的值
  • 过滤函数 filter / where:设置过滤条件,类似 SQL 中 WHERE 语句
  • 分组函数 groupBy / rollup /cube:对某些字段分组,在进行聚合统计
  • 聚合函数 agg:通常与分组函数连用,使用一些 count、max、sum 等聚合函数操作
  • 排序函数 sort / orderBy:按照某写列的值进行排序(升序 ASC 或者降序 DESC)
  • 限制函数 limit:获取前几条数据,类似 RDD 中 take 函数
  • 重命名函数 withColumnRenamed:将某列的名称重新命名
  • 删除函数 drop:删除某些列
  • 增加列函数 withColumn:当某列存在时替换值,不存在时添加此列

参考:
https://blog.csdn.net/qq_17685725/article/details/123081360


原文出处:/show_1IX4JkomRh21.html