spark3.0教程-SparkSQL:spark-sql 命令,对 Hive进行操作

介绍

该命令启动交互环境,是 Spark on Hive,可以直接对 Hive进行操作,可以编写、执行 SQL,而且兼容 HSQL

要求

必须进行 Spark on Hive配置,详见 链接

spark-sql 环境

单机启动

执行下面命令:

spark-sql

执行结果如下:

on yarn模式启动

spark-sql --master yarn

测试

显示所有数据库

显示 hive 所有数据库

show databases;

注意:要有 ; 号

显示所有表

显示 hive 所有表

show tables;

创建表

创建表的 SQL,与 Hive几乎相同,如下:

create table if not exists soh_student(
  id int,
  name string,
  age int,
  gender string,
  height float
)
row format delimited fields terminated by ',';

准备数据

创建文件:studentInfo.txt

内容如下:

1,李雷,20,男,1.82
2,韩梅梅,21,女,1.65
3,lucy,22,女,1.71
4,lili,22,女,1.71
5,张三,24,男,1.78

上传文件

上传到 /hive/warehouse/soh_student 目录

查询表

select * from soh_student;

执行结果:

1       李雷    20      男      1.82
2       韩梅梅  21      女      1.65
3       lucy    22      女      1.71
4       lili    22      女      1.71
5       张三    24      男      1.78

查询条件

select name,age,gender,height from soh_student where gender='男';

统计

统计平均年龄,如下:

select avg(age) from soh_student;

结果如下:

特点:执行速度非常快,比 Hive执行快很多

Hive查看表

使用 dbever等工具,连接 Hive,可以查看到该表、数据,说明通过 Spark 创建表,确实存在 Hive


原文出处:/show_1IX3FSHQdeUk.html