介绍
该命令启动交互环境,是 Spark on Hive,可以直接对 Hive进行操作,可以编写、执行 SQL,而且兼容 HSQL
要求
必须进行 Spark on Hive配置,详见 链接
spark-sql 环境
单机启动
执行下面命令:
spark-sql
执行结果如下:
on yarn模式启动
spark-sql --master yarn
测试
显示所有数据库
显示 hive 所有数据库
show databases;
注意:要有 ; 号
显示所有表
显示 hive 所有表
show tables;
创建表
创建表的 SQL,与 Hive几乎相同,如下:
create table if not exists soh_student(
id int,
name string,
age int,
gender string,
height float
)
row format delimited fields terminated by ',';
准备数据
创建文件:studentInfo.txt
内容如下:
1,李雷,20,男,1.82
2,韩梅梅,21,女,1.65
3,lucy,22,女,1.71
4,lili,22,女,1.71
5,张三,24,男,1.78
上传文件
上传到 /hive/warehouse/soh_student 目录
查询表
select * from soh_student;
执行结果:
1 李雷 20 男 1.82
2 韩梅梅 21 女 1.65
3 lucy 22 女 1.71
4 lili 22 女 1.71
5 张三 24 男 1.78
查询条件
select name,age,gender,height from soh_student where gender='男';
统计
统计平均年龄,如下:
select avg(age) from soh_student;
结果如下:
特点:执行速度非常快,比 Hive执行快很多
Hive查看表
使用 dbever等工具,连接 Hive,可以查看到该表、数据,说明通过 Spark 创建表,确实存在 Hive

