说明

创建 SparkSession 对象时，必须启用 Hive，关键代码：

enableHiveSupport

然后就可以对 Hive 中的表，进行查询、统计

创建 SparkSession 对象

import findspark
findspark.init()

from pyspark.sql import  SparkSession

spark = SparkSession.builder.\
    appName("test").\
    master("local[*]").\
    enableHiveSupport().\
    getOrCreate()

spark.stop()

条件查询

import findspark
findspark.init()

from pyspark.sql import  SparkSession

spark = SparkSession.builder.\
    appName("test").\
    master("local[*]").\
    enableHiveSupport().\
    getOrCreate()

df = spark.sql("select * from soh_student where gender='男'")
df.show()
spark.stop()

统计

关键代码：

# 对 hive 中的表进行统计
df = spark.sql("select avg(age) from soh_student ")
df.show()

原文出处：/show_1IX3FUoNCqJp.html