spark3.0-python教程-SparkSQL:代码连接 Hive ,使用配置文件的 metastore 服务

说明

按照 spark3.0教程-SparkSQL:Spark on Hive配置 ,配置在 hive-site.xml 文件中

创建 SparkSession 对象时,只需要启用 Hive 即可,关键代码:

enableHiveSupport()

然后就可以对 Hive 中的表,进行查询、统计

完整代码

import findspark
findspark.init()

from pyspark.sql import  SparkSession

spark = SparkSession.builder.\
    appName("test").\
    master("local[*]").\
    enableHiveSupport().\
    getOrCreate()

spark.stop()

原文出处:/show_1IX3FY6Ws0Mg.html