说明
Atlas Hive hook 侦听 Hive 创建、更新、删除 操作时,通过 Kafka 通知更新 Atlas 中的元数据,获取 Hive 中的更改
根据 官网 配置
安装 Hive Hook
上传
将 apache-atlas-2.1.0-hive-hook.tar.gz 上传到 /program 目录下
解压缩
cd /program
tar zxvf apache-atlas-2.1.0-hive-hook.tar.gz --no-same-owner
复制文件
将 apache-atlas-hive-hook-2.1.0 目录下的文件复制到 atlas-2.1.0 目录下:
cp -r apache-atlas-hive-hook-2.1.0/* atlas-2.1.0/
修改 atlas 配置文件
配置线程池和通知参数
vim /program/atlas-2.1.0/conf/atlas-application.properties
在文件末尾增加下面内容:
# 是否同步运行
atlas.hook.hive.synchronous=false
# 失败重试次数
atlas.hook.hive.numRetries=3
# 队列大小
atlas.hook.hive.queueSize=10000
# 集群名称
atlas.cluster.name=primary
修改 Hive 配置文件
将 Atlas Hive hook 注册到 Hive 中,当侦听 创建、更新、删除 操作时,通过 Kafka 通知更新 Atlas 中的元数据,获取 Hive 中的更改
修改 hive-site.xml
打开下面文件:
/program/hive-3.1.2/conf/hive-site.xml
在文件末尾添加下面内容:
<property>
<name>hive.exec.post.hooks</name>
<value>org.apache.atlas.hive.hook.HiveHook</value>
</property>
修改 hive-env.sh 文件
将 hive hook 程序的目录添加到 hive-env.sh 文件中
vim /program/hive-3.1.2/conf/hive-env.sh
修改最下面一行,如下:
export HIVE_AUX_JARS_PATH=/program/atlas-2.1.0/hook/hive/
复制文件
将 atlas-application.properties 复制到 /program/hive-3.1.2/conf 目录下
cp /program/atlas-2.1.0/conf/atlas-application.properties /program/hive-3.1.2/conf