kylin3.1.x 下载安装部署

下载

https://kylin.apache.org/download/

找到对应 Hadoop 3 版本的

官网教程

http://kylin.apache.org/cn/docs31/install/index.html

准备

依赖软件

官方要求(即:安装 kylin 的服务器上要安装下面软件):

  • Hadoop: 2.7+, 3.1+ (since v2.5)
  • Hive: 0.13 - 1.2.1+
  • HBase: 1.1+, 2.0 (since v2.5)

可选,启动 kylin 时会检查下面的环境变量,没有也可以:

  • Spark 2.3.0+
  • Kafka 1.0.0+ (since v2.5)
  • flink

环境变量

需要有以下环境变量,启动kylin时会检测这些环境变量,要事先配置好

  • HADOOP_HOME
  • SPARK_HOME
  • FLINK_HOME
  • KAFKA_HOME
  • HIVE_HOME

如下:

export FLINK_HOME=/program/flink-1.12.5
export PATH=${FLINK_HOME}/bin:$PATH

export KAFKA_HOME=/program/kafka_2.12-2.4.1
export PATH=${KAFKA_HOME}/bin:$PATH

启动依赖服务

需要安装并启动 hadoop、zookeeper、hbase、hive、mysql(已设置开机自动启动)

登录 hadoop1

启动 zk:

/program/bin/zk.sh start

启动 hadoop:

/program/bin/hadoop.sh start

启动 hbase 集群:

/program/hbase-2.1.9/bin/start-hbase.sh

启动 hive:

/program/bin/hive.sh start

上传

等 hadoop1,将 apache-kylin-3.1.2-bin-hadoop3.tar.gz 上传到 ` 的program` 目录下

解压缩

tar -zxvf apache-kylin-3.1.2-bin-hadoop3.tar.gz --no-same-owner

给文件夹改名:

mv apache-kylin-3.1.2-bin-hadoop3 kylin-3.1.2

添加环境变量

vim /etc/profile.d/bigdata_env.sh

增加下面内容:

export KYLIN_HOME=/program/kylin-3.1.2
export PATH=${KYLIN_HOME}/bin:$PATH

立即生效:

source /etc/profile

修改 hbase

vim $HBASE_HOME/bin/hbase

将 162 行的内容,如下:

CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar

改为:

CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar:$HBASE_HOME/lib/*

排除冲突的jar包

修改 /program/kylin-3.1.2/bin/find-spark-dependency.sh 配置文件

在 63 行上下 spark_dependency=find -L 增加下面内容:

-name '*jackson*' ! -name '*metastore*'

参考链接

检查环境

$KYLIN_HOME/bin/check-env.sh

显示如下图,说明检查全部通过:


原文出处:/show_1IX2GnHlSvOH.html