登录 hadoop1
登录 hadoop1 ,执行下面操作
上传
将 flink-1.12.5-bin-scala_2.12.tgz 上传到 hadoop1 的 /program 目录
解压缩
root 用户执行下面命令:
tar zxvf flink-1.12.5-bin-scala_2.12.tgz --no-same-owner
修改 conf/flink-conf.yaml
注意: 是 yaml 文件,:后面要有空格
vim conf/flink-conf.yaml
jobmanager.rpc.address
找到下面配置,修改如下:
jobmanager.rpc.address: hadoop1
taskmanager.numberOfTaskSlots
找到下面配置,修改如下:
taskmanager.numberOfTaskSlots: 2
相当于 taskmanager 有 2 个线程执行
web.submit.enable
找到下面配置,修改如下:
web.submit.enable: true
修改 conf/masters
将内容修改如下:
hadoop1:8081
web 服务端口
修改 conf/workers
内容清空,添加下面内容:
hadoop1
hadoop2
hadoop3
hadoop2 和 hadoop3 运行 TaskManager
支持 HDFS(hadoop3)
flink1.12 默认不支持 HDFS(hadoop3),所以需要以下配置
将下面 2 个jar包添加到 flink的lib目录下:
- Flink Shaded Hadoop 3 Uber
- commons-cli
下载 Flink Shaded Hadoop 3 Uber
访问 下载网址
下载 commons-cli
访问 下载网址
上传到 lib目录
登录 hadoop1 ,将上面2个jar 上传到 /program/flink-1.12.5/lib/
同步 hadoop2、hadoop3
同步到 hadoop2
rsync -av /program/flink-1.12.5 root@hadoop2:/program
同步到 hadoop3
rsync -av /program/flink-1.12.5 root@hadoop3:/program
查看
登录 hadoop2、hadoop3,查看文件是否以同步
配置环境变量(可选)
修改 bigdata_env.sh
vim /etc/profile.d/bigdata_env.sh
增加 hadoop 配置目录
增加下面内容:
# 配置 FLINK_HOME
export HADOOP_CONF_DIR=/program/hadoop-3.0.3/etc/hadoop
export FLINK_HOME=/program/flink-1.12.5
export PATH=${FLINK_HOME}/bin:$PATH
立即生效
source /etc/profile
同步 bigdata_env.sh(可选)
同步到 hadoop2
rsync -av /etc/profile.d/bigdata_env.sh root@hadoop2:/etc/profile.d/
登录 hadoop2,执行下面命令,立即生效
source /etc/profile
同步到 hadoop3
rsync -av /etc/profile.d/bigdata_env.sh root@hadoop3:/etc/profile.d/
登录 hadoop3,执行下面命令,立即生效
source /etc/profile