登录 hadoop1
登录 hadoop1,进行下面操作
修改 historyserver.sh(可选)
修改 bin\historyserver.sh
在开始处添加下面内容:
export HADOOP_CLASSPATH=`hadoop classpath`
hadoop classpath 是执行命令
配置 /etc/profile(可选)
添加下面环境变量
export HADOOP_CONF_DIR=/program/hadoop-3.0.3/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`
修改 flink-conf.yaml
注意: 是 yaml 文件,:后面要有空格
flink-conf.yaml 有下面配置,但被注释了
配置如下:
# 指定由JobManager存放作业信息的目录,在 HDFS
jobmanager.archive.fs.dir: hdfs://hadoop1:8020/flink/completed-jobs/
# 绑定的ip
historyserver.web.address: hadoop1
# web页面端口
historyserver.web.port: 8082
# 指定History Server扫描哪些归档目录
historyserver.archive.fs.dir: hdfs://hadoop1:8020/flink/completed-jobs/
# 指定History Server间隔多少毫秒扫描一次归档目录
historyserver.archive.fs.refresh-interval: 10000
执行任务时,JobManager 将作业信息保存到 HDFS 上,History Server 定期扫描该目录,访问 web管理页面( http://hadoop1:8082 ),就可以显示 作业信息
支持 HDFS(hadoop3)
历史服务器是 将文件保存到 HDFS 上,但 flink1.12 默认不支持 HDFS(hadoop3),所以需要以下配置
将下面 2 个jar包添加到 flink的lib目录下:
- Flink Shaded Hadoop 3 Uber
- commons-cli
下载 Flink Shaded Hadoop 3 Uber
访问 下载网址
下载 commons-cli
访问 下载网址
上传到 lib目录
登录 hadoop1 ,将上面2个jar 上传到 /program/flink-1.12.5/lib/
同步
同步到 hadoop2
rsync -av /program/flink-1.12.5/* root@hadoop2:/program/flink-1.12.5/
同步到 hadoop3
rsync -av /program/flink-1.12.5/* root@hadoop3:/program/flink-1.12.5/
需要重启集群
stop-cluster.sh
start-cluster.sh