flink1.12.x standalone独立集群模式-开启历史服务(historyserver)

登录 hadoop1

登录 hadoop1,进行下面操作

修改 historyserver.sh(可选)

修改 bin\historyserver.sh

在开始处添加下面内容:

export HADOOP_CLASSPATH=`hadoop classpath`

hadoop classpath 是执行命令

配置 /etc/profile(可选)

添加下面环境变量

export HADOOP_CONF_DIR=/program/hadoop-3.0.3/etc/hadoop

export HADOOP_CLASSPATH=`hadoop classpath`

修改 flink-conf.yaml

注意: 是 yaml 文件,:后面要有空格

flink-conf.yaml 有下面配置,但被注释了

配置如下:

# 指定由JobManager存放作业信息的目录,在 HDFS
jobmanager.archive.fs.dir: hdfs://hadoop1:8020/flink/completed-jobs/
# 绑定的ip
historyserver.web.address: hadoop1

# web页面端口
historyserver.web.port: 8082

# 指定History Server扫描哪些归档目录
historyserver.archive.fs.dir: hdfs://hadoop1:8020/flink/completed-jobs/

# 指定History Server间隔多少毫秒扫描一次归档目录
historyserver.archive.fs.refresh-interval: 10000

执行任务时,JobManager 将作业信息保存到 HDFS 上,History Server 定期扫描该目录,访问 web管理页面( http://hadoop1:8082 ),就可以显示 作业信息

支持 HDFS(hadoop3)

历史服务器是 将文件保存到 HDFS 上,但 flink1.12 默认不支持 HDFS(hadoop3),所以需要以下配置

将下面 2 个jar包添加到 flink的lib目录下:

  • Flink Shaded Hadoop 3 Uber
  • commons-cli

访问 下载网址

下载 commons-cli

访问 下载网址

上传到 lib目录

登录 hadoop1 ,将上面2个jar 上传到 /program/flink-1.12.5/lib/

同步

同步到 hadoop2

rsync -av /program/flink-1.12.5/* root@hadoop2:/program/flink-1.12.5/

同步到 hadoop3

rsync -av /program/flink-1.12.5/* root@hadoop3:/program/flink-1.12.5/

需要重启集群

stop-cluster.sh
start-cluster.sh

原文出处:/show_1IX1yYwSZuy9.html