Azkaban3.81.0集群模式部署:部署azkaban-web-server

上传

将 azkaban-web-server-3.81.0.tar.gz 上传到 hadoop2 的 /program 目录

解压缩

cd /program/
tar -zxvf azkaban-web-server-3.81.0.tar.gz

修改 azkaban.properties

打开文件

vim /program/azkaban-web-server-3.81.0/conf/azkaban.properties

修改时区

Azkaban 默认采用的时区是 America/Los_Angeles,如果调度任务中有定时任务的话,就需要进行相应的更改,这里更改Asia/Shanghai

如下图:

将:

default.timezone.id=America/Los_Angeles

修改为:

default.timezone.id=Asia/Shanghai

注意:后面不要多出空格

修改mysql地址

mysql部署在 hadoop1 服务器上,如下图修改:

修改指派机制

下面配置,设置指派机制:

azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus

解释:

  • StaticRemainingFlowSize:将新任务指派给,剩余任务最少的executor运行
  • MinimumFreeMemory:将新任务指派给,剩余内存最少的executor运行,且不会指派内存低于 6G 的 executor 运行
  • CpuStatus:将新任务指派给,CPU 最清闲的 executor 运行

由于此处是虚拟机,内存都低于 6G,所以要去掉 MinimumFreeMemory

所以修改如下:

azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

启动

注意

登录各个服务器后,必须进入azkaban根目录,执行命令才能成功

登录 hadoop1

执行下面命令:

/program/azkaban-web-server-3.81.0
bin/start-web.sh

验证启动成功

执行 jps,显示如下,说明启动成功:

访问web服务

访问网址:http://hadoop2:8081/

查看 Web UI 界面,默认的 登录名、密码都是 azkaban

停止服务

bin/shutdown-web.sh

原文出处:/show_1GW2LDQzd8ux.html