hadoop3.x 伪分布式配置历史服务(history server)

提出问题

通过访问:http://hadoop1:8088/ ,显示界面如下:

点击上图中的 【History】,不能显示历史信息

如果重启 yarn 服务,上图 web服务 中的记录,就会消失,无法保存历史记录

修改 mapred-site.xml

配置历史服务器

增加下面内容:

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop1:10020</value>
</property>

配置 web 地址、端口号(可略)

默认端口为:19888

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop1:19888</value>
</property>

启动

mapred --daemon start historyserver

停止

mapred --daemon stop historyserver

执行统计词频

删除结果目录

如果有该目录,就先删除

hadoop fs -rm -r /result

启动程序

hadoop jar /program/hadoop-3.0.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar wordcount /data.txt /result

web管理

入口一:

访问 http://hadoop1:19888/

点击上图的 红框处,如下图:

入口二:

访问:http://hadoop1:8088/ ,显示界面如下:

点击 【History】,可以查看历史信息,如下:


原文出处:/show_1IXZSSzbMw2.html