登录    关于
马育民老师的博客

马育民的博客

QQ:65242847

hadoop3.x集群:执行 wordcount 测试 yarn 和 MapReduce

上接:hadoop3.x集群:测试上传文件

执行 wordcount

hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar wordcount /test /result

解释:

  • hadoop jar:执行jar命令

  • share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar:jar包所在位置,可以是相对路径

  • wordcount:统计词频。还有其他功能

  • /test:读取 hdfs 的目录
  • /result:将结果输出到 hdfs 的目录下

命令查看结果

hadoop fs -cat /result/p*

显示结果如下:

li      1
lucy    1
张三    1
李四    1
李雷    3
王五    1
韩梅梅  2

注意: 此处可能是 中文乱码,原因:data.txt 没有保存为 utf-8 编码

Hadoop web查看结果

访问 http://hadoop1:9870/

Yarn Web管理界面查看结果

访问:http://hadoop2:8088/ ,显示界面如下:

访问:http://192.168.58.101:9870/explorer.html#/output

找到 part-r-00000 文件,下载后,会看到结果


原文出处:https://www.malaoshi.top/show_1IX1tmQBfFCA.html