flink1.12.x local单机模式-安装部署、启动、测试wordcount(读写本地文件)

登录 hadoop1

登录 hadoop1 ,执行下面操作

上传

将 flink-1.12.5-bin-scala_2.12.tgz 上传到 hadoop1 的 /program 目录

解压缩

root 用户执行下面命令:

tar zxvf flink-1.12.5-bin-scala_2.12.tgz --no-same-owner

启动

进入 /program/flink-1.12.5/bin 目录:

cd /program/flink-1.12.5/bin

执行下面命令:

./start-cluster.sh

执行结果如下:

Starting cluster.
Starting standalonesession daemon on host hadoop1.
Starting taskexecutor daemon on host hadoop1.

表示在 hadoop1 上启动 jobmanager、taskmanager

jps 查看是否启动成功

执行 jps 命令,看到下面进程:

114358 StandaloneSessionClusterEntrypoint
118642 TaskManagerRunner

表示启动成功

停止

在 bin 目录下,执行下面命令:

./stop-cluster.sh

执行结果如下:

Stopping taskexecutor daemon (pid: 130963) on host hadoop1.
Stopping standalonesession daemon (pid: 130681) on host hadoop1.

表示在 hadoop1 上停止运行 jobmanager、taskmanager

jps 查看是否停止成功

执行 jps 命令,没有下面进程:

114358 StandaloneSessionClusterEntrypoint
118642 TaskManagerRunner

表示停止成功

测试 wordcount

创建测试文件

在 /program/ 目录下创建 data.txt,如下:

vim /program/data.txt

添加内容如下:

李雷
韩梅梅
lucy
lili
张三
李四
王五
李雷
韩梅梅
lucy
李雷
韩梅梅
李雷

执行 wordcount

通过 flink 命令,执行 .jar 包,命令如下:

/program/flink-1.12.5/bin/flink run /program/flink-1.12.5/exampl              es/batch/WordCount.jar --input /program/data.txt --output /program/result.txt

解释:

  • run:后面是 .jar 路径,在 exampl 目录下有很多例子

  • --input:读取文件路径

  • --output:输出结果文件路径

执行结果:

Job has been submitted with JobID 8fb233ddc85f523bae09b92c1344744f
Program execution finished
Job with JobID 8fb233ddc85f523bae09b92c1344744f has finished.
Job Runtime: 1971 ms

查看 result 文件:

cat /program/result3

执行结果如下:

lili 1
lucy 2

不支持中文


原文出处:/show_1IX1ym4bM6vu.html