spark3.0教程:yarn模式部署后-测试提交应用(计算PI)

提交jar应用

在生产环境中,一般用 scala、java实现,并打成 jar 包,然后提交并运行

spark 提供了一些例子,在 /examples/jars/spark-examples_2.12-3.0.0.jar 中,这里演示 spark 自带的例子:计算 PI 的值

进入下面目录:

cd /program/spark-3.0.0

client 模式

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

解释:

  • --class 表示要执行程序的主类,此处可以更换为咱们自己写的应用程序

  • --master yarn master为yarn

  • --deploy-mode client client 模式

  • spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包,实际使用时,可以设定为自己的 jar 包

  • 10:蒙特卡洛 算法计算 PI,这个数字越大,那么计算出PI的结果越准确

执行结果

下图是单机运行的结果图:

cluster 模式

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

解释:

  • --class 表示要执行程序的主类,此处可以更换为咱们自己写的应用程序

  • --master yarn master为yarn

  • --deploy-mode cluster 表示 driver 运行在 yarn 上

  • spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包,实际使用时,可以设定为自己的 jar 包

执行结果

由于提交到 yarn,所以在控制台中看不到执行结果,要在 yarn 的日志中查看

http://hadoop2:8088/


原文出处:/show_1IX4QLWDDM8m.html