提交jar应用
在生产环境中,一般用 scala、java实现,并打成 jar 包,然后提交并运行
spark 提供了一些例子,在 /examples/jars/spark-examples_2.12-3.0.0.jar 中,这里演示 spark 自带的例子:计算 PI 的值
进入下面目录:
cd /program/spark-3.0.0
client 模式
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
解释:
--class表示要执行程序的主类,此处可以更换为咱们自己写的应用程序--master yarnmaster为yarn--deploy-mode clientclient 模式spark-examples_2.12-3.0.0.jar运行的应用类所在的 jar 包,实际使用时,可以设定为自己的 jar 包10:蒙特卡洛 算法计算 PI,这个数字越大,那么计算出PI的结果越准确
执行结果
下图是单机运行的结果图:
cluster 模式
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
解释:
--class表示要执行程序的主类,此处可以更换为咱们自己写的应用程序--master yarnmaster为yarn--deploy-mode cluster表示 driver 运行在 yarn 上spark-examples_2.12-3.0.0.jar运行的应用类所在的 jar 包,实际使用时,可以设定为自己的 jar 包
执行结果
由于提交到 yarn,所以在控制台中看不到执行结果,要在 yarn 的日志中查看


