spark3.0-python教程：spark-submit介绍和参数

作者：马育民 • • 阅读：10169

介绍

spark-submit 命令将 程序 提交到 yarn 集群（通过配置，可提交给 spark 集群、local等）

参数

通用参数

  • --master：后面接以下参数：

    • local：本地运行，只有一个工作进程
    • local[n]：本地运行，只有 n 个工作进程，通常 n 为核心数量
    • local[*]：默认值。本地运行，工作进程数量为核心数量
    • yarn：在 yarn 集群上运行，需要搭配 --deploy-mode 参数（多用于生成环境）

  • --deploy-mode：Driver 程序运行的地方，后面接以下参数：

    • client：表示driver进程在本地（默认值）
    • cluster：表示driver进程在yarn集群上（多用于生成环境）

  • --files：用逗号隔开的文件列表,会放置在每个 executor 工作目录中

  • --conf：spark 的配置属性

  • --driver-memory：Driver 程序使用内存大小（例如：1000M，5G），默认 1024M

  • --executor-memory：每个 executor 内存大小（如：1000M，2G），默认 1G

Spark standalone and YARN 模式可选参数:

  • --executor-cores：每个 executor 使用的 core 数，Spark on Yarn 默认为 1，standalone 默认为 worker 上所有可用的 core。

YARN 模式可选参数

  • --driver-cores：driver 使用的 core,仅在 cluster 模式下，默认为 1。

  • --queue：QUEUE_NAME 指定资源队列的名称,默认：default

  • --num-executors：启动的 executor 数量，默认是 2 个。

例子-yarn模式

必要条件

需要启动 HDFS 和 yarn

注意代码

代码必须去掉 master("local[*]") ，否则 client 模式还是 本地模式 运行；cluster 模式会报错

client 模式

spark-submit \
--master yarn \
--deploy-mode client \
/program/spark-3.0.0/examples/src/main/python/pi.py \
10

cluster 模式

spark-submit \
--master yarn \
--deploy-mode cluster \
--driver-memory 512M \
--executor-memory 512M \
--num-executors 1 \
/program/spark-3.0.0/examples/src/main/python/pi.py \
10

引入第三方库

详见 链接

原文出处：/show_1IX3HBDuKP44.html

吉ICP备15003043号