spark3.0教程:部署方式、准备工作、下载地址(废弃)

部署方式

  • local本地模式。相当于 hadoop 单机模式,用于学习、演示

  • spark-on-yarn(推荐)

  • standalone,独立集群部署,不依赖其他

  • standalone-HA,独立集群-高可用。配置多个 Master 节点,比 standalone 更稳定
    Spark 主要是计算框架,而不是资源调度框架,所以一般还是部署在yarn上

准备

jdk(运行环境)

spark 由 scala 语言开发,scala 是运行在 jvm 的语言,所以 运行环境需要 jdk

scala sdk(开发环境)

开发环境需要 jdk、 scala sdk,将 scala 代码编译成 .class 文件

下载地址

下载页面:https://spark.apache.org/downloads.html

存档:https://archive.apache.org/dist/spark/

spark 下载:spark-3.0.0-bin-without-hadoop.tgz

从 Spark 1.4 版本开始,该项目打包了 Hadoop free 版本,可以更轻松地将单个 Spark 二进制文件连接到任何 Hadoop 版本

源码 下载:spark-3.0.0.tgz


原文出处:/show_1IXnNMunESt.html