部署方式
local本地模式。相当于 hadoop 单机模式,用于学习、演示
spark-on-yarn(推荐)
standalone,独立集群部署,不依赖其他
- standalone-HA,独立集群-高可用。配置多个 Master 节点,比 standalone 更稳定
Spark 主要是计算框架,而不是资源调度框架,所以一般还是部署在yarn上
准备
jdk(运行环境)
spark 由 scala 语言开发,scala 是运行在 jvm 的语言,所以 运行环境需要 jdk
scala sdk(开发环境)
开发环境需要 jdk、 scala sdk,将 scala 代码编译成 .class 文件
下载地址
下载页面:https://spark.apache.org/downloads.html
存档:https://archive.apache.org/dist/spark/
spark 下载:spark-3.0.0-bin-without-hadoop.tgz
从 Spark 1.4 版本开始,该项目打包了 Hadoop free 版本,可以更轻松地将单个 Spark 二进制文件连接到任何 Hadoop 版本
源码 下载:spark-3.0.0.tgz