spark3.0编译(未完)

为什么编译

从Spark官网下载的预编译版本的Spark,受到诸多限制:

  • hadoop是 3.0.3,从官网下载的 spark3.0预编译 没有支持 hadoop 3.0.3 的

  • 生产环境使用的Hadoop是CDH版本,那么从官网下载的预编译版本就不能使用;

  • 为了兼容Spark新特性,生产环境只升级了HDFS组件,那么预编译版本也不能使用

因此,为了更好的兼容生产环境中大数据生态组件,需要编译Spark源码。

官网教程

https://spark.apache.org/docs/3.0.0/building-spark.html

要求

  • 必须在 linux 上编译

参考:
https://blog.csdn.net/u011817217/article/details/81740792