hadoop编译源码介绍

为什么编译

hadoop 官网提供了二进制包,下载、解压后可直接使用

支持snappy

snappy 作用

数据压缩:

  • 节省磁盘空间
  • 减小网络IO、磁盘IO

snappy 由 C++ 开发,需要根据不同的处理器架构(32位、64位)、操作系统(centos、Ubuntu、windows),重新编译,编译成 .so 或 .dll 本地库,hadoop 通过 jni 调用 本地库实现压缩功能

修改源码

根据自己需求修改源码,修改默认配置,假如更多的功能,甚至发布商业版本


原文出处:/show_1IX1Ueg95J5n.html