hadoop、zookeeper、hbase内存配置

hadoop

HDFS-NameNode

推荐 jvm(堆)内存:8G

每 100TB 数据 或 100W 个文件,大约占 1G 的内存

HDFS-secondarynamenode

推荐 jvm(堆)内存:8G

在内存中重做 NameNode 的EditLog,因此配置要与 NameNode 一样

HDFS-DataNode

推荐 jvm(堆)内存:1G

适度即可

yarn-ResourceManager

推荐 jvm(堆)内存:4G

适度即可,MapReduce的推荐配置

yarn-NodeManager

推荐 jvm(堆)内存:2G

适度即可,MapReduce的推荐配置

hbase

hmaster

推荐 jvm(堆)内存:4G

适度即可

RegionServer

推荐 jvm(堆)内存:12G

负责数据读写,服务器留下必要内存后,大部分内存都分给该服务

zookeeper

推荐 堆内存:1G

适度即可

jvm内存 不是越大越好

jvm 堆内存越大,在运行过程中会产生更多的碎片,gc时需要耗费的时间越多,等待时间越长,会导致集群认为该节点挂掉,移除掉该节点

服务器 内存 推荐

master 服务器

要运行:

  • NameNode
  • ResourceManager
  • Hbase HMaster

推荐 24GB

slave 服务器

要运行:

  • DataNode
  • NodeManager
  • Hbase RegionServer

推荐 24GB 以上

服务器 CPU 推荐

根据 CPU 的核心数量 来决定运行的进程数,推荐 2个8核 CPU,可独立运行8个java进程


原文出处:/show_1IX1uVSbNh0a.html