Hadoop大数据集群规模计算

  1. 每天活跃用户100万,每人一天平均100条:100万 * 100 = 1亿条
  2. 每条日志 1k 左右,每天 1亿条:`1亿 /1024/1024 ≈ 100G
  3. 半年内不扩容服务器计算:100G*180天 ≈ 18T
  4. 保存3副本:18T * 3 = 54T
  5. 预留20% - 30% buf:54T /0.7 ≈ 77T

假设:服务器 8T 硬盘,那么需要 77T / 8T ≈ 10台服务器

数据仓库分层:由于分层,数据量会增多,需要需要更多的服务器

数据压缩:hadoop可以启用数据压缩,开启后,体积大大减小

总结:综合上面,最终 3台服务器可使用半年,5-10台服务器可使用1-2年


原文出处:/show_1IX3zejlGxSV.html