MPP数据库

介绍

MPP, Massively Parallel Processing,即大规模并行处理

是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果。(与Hadoop相似)

采用MPP架构的数据库称为 MPP数据库。

MPP架构特征

为什么需要MPP数据库?

海量数据的分析需求

传统数据库无法支持大规模集群与PB级别数据量

单台机器性能受限、成本高昂,扩展性受限

支持复杂的结构化查询(重要)

复杂查询经常使用多表联结、全表扫描等,牵涉的数据量往往十分庞大;支持复杂sql查询和支持大数据规模;

Hadoop技术的先天不足

Hive等sql-on-hadoop性能太慢,分析场景不一样,SQL兼容性与支持不足

MPPDB、Hadoop与传统数据库技术对比与适用场景

MPPDB与Hadoop都是将运算分布到节点中独立运算,然后进行结果合并(分布式计算),但各自的侧重点不同,对比如下:

综合而言,Hadoop和MPP两种技术的特定和适用场景为:

  • Hadoop在处理非结构化和半结构化数据上具备优势,尤其适合海量数据批处理等应用要求。
  • MPP适合替代现有关系数据机构下的大数据处理,具有较高的效率。

MPP适合多维度数据自助分析、数据集市等;Hadoop适合海量数据存储查询、批量数据ETL、非机构化数据分析(日志分析、文本分析)等。

MPP数据库应用领域

MPP数据库做 大数据计算 或 分析平台 非常适合,例如:数据仓库系统、历史数据管理系统、数据集市等。

有很强的 并行 数据计算能力和 海量 数据存储能力,但是 不擅长高频的小规模数据插入、修改、删除,每次事务处理的数据量不大。

所以,报表统计分析、运维统计数据,快速生成报表展示都可以使用mpp数据库。

适合场景

  • 有上百亿以上离线数据,不更新,结构化数据,需要各种复杂分析的sql语句

  • 不需要频繁重复离线计算,不需要大并发量

  • 几秒、几十秒立即返回分析结果,即:即席查询。例如sum,count,group by,order

常用的MPP数据库

  • clickhouse
  • greenplum

二者性能比较见 链接

感谢:
https://zhuanlan.zhihu.com/p/94938447


原文出处:/show_1IX3ODgE23kd.html