数据采集、传输、同步
文件采集
应用场景：采集用户行为日志，上传到 hadoop，或者发给kafka
离线、实时都可用
数据库同步
将 MySQL、Oracle中数据，同步到 Hadoop
全量同步
应用在离线数仓
增量同步
主要应用在实时数仓
数据传输
离线、实时都可用
数据存储
MySQL：保存flink、spark计算结果，便于展示饼状图、柱状图、折线图。离线、实时都可用
HDFS：离线数仓
HBase：保存中间计算结果。实时数仓
Redis：实时数仓
计算框架
与普通数据库不同，普通数据库可以直接执行 SQL 语句进行统计、分析
大数据由于数据太大，需要使用计算框架
离线计算
实时计算
即席查询
大数据由于数据太大，离线统计分析时，通常会几个小时，如果公司需要临时统计分析某个指标，而且较急，就需要即席查询，可以快速统计出结果
- Kylin：适合离线数仓
- ClickHouse：适合实时数仓
数据可视化
根据统计、分析出的数据，生成 饼状图、柱状图、折线图
- superset：适合离线
任务调度
数仓要分层，所以离线数仓，要多次执行统计、分析，而且要有前后顺序：后一个统计、分析的数据，是前一次统计、分析的结果。
任务调度框架的作用：可以定时启动一个统计、分析任务，执行结束后，再启动下一个任务
元数据管理
大数据中，表的数量达到上百，表和表的关系很难记住，通过元数据管理工具，可以解决该问题