提出问题

大数据的应用越来越广泛，大部分公司只是单纯的对数据进行了处理，而数据的血缘，分类等等却很难实现，数据治理 一直是企业面临的巨大问题

如：大数据中，数据库、表、字段众多，如何找到各自的解释说明；以及如何查看其关系，这都是难以解决的问题

传统方式：采用文档进行管理，难以满足大数据的需求

使用 数据治理 框架，如：Atlas、Datahub、Amundsen

Atlas 介绍

Atlas是Hadoop的数据治理和元数据框架。

Apache Atlas为组织提供了开放的 元数据管理 和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。

通过 Atlas，可以查询 Hive 数据库、表、字段的解释说明

hadoop大数据生态已经运行一段时间，已经有上百张表，业务比较复杂，需要对其进行管理时，使用 atlas 才能发挥作用

核心部分，由以下部分组成：

Ingest/Export：采集导出组件。通过 Metadata Sources、Messaging 实现采集
Type System：类型系统，见下面解释
Graph Engine：图引擎。管理元数据对象，以实现元数据之间的巨大灵活性和丰富的关系，用于建立表与表关系、表与字段的关系等。

提示：Graph 是数据结构中的一种，用来表示关系，地图导航
janusGraph：图数据库，用来存储元数据对象。支持多种数据库作为图数据存储介质，默认使用 hbase

供 Ingest/Export 采集数据。支持各种源获取元数据：Hive，Sqoop，Storm。。。

集成以下2个模块

Messaging：供 Ingest/Export 采集数据，Metadata Sources 获取的元数据发送到 Messaging。底层是 kafka 实现
API：供 Apps 调用的功能接口，也可用于二次开发

用户通过 Apps 操作 Atlas。通过调用 API 实现功能

存储元数据，是 janusGraph 图数据库的存储介质

实现索引，提供搜索、查询功能

是Atlas最核心的组件之一

用户可以通过类型系统对数据资产进行分类、定义

Type(类型)在Atlas中代表了一类数据，如 hdfs_path Type、hive_db Type、hive_table Type、hive_column Type。