大数据项目-金融审批实时数据仓库教程目录-马育民老师

# 虚拟机安装linux

1. [VMware下载](https://www.malaoshi.top/show_1IX29LZ0Rczv.html "VMware下载")

2. [vmware16 创建虚拟机](https://www.malaoshi.top/show_1IX4GbWfSgYB.html "vmware16 创建虚拟机")

3. [vmware16 安装centos7](https://www.malaoshi.top/show_1IX29zYMng2u.html "vmware16 安装centos7")

4. [vmware17 创建虚拟机](https://www.malaoshi.top/show_1GWlw8gdltK.html "vmware17 创建虚拟机")

5. [VMware克隆虚拟机](https://www.malaoshi.top/show_1IX29LgUosN9.html "VMware克隆虚拟机")

### 远程连接

1. [centos ssh远程连接工具](https://www.malaoshi.top/show_1IX2wKcgqsVA.html "centos ssh远程连接工具")

### 修改为yum国内源

1. [centos7 yum安装软件](https://www.malaoshi.top/show_1IX1p2VlsLQa.html "centos7 yum安装软件")

- [centos7 yum配置国内源](https://www.malaoshi.top/show_1IX1p2Wbux8c.html "centos7 yum配置国内源")
 
 - [centos7 yum配置SCL国内源](https://www.malaoshi.top/show_1GW1e9OMj8N7.html "centos7 yum配置SCL国内源")

# 安装hadoop

集群部署

1. [hadoop3.x集群部署-介绍](https://www.malaoshi.top/show_1IX1WBcLAQ7V.html "hadoop3.x集群部署-介绍")

3. [hadoop3.x集群部署-准备linux环境-设置静态IP](https://www.malaoshi.top/show_1IX1XqU04xxO.html "hadoop3.x集群部署-准备linux环境-设置静态IP")

4. [hadoop3.x集群部署-准备linux环境](https://www.malaoshi.top/show_1IX1WM65rT4t.html "hadoop3.x集群部署-准备linux环境")

5. [hadoop3.x集群部署-准备linux环境-ssh免密码登录](https://www.malaoshi.top/show_1IX1Y1ljABC7.html "hadoop3.x集群部署-准备linux环境-ssh免密码登录")

6. [hadoop3.x集群部署-准备linux环境-时间同步](https://www.malaoshi.top/show_1IX1Y7hXooOl.html "hadoop3.x集群部署-准备linux环境-时间同步")

2. [hadoop3.x集群部署-集群角色和服务器规划](https://www.malaoshi.top/show_1IX1WFEv7051.html "hadoop3.x集群部署-集群角色和服务器规划")

7. [hadoop3.x集群部署-在hadoop1安装jdk](https://www.malaoshi.top/show_1IX1tceFaQJ9.html "hadoop3.x集群部署-在hadoop1安装jdk")

8. [hadoop3.x集群部署-在hadoop1安装hadoop](https://www.malaoshi.top/show_1IX1tcohA7SO.html "hadoop3.x集群部署-在hadoop1安装hadoop")

9. [hadoop3.x scp命令将hadoop1文件发送给其他电脑](https://www.malaoshi.top/show_1IX1tfRFT2F0.html "hadoop3.x scp命令将hadoop1文件发送给其他电脑")

10. [hadoop3.x rsync命令将hadoop1文件同步给其他虚拟机](https://www.malaoshi.top/show_1IX1thSs9yBI.html "hadoop3.x rsync命令将hadoop1文件同步给其他虚拟机")

12. [hadoop3.x集群部署-配置HDFS、yarn、MapReduce](https://www.malaoshi.top/show_1IX1tjXoC8D2.html "hadoop3.x集群部署-配置HDFS、yarn、MapReduce")

13. [hadoop3.x集群部署-格式化NameNode](https://www.malaoshi.top/show_1IX1tjkOwa3V.html "hadoop3.x集群部署-格式化NameNode")

14. [hadoop3.x集群部署-启动、停止NameNode、DataNode、yarn](https://www.malaoshi.top/show_1IX1tk8idw4C.html "hadoop3.x集群部署-启动、停止NameNode、DataNode、yarn")

15. [hadoop3.x集群：NameNode web管理界面介绍（端口号9870）](https://www.malaoshi.top/show_1IX1tlK6VHyM.html "hadoop3.x集群：NameNode web管理界面介绍（端口号9870）")

- [hadoop3.x集群：修改windows hosts文件](https://www.malaoshi.top/show_1IX1twS2VXei.html "hadoop3.x集群：修改windows hosts文件")

15. [hadoop3.x集群：yarn web管理界面介绍（端口号8088）](https://www.malaoshi.top/show_1IX1tm93mcdr.html "hadoop3.x集群：yarn web管理界面介绍（端口号8088）")

15. [hadoop3.x集群：测试上传文件](https://www.malaoshi.top/show_1IX1tm1f3m2W.html "hadoop3.x集群：测试上传文件")

16. [hadoop3.x yarn介绍](https://www.malaoshi.top/show_1IX28n29YLBN.html "hadoop3.x yarn介绍")

17. [hadoop3.x集群：执行 wordcount 测试 yarn 和 MapReduce](https://www.malaoshi.top/show_1IX1tmQBfFCA.html "hadoop3.x集群：执行 wordcount 测试 yarn 和 MapReduce")

18. [hadoop3.x集群：配置、启动历史服务（history server，端口19888）](https://www.malaoshi.top/show_1IX1twV9qiPo.html "hadoop3.x集群：配置、启动历史服务（history server，端口19888）")

19. [hadoop3.x集群：配置日志聚集（log aggregation）](https://www.malaoshi.top/show_1IX1twzsC1uS.html "hadoop3.x集群：配置日志聚集（log aggregation）")

3. [hadoop启动命令：NameNode、DataNode、secondarynamenode、yarn、resourcemanager、nodemanager](https://www.malaoshi.top/show_1IX1txAO2b2o.html "hadoop启动命令：NameNode、DataNode、secondarynamenode、yarn、resourcemanager、nodemanager")

20. [hadoop3.x集群：编写Hadoop集群启动、停止脚本](https://www.malaoshi.top/show_1IX1txzjsANg.html "hadoop3.x集群：编写Hadoop集群启动、停止脚本")

### 常见错误

1. [yarn错误：java.net.BindException: Port in use: 8088](https://www.malaoshi.top/show_1IX1tknmMa5H.html "yarn错误：java.net.BindException: Port in use: 8088")

2. [hadoop3.x集群：datanode不同步数据](https://www.malaoshi.top/show_1IX1tuthiJB3.html "hadoop3.x集群：datanode不同步数据")

3. [hadoop3.x集群：挂掉datanode节点如何启动](https://www.malaoshi.top/show_1IX1tuXXrKRk.html "hadoop3.x集群：挂掉datanode节点如何启动")

4. [hadoop3: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9](https://www.malaoshi.top/show_1IX4LxN9K6gv.html "hadoop3: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9")

### 总结

5. [hadoop3.x 常用端口号](https://www.malaoshi.top/show_1IXaEymHhi5.html "hadoop3.x 常用端口号")

6. [配置文件模板](https://gitee.com/65242847/pic/tree/master/hadoop/xml "配置文件")

# 安装 kafka

kafka 集群安装

1. [kafka_2.12-2.4.x集群-安装部署（linux）](https://www.malaoshi.top/show_1IX1zutrFgHw.html "kafka_2.12-2.4.x集群-安装部署（linux）")

2. [kafka_2.12-2.4.x集群-启动、停止](https://www.malaoshi.top/show_1IX1zupVUuaa.html "kafka_2.12-2.4.x集群-启动、停止")

3. [kafka_2.12-2.4.x集群-编写集群启动脚本、停止脚本](https://www.malaoshi.top/show_1IX24ISW5HDt.html "kafka_2.12-2.4.x集群-编写集群启动脚本、停止脚本")

# 安装Maxwell

1. [大数据项目-金融审批实时数据仓库：MySQL 开启binlog](https://www.malaoshi.top/show_1GW1eRlqWgZO.html "大数据项目-金融审批实时数据仓库：MySQL 开启binlog")

2. [Maxwell教程：创建maxwell数据库、创建用户](https://www.malaoshi.top/show_1GW1ePQRWYyG.html "Maxwell教程：创建maxwell数据库、创建用户")

3. [Maxwell1.29.x 安装部署](https://www.malaoshi.top/show_1IX3UARJ3jCo.html "Maxwell1.29.x 安装部署")

# ODS层

[大数据项目-金融审批实时数据仓库-数仓开发之ODS层](https://www.malaoshi.top/show_1GW1emBx3bdy.html "大数据项目-金融审批实时数据仓库-数仓开发之ODS层")

1. [大数据项目-金融审批实时数据仓库：采集数据-增量同步（启动zookeeper、启动kafka、启动maxwell](https://www.malaoshi.top/show_1GW1eSMfUME7.html "大数据项目-金融审批实时数据仓库：采集数据（启动zookeeper、启动kafka、启动maxwell）")

2. [大数据项目-金融审批实时数据仓库：生成数据](https://www.malaoshi.top/show_1GW1eQ6wKpBX.html "大数据项目-金融审批实时数据仓库：生成数据")

3. [大数据项目-金融审批实时数据仓库：采集数据-全量同步（启动zookeeper、启动kafka、启动maxwell）](https://www.malaoshi.top/show_1GW1eUTagrc8.html "大数据项目-金融审批实时数据仓库：采集数据-全量同步（启动zookeeper、启动kafka、启动maxwell）")

# DIM维度层

1. [维度表](https://www.malaoshi.top/show_1IX3BbRckFAU.html "维度表")

2. [大数据-数据仓库分层：DIM维度层](https://www.malaoshi.top/show_1GW1epyzN5TF.html "大数据-数据仓库分层：DIM维度层")

3. [大数据项目-金融审批实时数据仓库-业务表分类：事实表、维度表](https://www.malaoshi.top/show_1GW1eodpxGmr.html "大数据项目-金融审批实时数据仓库-业务表分类：事实表、维度表")

4. [大数据项目-金融审批实时数据仓库-动态维护维度表](https://www.malaoshi.top/show_1GW1erwxHpVg.html "大数据项目-金融审批实时数据仓库-动态维护维度表")

5. [大数据项目-金融审批实时数据仓库-动态维护维度表：创建数据库、表、开启binlog、测试kafka](https://www.malaoshi.top/show_1GW1eu4K8MKN.html "大数据项目-金融审批实时数据仓库-动态维护维度表：创建数据库、表、开启binlog、测试kafka")

- [flink1.12.x source数据源-kafka，从头读取数据](https://www.malaoshi.top/show_1GW1fEc3XVCi.html "flink1.12.x source数据源-kafka，从头读取数据")

6. [大数据项目-金融审批实时数据仓库-DIM层运行、调试程序](https://www.malaoshi.top/show_1GW1fYDiCqHG.html "大数据项目-金融审批实时数据仓库-DIM层运行、调试程序")

# 安装redis

1. [redis教程-linux centos安装（适合大数据）](https://www.malaoshi.top/show_1GW1eAUaxJkr.html "redis教程-linux centos安装（适合大数据）")

原文出处：http://www.malaoshi.top/show_1GW1eSNpD0Z8.html