大数据项目-金融审批实时数据仓库-DIM层运行、调试程序-马育民老师

# 第一次运行

### 创建hbase命名空间

```
hbase shell
```

```
create_namespace 'fl_realtime'
```

# 重新开始

如果出现数据错误，可通过下面方式，重新开始

### 1.删除finance_lease所有表

生成测试数据的程序，只第一次运行才创建表、并向事实表、维表添加数据。之后再次运行，只是向 `credit_facility`、`credit_facility_status` 等事实表添加数据

所以要删除所有表，否则 maxwell 无法监听 维表创建表、向维表插入数据

**提示：**maxwell全量采集是可以的，但执行命令稍麻烦

### 2.删除kafaka主题（可略）

如果不删除主题，数据太多，不方便调试数据

1. 断开 **所有** 消费 `fl-db` 主题的消费者（否则删除无效）

2. 删除主题
```
kafka-topics.sh --bootstrap-server hadoop1:9092 --delete --topic fl-db
```

3. 查看该消费组的主题
```
kafka-topics.sh --bootstrap-server hadoop1:9092 --list
```

### 3.启动maxwell

```
bin/maxwell  --config config.properties   --daemon
```

### 4.删除hbase表

启动hbase shell
```
hbase shell
```

查看命名空间：
```
list_namespace
```

禁用所有表：

```
disable_all 'fl_realtime.*'
```

删除所有表：

```
drop_all 'fl_realtime.*'
```

删除命名空间：
```
drop_namespace 'fl_realtime'
```

### 运行flink程序

# 重新读取kafka数据

数据没有问题，只是要重新读取kafka数据，可通过下面方式处理：

如果不删除主题，数据太多，不方便调试数据

1. 断开 **所有** 消费 `fl-db` 主题的消费者（否则删除无效）

2. 查看某 group组 的消费偏移量
```
kafka-consumer-groups.sh --bootstrap-server hadoop1:9092 --group group_fl_dim --describe
```

3. 删除消费偏移量
```
kafka-consumer-groups.sh --bootstrap-server hadoop1:9092 --group group_fl_dim --delete-offsets --topic fl-db
```