介绍

在实际生产中，经常会有这样的需求，根据原数据，关联外部数据

如：在订单数据中，收货人所在 省的 ID，翻译成 省的名称 ，就需要根据 ID 去查询外部的维度表中的省名称

在 Flink 流式计算中，一般将维度数据存储在 MySQL、HBase、Redis 中，需要进行关联查询，有以下几种解决方案：

• 实时查询维表：每来一条数据，需要查询数据库（MySQL、Hbase、redis），影响性能，几乎不用

• 预加载维表

• 热存储关联。适用于维表数据存储在 MySQL、redis、Hbase中，且数据量较大

  • flink 维表关联、翻译字典-热存储维表-使用AsyncDataStream、RichAsyncFunction 进行异步处理（查询MySQL）

  • flink 维表关联、翻译字典-热存储维表-使用AsyncDataStream、RichAsyncFunction 查询Hbase

  • flink 维表关联、翻译字典-热存储维表-使用asynchbase异步客户端库

  • flink 维表关联、翻译字典-热存储维表-使用AsyncDataStream、RichAsyncFunction 查询Hbase，并缓存到guava cache中

• 广播维表。见下面链接：

  • 链接1
  • 链接2

• Temporal table function join

参考：

https://blog.csdn.net/Yuan_CSDF/article/details/117486259

https://www.cnblogs.com/zz-ksw/p/13223193.html

https://zhuanlan.zhihu.com/p/364830257

https://blog.csdn.net/Yuan_CSDF/article/details/117486259

https://blog.csdn.net/u012447842/article/details/89175772

https://blog.csdn.net/qq_22473611/article/details/107719031

redis：
https://blog.csdn.net/znmdwzy/article/details/107849188

mysql、flink cdc：
https://blog.csdn.net/yswhfd/article/details/121750575