Azkaban 是一款开源的分布式工作流调度工具,由 LinkedIn 开发并捐赠给 Apache 社区(目前属于 Apache 顶级项目),核心用于调度、监控和管理一系列关联的任务(Job),尤其适用于大数据场景下的离线任务编排(如 Hadoop、Spark、Hive 任务等),也可支持 Shell、Python、Java 等各类脚本/程序的定时/依赖执行。
elasticsearch 评分算法TF-IDF
flink1.12.x 算子有成员变量时,该成员变量必须实现Serializable序列话接口
flink1.12.x 算子运算时,不要抛出异常,否则可能会导致其他算子无法继续运行,抛出Interrupted after 0 tries while maxAttempts=16异常
Flink CDC2.0 数据格式和op事件分类(c、u、d、r)
hbase2.1.x java 连接Hbase、关闭连接
大数据项目-金融审批实时数据仓库-DIM层运行、调试程序
Maxwell1.29.x type事件类型(bootstrap-start、bootstrap-complete、bootstrap-insert、insert、update、delete)
flink1.12.x source数据源-kafka,从头读取数据
kafka教程-从头消费数据:查看偏移量、删除偏移量