介绍
Maxwell是一个能实时读取MySQL 二进制日志 binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。
官网:
(http://maxwells-daemon.io)
GitHub(https://github.com/zendesk/maxwell)
应用场景
- ETL
- 维护缓存
- 收集表级别的dml指标
- 增量到搜索引擎
- 数据分区迁移
- 切库binlog回滚方案
功能
- 支持
SELECT * FROM table的方式进行 全量数据 初始化 - 支持在主库发生failover后,自动恢复binlog位置(GTID)
- 可以对数据进行分区,解决数据倾斜问题,发送到kafka的数据支持database、table、column等级别的数据分区
依赖
依赖 kafka
下载
通过官网 更新日志 可知:
v1.30.0
- support server-sent heartbeating on the binlog connection via —binlog-heartbeat
- can connect to rabbitmq by URL, supports SSL connections
- fix parser bug with multiline SQL
- target JDK 11 — we have dropped support for JDK 8
- ability to send a microsecond timestamp via —output_push_timestamp
- fixes for odd azure mysql connection failures
1.30.0 版本使用 JDK11,所以下载前一个版本,即:v1.29.2