为什么flume和kafka通常要共同使用

为什么保存成日志文件

一般,用户访问日志数据(如:用户登陆、浏览、搜索、分享、点击),系统运行日志(如:CPU、内存、磁盘、进程、网络)等方面的数据,通常 保存成 日志文件。

通常这些功能由另一个项目组实现,所以可能不会直接发送给 kafka

采集日志文件

一般使用 Flume 读取上面的 日志文件,在实时架构中,读取到一行,发送给 Kafka,然后 flnk 从 kafka读取数据

为什么 flume 不直接发送给 flink

如果Flume直接对接实时计算框架(如:flink),当 数据采集速度 大于 数据处理速度,很容易发生数据堆积或者数据丢失,而kafka可以当做一个消息缓存队列,当数据从数据源到flume再到Kafka时,数据一方面可以同步到HDFS做离线计算,另一方面可以做实时计算,可实现数据多分发。

参考:
https://blog.csdn.net/qq_47183158/article/details/112179052
https://blog.csdn.net/qq_37466640/article/details/103425555


原文出处:/show_1IX4CD7tMAqd.html