flume日志采集部署_Flume日志采集概述

Flume是一个分布式、可靠且可用的大数据日志采集、聚合和传输系统，用于将数据从源端汇聚到目的端。}

Flume，原由Cloudera公司开发，后纳入Apache旗下成为顶级开源项目，是一个高可用、高可靠且分布式的海量日志采集、聚合和传输系统，其核心在于从数据源收集数据，并将这些数据传送至指定的目的地，在保证数据传输成功的过程中，Flume会进行必要的数据处理。

（图片来源网络，侵删）

Flume的特点在于其可定制性，它支持定制各类数据发送方用于收集数据，同时提供对数据进行简单处理并写入到各种数据接受方（同样可定制）的能力，Flume采用了流式架构，所有组件均是可插拔的，用户可以根据自己的需求定制每个组件。

Flume自发展以来，分为两个版本，分别是Flume 0.9x版本，称为 Flumeog （original generation，原始一代）和Flume 1.x版本，称为 Flumeng （next generation，下一代），这两个版本都为大数据领域提供了常用的数据采集框架，而使用Flume采集数据不需要写代码，只需要在配置文件中写几行配置，Flume就会按照配置的流程去采集数据。