简述什么是Flume ？

Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统。它基于流式架构，具有灵活性和简单性。Flume支持在日志系统中定制各类数据发送方，用于收集数据，同时提供对数据进行简单处理，并写入各种数据接收方的能力。其设计目标是将应用产生的数据存储到任何集中存储器中，如HDFS或HBase，并保证在数据生产者和数据收容器间提供平稳的数据流。此外，Flume具有可靠性、容错性高、可升级、易管理和可定制等特性。

Flume的基础架构包括多个组件，如Agent、Source、Sink、Channel和Event等。Agent是一个JVM进程，负责将数据从源头通过Source组件收集，然后经过Channel组件进行缓存和传输，最后通过Sink组件将数据发送到目的地。Event是Flume中数据传输的基本单位，代表一条完整的日志记录或数据项。

Flume有两个主要版本，分别是Flume-og和Flume-ng。Flume-og采用了多Master的方式，并引入了ZooKeeper来保存配置数据并确保其一致性和高可用性。而Flume-ng则取消了集中管理配置的Master和Zookeeper，变为一个纯粹的传输工具，并且采用了异步的设计，使得读入线程可以顺畅地工作而无需关注下游的任何问题。

总的来说，Flume是一个功能强大的日志采集、聚合和传输系统，适用于处理大规模、分布式的数据流，并在大数据处理和分析领域得到了广泛应用。