Markble

flume数据落盘到hdfs上时，正在写入的文件一般是以.log.tmp结尾的文件，当flume将文件关闭以后将变为：.log 结尾的文件。由于我们使用阿里云的服务器，经常会有个别节点挂掉(进程在，无法通信，需要在阿里云上强制重启机器才行)，导致一些文件写入中断，非正常关闭，造成快信息异常。导致spark报错，流程异常。

1、什么是Apache Hadoop及其优势-- Apache Hadoop 1、Hadoop是一个有Apache基金会所开发的分布式系统基础框架 2、主要解决海量数据的存储和海量数据的分析计算问题 3、广义来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈-- Hadoop优势 1、高可靠性。Hadoop按位存储和底层维护多个数据副本，即使Hadoop某个计算元素或者存贮出现故障，也不会丢失数据。 2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这