qq_19553501的博客

使用hdfs进行数据定时采集 逻辑过程： 这是个定时任务，使用timer进行定时任务的进行。新建collectdata类并继承Timer类，在collectdata类中进行run方法的重写。 将待采集数据移动到toupload目录中，然后连接hdfs客户端，在hdfs客户端中利用日期新建目录，将toupload中的带采集数据上传到相应的目录中，然后将toupload中的数据移动到backup...

在配置完flume配置文件dir-hdfs.conf之后，使用命令 bin/flume-ng agent -c conf/ -f dir-hdfs.conf -Dflume.root.logger=INFO,console来启动flume的agent组件，参数含义如下: agent :启动agent组件 -c :指定conf参数，指flume自身的配置文件所在目录 -f :指定conf参数，指我...

转自http://www.keduox.com/dsjjs/769.html 经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开...

1.hadoop版本过高的问题 我的hadoop版本是3.1.0，下载的hive版本是1.2.2，启动hive之后报错显示版本太高，重新下载了2.3.4的版本 2.没有进行元数据初始化 在2.3.4版本下hive成功启动，但是运行的时候抛出运行时异常如下 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMeta...