
大数据
MyName_kk
其实你所羡慕的一切,都是别人有备而来的结果罢了。
展开
-
查看使用linkedIn Camus 把Kafka中的数据导入HDFS中生成的.deflate文件
在使用Camus好不容易把kafka中的数据导入了HDFS,但是直接download后打开,显示的会是乱码。经查询,带.deflate后缀的文件是使用DEFLATE算法压缩过的,所以要查看,只需使用hadoop的命令即可:hadoop dfs -text /user/kafka-topic.deflate...原创 2018-03-27 17:36:30 · 1271 阅读 · 5 评论 -
从概念上弄清楚hive和hbase区别
最新在学习大数据,期间一直弄不清楚hive和hbase之前的区别及使用场景,经查阅资料得出如下总结! Hive中的表是纯逻辑表,就只是表的定义等,即表的元数据。Hive本身不存储数据,它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表,并提供完整的SQL查询功能,并将SQL语句最终转换为MapReduce任务进行运行。 而HBase表是物理表,适合存...原创 2018-04-27 14:26:44 · 464 阅读 · 0 评论