java1440657916的博客

某个目录下有两个文件a.txt和b.txt,文件格式为（ip，username）, 列如： a.txt 127.0.0.1 zhangsan 127.0.0.1 wangxiaoer 127.0.0.2 lisi 127.0.0.3 wangwu b.txt 127.0.0.4 lixiaolu 127.0.0.1 lisi 每个文件至少100万行，请使用Linux命令完成如下工作： 1）每个文件...

在导入hive的时候，如果数据库中有blob或者text字段，会报错，解决方案： clob：在将数据由Oracle数据库导入到Hive时，发现带有clob字段的表的数据会错乱，出现一些字段全为NULL的空行。 由于在项目中CLOB字段没有实际的分析用途，因此考虑将CLOB字段去掉。 同时，为了防止CLOB字段产生一些问题，因此将HIVE中CLOB字段禁用，禁用的方式如下： [Hadoop@mast...

1. hbase与mysql的区别 ①定义：a)MySQL：关系型数据库，主要面向OLTP，支持事务，支持二级索引，支持sql，支持主从、Group Replication架构模型（此处以Innodb为例，不涉及别的存储引擎）。b)HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支...