小丑八怪的博客

1 内部表和外部表在hive中的表分两种1)外部表 external2)内部表 默认的 也称管理表 managertable区别详解：先创建一个表create table tb_log(id int,name string，age int,gender string)row format delimited fields terminated by ‘,’location ‘hdfs://linux01:8020/data/log/’创建一个表(管理表)c

一、HIVE的安装（Linux）1 、mysql数据 远程连接权限mysql -uroot -p 输入密码set global validate_password_policy=0;set global validate_password_length=1; 这个两个设置以后 密码很简单不会报错4） ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘root’; 把修改密码为root5）grant all privileg

wordcount为例以MR程序的WC为例 如果处理的数据只有四个单词 a b c da 和 c 出现的次数特别多(a/c.hashCode%2=1)–>分区 1 多b 和 d 出现的次数很少 (b/d.hashCode%2=0) -->分区0 少a c -->reduce1 a: iterator<1,1,1,1,1,1,1,1,1,1,1,1,1,1> 时间久(排序 内存)b d -->reduce0 b: iterator<1,1&

order.txt :order011,u001order012,u001order033,u005order034,u002order055,u003order066,u004user.txt:u001,senge,18,male,angelababyu002,ss,58,male,ruhuau003,shuaishuai,16,female,chungeu004,laoyang,28,female,zenggeu005,nana,24,female,huangbou006,d

文件：A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,L… …一、/** * A:B,C,D,F,E,O * B:A,C,E,K * 好友列表作为k：B-->A C-->A D-->A * A-->B C-->B E-->B * 将matask端的value（本人）添加到list集合 集合中任意两人的共同好友即为maptask的key * 再写一个MR聚合

{“movie”:“1193”,“rate”:“5”,“timeStamp”:“978300760”,“uid”:“1”}{“movie”:“661”,“rate”:“3”,“timeStamp”:“978302109”,“uid”:“1”}{“movie”:“914”,“rate”:“3”,“timeStamp”:“978301968”,“uid”:“1”}{“movie”:“3408”,“rate”:“4”,“timeStamp”:“978300275”,“uid”:“1”}… …定义一个Mo

HADOOP的JAVA客户端1 配置Maven仓库修改settings.xml<localRepository>D:\my_repository\repository</localRepository><mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexu