H@ppy

[size=medium]分享聚合dump的是评价的数据库，由于数据量超大且经常超时所以进行了数据源的切换，即从数据库dump切换为云梯dump，整个工作就是由一个mr的job去云梯读取数据然后进行一系列转化最后输出数据到文件的过程。 对于MapReduce编程模型，网上有很多文章，自己去学习哈，在这里不再赘述啦~，此处就这次mr的代码进行讲解。 MR的核心一共三个类，[color=re...

[size=medium]hive就是一个将hiveql(其实是sql的子集或者说一点点的超集)语句转化为一系列可以在Hadoop集群上运行的MR的工具，通常在客户端执行 hive 命令（淘宝有ide，所以不用安装hive啦 :wink: ）然后输入 SQL 语句后， hive 将 SQL 语句生成多个 MR 的 job ，然后将这些 job 提交给 hadoop 进行执行，完成后，再把结果放入到...

[size=medium]在把把代码迁移到淘单之前，直接在datedomin里把我的mr打包扔到sns的gateway上去跑的时候，因为有第三方依赖，所以还要设置依赖参数啥的，比较不爽，代码迁移到淘单后，依赖关系一目了然，一并迁移过来就好啦，然后就是把代码打成jar包扔掉gateway上去跑就行咯。。 下面记录下期间抛出的错误哈 [color=red]error 1[/color]：[im...

[size=medium]Join的语法规则： join_table: table_reference JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_referenc...