chjf2010的专栏

hive表数据量统计nation.tbl     25lineitem.tbl   59986052customer.tbl   1500000orders.tbl     15000000partsupp.tbl   8000000part.tbl       2000000region.tbl     5supplier.tbl   100000 hbase表统计：awk -F '|' '...

1. DDL Operations  复制表:create table chjf_test_20bil as select billing_duration,cell_id from lbh_400000w;create view student_view (id, name_length) as  select id, length(name) from student;create tab...

(1)建立一个表格scores  具有两个列族grade 和couresehbase(main):001:0> create 'scores','grade', 'course' 0 row(s) in 0.4780 seconds (2)查看当前HBase中具有哪些表hbase(main):002:0> list TABLE                          ...

hadoop作业调优参数整理及原理 1 Map side tuning参数 1.1 MapTask运行内部原理 当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内...