TU_JCN的博客

代码】hive，登录日志，计算每个人连续登录的最大天数。

一、IOT表的优化1、IOT表现状IOT数据采集表采集IOT设备每秒钟数据，存入hbase，rowkey为时间戳+设备名，按时间进行预分区；其中，一张IOT表里，有10个设备每秒钟采集6个自己区域的监测值，一天的数据为10*(60*60*24) = 844000条数据列为：每个设备的监测区域ID（如AacW6cTXG20、AacW6cTXG21、AacW6cTXG23…）+ 设备ID，一共10*6+1=61列。如果，要通过Pheonix查询，需要在pheonix中建立相应映射

get：按照RowKey获取唯一一条记录。get的方法处理分两种：设置了ClosestRowBefore和没有设置ClosestRowBefore的RowLock。主要用来保证行的事务性，即每个get是以一个row来标记的。get 后面可以跟table表名，rowkey,以及column，value.但是如果想通过get直接获取一个表中的全部数据是做不到的，这种情况就要用到另外一个命令scan。scan：scan的用法很多，可以直接扫描全表信息，也可以通过指定条件来显示我们所需要获取的数据.

[Errno 14] HTTP Error 404 - Not Found Trying other mirror.中科大镜像源1、首先备份一下，免得误操作cd /etc/yum.repos.dmv CentOS-Base.repo CentOS-Base.repo.backup2、选择对应版本的 CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo文件, 放入/etc/yum.repos.d/操作前请好相应备份，本机centos版本为7，所

摘自一、 HBase 客户端优化1.1 Scan操作的缓存设置是否合理通常来讲一次scan会返回大量数据，因此客户端发起一次scan请求，实际并不会一次就将所有数据加载到本地，而是分成多次RPC请求进行加载，这样设计一方面是因为大量数据请求可能会导致网络带宽严重消耗进而影响其他业务，另一方面也有可能因为数据量太大导致本地客户端发生OOM。在这样的设计体系下用户会首先加载一部分数据到本地，然后遍历处理，再加载下一部分数据到本地处理，如此往复，直至所有数据都加载完成。数据加载到本地就存放在scan缓