雨后的空气

转自：http://my.oschina.net/u/189445/blog/595232 两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~ hbase shell命令                            描述 alter修改列族（column family）模式count统计表中行的数量create创建表describe显示表相关的详细信息delete删除指定对...

场景前些天遇到一个问题，要往线上数据库中数据量比较大的表格里添加新的字段，以及赋上默认值，执行的时间比较长，如果直接在原表格的基础上直接执行sql,害怕会将表格甚至是数据库弄成死锁。和团队兄弟聊了聊找到了一种办法，不知道的也可以借鉴一下。解决办法复制表结构到临时表CREATE TABLE t_bdcards_temp LIKE t_bdcards;给临时表格添加一个字段ALTER TABLE t_...

来源： https://blog.youkuaiyun.com/wjandy0211/article/details/78802044大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统...

ssh链接云主机：ssh root@123.59.xx.xx报错：THE AUTHENTICITY OF HOST XX CAN’T BE ESTABLISHED 解决办法：ssh -o StrictHostKeyChecking=no root@123.59.xx.xx输入密码，链接成功 与ssh中Host key verification failed问题一样。 网上很多的解决方案是：vi ~...

一、前言　　在学习了Zookeeper相关的理论知识后，下面接着学习对Zookeeper的相关操作。二、Zookeeper部署　　Zookeeper的部署相对来说还是比较简单，读者可以在网上找到相应的教程，点这里，笔者不再累赘。　　Zookeeper有三种运行形式：集群模式、单机模式、伪集群模式。　　以下实验都是在单机模式下进行。三、服务端　　bin目录下常用的脚本解释　　　　zkCleanup　...

首先什么是T+1模型可以简单理解为数据中的1,2,3,4 ...T, T + 1.可以理解为，今天之前是一个 T单位的数据,新加一天就是（T + 1）单位的数据。这里的T可以理解为每天。然后基本仓库可以分为1.ODS层：    |-sdm每日的增量表数据    |-fdm部分需要保存全量数据的表。注：ODS中保存所有的数据，包括以天为粒度的所有数据，包括多个版本的数据。以及全量数据，对比后的全量数...

2017年06月21日 09:45:00阅读数：391linux 脚本实现程序自动安装#!/bin/bash //设置脚本中所需命令的执行路径PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/binexport PATH // $? 是取得上面执行命令的返回值，一般正确为0，错误为1if [ "$?" != 0 ...

简单之美 2014-12-17 65236 阅读Hue Hadoop HiveHue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapRe...

hue安装需要从github上面下载源码，进行编译安装。github上面给出的安装教程很简单然而实际上在安装的过程中遇到了无数个坑，下面开始真正意义上的从零开始安装hue.安装环境：centOS6.5 64位然后没有Orz(1)jdk的安装(已安装略过)在官网上http://www.oracle.com/technetwork/java/javase/downloa...