lanyizheng blog

一.运行环境操作系统：ubuntu14.04 hadoop版本：hadoop-2.5.2二.操作步骤我在自己电脑上搭建的是hadoop伪分布式的配置，所以wordcount实例只是在一台机器上运行的。 在机器上，我的hadoop 安装目录时/usr/local/hadoop,这里我没有配置环境变量，因此是直接在目录下执行的，首先是进入hadoop安装目录 cd /usr/local/hadoop

1.启动整个集群：{HBASE_HOME}/bin/start-hbase.sh 2.停止整个集群：{HBASE_HOME}/bin/stop-hbase.sh 3.启动或停止所有的regionserver或zookeeper或backup-master： {HBASE_HOME}/bin/hbase-daemons.sh 4.启动或停止，单个master或regionserver或z

一.与HBase的映射关系在phoenix中创建表格会自动映射到hbase中 如下sql语句,create table hbase_col_test( pk varchar not null primary key, ---主键映射到HBase中的Rowkey中 "cf1"."col1" varchar, ---对应HBase中的列族cf1,列名为co

1.准备条件phoenix与Hbase已经安装好 phoenix-4.3.0 hbase-0.982.客户端使用（服务器上使用客户端）在客户端创建如下文件test.java：import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLExcepti

一.介绍BloomFilter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法，通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。二.解释说明我们举个例子，假设我们需要写一个(web crawler),由于网络链接错综复杂，在爬行很可能形成”环”，为了避免这种情况的出现，我们需要知道蜘蛛已经访问过的那些URL,给一个URL，怎样知道是否已经访问过呢，

1.区别Hive创建内部表时，会将数据移动到数据仓库指向的路径； Hive创建外部表时，仅记录数据所在的路径，不对数据的位置做改变。 在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删元数据，不删除数据，这样看来，外部表相对来说更加安全些，数据组织更加灵活。元数据： 表示数据的数据，对数据及信息资源的描述性信息。2.具体操作1.创建内部表：create table if not e

命令行的操作quit/exit 退出交互shellreset 重置配置到默认值set key=value 设置配置变量的值set 打印所有的配置变量 （被hive或用户覆盖的变量）add FILES/JARS/ARCHIVES {filepath} {filepath}* 在分布式缓存中添加文件，jar包，或archiveslist FILES/JARS/ARCHIVES

一.与hbase 的映射1.空表格映射在phoenix中创建表格，会自动映射到hbase中，我们可以通过hbase shell 来查看。举个例子，我们创建了一个表，create table hbase_col_test( pk varchar not null primary key, //primary key 映射到hbase 中的rowkey

1.方案这里我们通过Jpype和JayDeBeApi 来连接2.过程这里我列出实例代码：import jpypeimport jaydebeapiimport osphoenix_client_jar="/data/users/huser/phoenix/phoenix-4.3.0-client.jar"args=='-Djava.class.path=%s'% phoenix_client

1.准备条件相关依赖包安装好2.安装过程监控节点安装1.yum install -y ganglia ganglia-gmetad ganglia-web ganglia-gmond 2.修改/etc/ganglia/gmetad.conf data_source “Hadoop” {主机IP}:8649 其中hadoop为集群名 3.修改/etc/ganglia/gmond.conf

在《HBase权威指南》中看到这样一段话，对于理解HBase的物理存储是很有帮助的： The HResionServer opens the region and creates a corresponding HRegion object. When the HRegion is opened is sets up a Store instance for each HColumnFamily

这里就不讲详细的步骤，主要说明几个重要的配置： 在/conf/hive-site.xml 文件中需要配置HIVE_AUX_JARS_PATH，这里面尝尝容易缺少包，我将我的配置放在这里：<property> <name>hive.aux.jars.path</name> <value>file:///opt/hive/lib/guava-14.0.1.jar,file:///opt

schema概念一个Schema定义了一个多维度的数据库，它包含了一个逻辑模型（其中包含了cubes,hierarchies，members），模型对应的物理模型的映射。逻辑模型包含的这些结构用来在MDX语言中写查询：cubes,dimensions,hierarchies,levels,members.物理模型通过逻辑模型展现的数据源，它一般是星型结构（在关系型数据库中的一系列表）。sch