- 博客(19)
- 收藏
- 关注
RSS订阅原创 Hive内部表与外部表区别，数据导入与数据读取方式小结
1.hive无论是内部表还是外部表，无非就是往对应的hdfs目录复制文件，再以定义的表结构来读取数据。2.hive删除内部表时，会连同数据文件、元数据一起删除，而外部表仅删除表里的元数据，数据文件不会删除。
2015-08-14 14:28:59
7995
1
原创 Hive执行某些命令时报错Specified key was too long; max key length is 767 bytes
hive> create table user(name string,password string);FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: An exc
2015-08-12 17:41:35
563
转载 springMVC web项目 数据库用户名密码加密解密
摘自：http://blog.youkuaiyun.com/zhangt85/article/details/42122311 在使用springMVC开发web项目中，数据库的用户名，密码一般都是配置在.properties文件中然后在通过.xml配置文件引入.properties的变量，例如在config.properties文件中，配置如下变量，变量值配置在pom.xml的profile
2015-07-30 09:29:30
783
转载 HBase的特征和优点
摘自：http://blog.jobbole.com/83614/Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势，HBase本身就是十分强大的数据库，它能够融合ke
2015-07-21 15:54:13
1517
转载 hbase数据模型与简单操作
数据模型1. Hbase数据库采用了和Bigtable非常类似的数据类型，表格是稀疏的；1. row key 行键，table的主键2. timestamp 时间戳，数据操作时对应的时间戳，可以看成数据的version number3. Column Family 列簇，每个family可以由任意多个column组成，列名是:形式；一个表格的族名时固定的，除非使用管理员权限来改变表
2015-07-21 15:46:30
536
转载 Hbase系统架构及数据结构
摘自：http://www.cnblogs.com/johnnyflute/p/3654426.html一、 简介history started by chad walters and jim2006.11 G release paper on BigTable2007.2 inital HBase prototype created as Hadoop
2015-07-21 15:38:30
400
转载 Zookeeper在hbase集群的作用
摘自：http://www.aboutyun.com/thread-6628-1-1.html什么是Zookeeper，Zookeeper的作用是什么，它与NameNode及HMaster如何协作？在没有接触Zookeeper的同学，或许会有这些疑问。这里给大家总结一下。一、什么是Zookeeper ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、
2015-07-21 15:25:38
3853
原创 【排错】Could not reseek StoreFileScanner[HFileScanner for reader reader=hdfs://dmp-nn-1:8020/hbase/...
0: jdbc:phoenix:localhost> select count(*) from bigdata;+------------+| COUNT(1) |+------------+java.lang.RuntimeException: org.apache.phoenix.exception.PhoenixIOException: org.apache.phoeni
2015-07-15 16:40:37
3550
转载 Hadoop节点热拔插（添加 删除节点）
Hadoop节点热拔插（添加 删除节点）一、 Hadoop节点热拔插在Hadoop集群中经常会进行增添节点操作，即实现节点的热拔插。在这些操作中不希望对集群进行重启。2.在集群中添加节点：a. 把新节点IP或者主机名字加入到主节点的slaves文件。b. 登录到新节点，执行：cd $HADOOP_HOME && bin/hadoop-daemon.sh start da
2015-07-15 16:33:49
715
转载 【排错】Failed to replace a bad datanode on the existing pipeline due to no more good ...
错误：java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try.: ?: a/ d V& o" Q K2014-05-07 12:21:41,820 WARN [Thread-115]
2015-07-15 16:29:48
7024
1
转载 Linux 磁盘坏道检测和修复
今天在实验室碰到一台机器，根分区和/upgrade分区变成了read-only system.当碰到这个问题的时候，我的第一反应很可能硬件出现了故障，我使用了如下的方法来检测和排除故障：使用dmesg检查是否有关于磁盘错误的信息，果不其然发现大量磁盘扇区错误的信息，如下：end_request:I/O error, dev 03:06 (sda), sector 从上面的输出我们
2015-07-15 16:26:48
871
原创 handler.OpenRegionHandler: Failed open of region=[表名] ---异常的解决思路
场景描述：由于某些原因（断电、数据文件被人为变动等），导致某一张表（bigtable）无法使用，drop表bigtable长时间后报错，list表中已经不存在bigtable，然而scan 'BIGTABLE'，报错如下：ERROR: org.apache.hadoop.hbase.NotServingRegionException: Region BIGTABLE,,1434443376
2015-06-18 16:30:18
5349
转载 hbase基本概念和hbase shell常用命令用法
原文地址：hbase基本概念和hbase shell常用命令用法1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，
2015-05-25 16:06:16
509
转载 HBase-0.98.0和Phoenix-4.0.0分布式安装指南
目录目录1. 前言2. 约定3. 相关端口4. 下载HBase5. 安装步骤5.1. 修改conf/regionservers5.2. 修改conf/hbase-site.xml 5.2.1. hbase.master.info.port 5.2.2. hbase.master.in
2015-05-25 15:32:06
821
转载 实例讲解虚拟机3种网络模式(桥接、nat、Host-only)
前言很多人安装虚拟机的时候，经常遇到不能上网的问题，而vmware有三种网络模式,对初学者来说也比较眼花聊乱，今天我就来基于虚拟机3种网络模式，帮大家普及下虚拟机上网的背景知识。(博文原创自http://www.cnblogs.com/ggjucheng/archive/2012/08/19/2646007.html)虚拟机网络模式无论是vmware,virtual box,virtu
2015-05-22 10:39:09
386
原创 【亲测可用】sql2005数据库连接不上，错误:233/错误:18452(图解)
数据库连接不上，只能以“Windows身份验证”进入，想用密码认证方式(“SQL Server身份验证”)进入是吗？请往下看解决办法：(1)先以“Windows身份认证”进入数据库，然后在你数据库主机名处右键点“属性”(2)点击“安全性”-->“SQL Sever 和Windows身份验证模式(S)”-->“确认”，会提示“直到重新启动Sql sever...”。...
2011-12-02 18:01:03
309
原创 web.xml的详细配置
一、 1、启动一个WEB项目的时候，WEB容器会去读取它的配置文件web.xml，读取和两个结点。 2、紧急着，容创建一个ServletContext（servlet上下文），这个web项目的所有部分都将共享这个上下文。 3、容器将转换为键值对，并交给servletContext。 4、容器创建中的类实例，创建监听器。 二、 load-on-startup 元素在web应用...
2011-12-01 17:49:48
113
原创 web.xml中一些标签的解释
--web容器参数 contextConfigLocation --参数名称（就是你自己到时候调用Spring时候在容器中寻找的资源名称） /WEB-INF/applicationContext-*.xml --参数值（指你配置的资源地址） --标签后缀不用解释吧 --过滤器标记 struts2 --过滤器名称可以按自己的想法去给名字 org...
2011-12-01 17:36:47
178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人