- 博客(105)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HBase -ROOT-和.META.表结构(region定位原理)
HBase -ROOT-和.META.表结构(region定位原理) [url=http://auto.315che.com/dazhongcc/qa24229143-1.htm?agph=wh]咖姥[/url][url=http://auto.315che.com/jingdianquanshun/qa24229610.htm]綘雕[/url][url=http://auto.315...
2017-09-19 21:12:02
3236
原创 Collections.unmodifiableList方法的使用与场景
Collections.unmodifiableList方法的使用与场景 [url=http://auto.315che.com/mini/qa24196114-r1.htm?bk]础挽[/url][url=http://auto.315che.com/zhisheng/qa24215144.htm?kt]砂骨[/url]http://auto.315che.com/crv/qa242...
2017-09-19 21:10:26
2407
原创 gitbook mac 版本的安装
[url=http://auto.315che.com/zhonghuav5/qa24221039.htm?aqot=shod]拾瞅[/url]http://auto.315che.com/yujun/qa24199136-1.htmhttp://auto.315che.com/ruiou/qa24098380-1.htm[url=http://auto.315che....
2017-09-19 21:02:19
4583
原创 [ElasticSearch ]2轻量级搜索
概述ES是一个搜索引擎，我们之所以要使用它就是为了借助它快速构建全文索引，帮助我们快速检索数据。本文接着上篇文章ElasticSearch1初步使用继续来通过blogs索引实例说明如何简单的借助ES实现轻量级搜索功能。问题本文主要以应用ES为基本问题，主要探索ES通过GET方法进行搜索的使用方法。在实验的示例中本文也会简要的描述ES相关的理论知识。如何使用索...
2017-09-19 15:40:28
2091
转载 gitbook mac 版本的安装
from:http://blog.liyibo.org/books-installation-authoring-tool-gitbook/GitBook 是一个命令行工具（也是 Node.js 库），让你能够使用 GitHub/Git 和 Markdown 构建出美丽的书籍，可以包含互动的练习。GitBook 支持使用多种语言构建书籍。GitBook支持输出多种文档格
2015-02-25 10:27:01
4105
转载 Spring <context:annotation-config/> 解说
在基于主机方式配置Spring的配置文件中，你可能会见到这样一条配置，他的作用是式地向 Spring 容器注册AutowiredAnnotationBeanPostProcessor、CommonAnnotationBeanPostProcessor、PersistenceAnnotationBeanPostProcessor 以及 RequiredAnnotationBeanPo
2015-01-08 19:29:08
699
转载 开发hive UDF函数
from: http://blog.youkuaiyun.com/azhao_dn/article/details/69811151）首先创建一个java 项目，命名为HelloUDF，使用默认选项；2）在src目录上右键，选择创建package，命名为com.test.hive.udf；3）在package上右键，选择new class，如下图：
2015-01-04 10:00:25
835
转载 HIVE 数据定义 DDL
coming form:http://blog.youkuaiyun.com/iquicksandi/article/details/8522691Databases in Hive -- 在HIVE 中使用数据库Hive offers no support for row-level inserts, updates, and deletes.Hive do
2014-12-31 14:23:53
911
转载 Collections.unmodifiableList方法的使用与场景
from: http://blog.youkuaiyun.com/kjfcpua/article/details/8548589[java] view plaincopyprint?"code" class="java">在公司接触到Collections.unmodifiableList(Listextends T> list)) 觉得用法挺特殊的，所
2014-11-28 15:22:36
929
转载 Hadoop Configuration详解
from:http://f.dataguru.cn/thread-258563-1-1.htmlHadoop Configuration详解2.2 Hadoop Configuration详解Hadoop没有使用java.util.Properties管理配置文件，也没有使用Apache Jakarta Commo
2014-11-27 15:40:18
929
转载 hive null
from：http://blog.youkuaiyun.com/yfkiss/article/details/7943053hive中NULL默认是以'\N'表示的示例：建表：hive> create table null_test_1(id INT, name STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
2014-11-24 15:45:10
965
转载 学习java笔记 --- 一个实现Iterable<E>接口的小范例
from:http://blog.youkuaiyun.com/yangqinjiang/article/details/7536005
2014-11-19 08:18:07
1754
转载 HBase -ROOT-和.META.表结构(region定位原理)
from:http://blog.youkuaiyun.com/chlaws/article/details/16918913
2014-11-03 18:57:35
807
转载 XML CDATA的作用
from:http://www.cnblogs.com/chenqingwei/archive/2010/04/21/1717237.html操作XML文件时，如果允许用户输入内容，例如∶""、"/"、""等，当生成XML时，会破坏了XML结构，使数据中断。这就要用XML CDATA在XML文档中的所有文本都会被解析器解析。只有在CDATA部件之内的文本
2014-10-27 09:41:49
577
转载 对象的串行化（Serialization）
from:http://www.cnblogs.com/vicenteforever/articles/1471775.html
2014-10-24 10:13:48
704
转载 Spring Autowired(required = false) 说明
from:http://darkmasky.iteye.com/blog/1129828当候选 Bean 数目不为 1 时的应对方法 在默认情况下使用 @Autowired 注释进行自动注入时，Spring 容器中匹配的候选 Bean 数目必须有且仅有一个。当找不到一个匹配的 Bean 时，Spring 容器将抛出 BeanCreationException 异常，
2014-10-23 10:29:37
9107
转载 Junit4 实践参考
from: http://blog.youkuaiyun.com/etaojoey/article/details/7849101
2014-10-22 16:37:30
599
转载 spring 3中新增的@value注解
from:http://jackyrong.iteye.com/blog/1330946在spring 3.0中，可以通过使用@value，对一些如xxx.properties文件 中的文件，进行键值对的注入，例子如下： 1 首先在applicationContext.xml中加入： xsi:schemaLocation="http://www.springf
2014-10-22 08:28:56
798
转载 spring注解中使用properties文件
from:http://dearhappyfish.blog.163.com/blog/static/190109415201376111925653/
2014-10-22 08:23:38
1529
转载 Redis基本操作
From : http://www.cnblogs.com/stephen-liu74/archive/2012/02/13/2349815.html一、概述： 字符串类型是Redis中最为基础的数据存储类型，它在Redis中是二进制安全的，这便意味着该类型可以接受任何格式的数据，如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的V
2014-10-22 08:22:30
601
转载 文本数据导入HBASE库找不到类com/google/common/collect/Multimap
文本数据导入HBASE库找不到类com/google/common/collect/Multimap 打算将文本文件导入HBASE库，在运行命令的时候找不到类com/google/common/collect/Multima[hadoop@hadoop1 lib]$ hadoop jar /home/hadoop/hbase-0.94.6/hbase-0.94
2014-10-22 08:18:54
2746
转载 JUnit4 中@AfterClass @BeforeClass @after @before的区别对比
JUnit4使用Java5中的注解（annotation），以下是JUnit4常用的几个annotation： @Before：初始化方法 对于每一个测试方法都要执行一次（注意与BeforeClass区别，后者是对于所有方法执行一次）@After：释放资源 对于每一个测试方法都要执行一次（注意与AfterClass区别，后者是对于所有方法执行一次）@Test：测试方法，在这里可以
2014-10-22 08:17:24
627
转载 spring InitializingBean接口
最近工作需要得到sping中的每个事物需要执行的sql，称机会简单研究了一下spring的事务，项目中管理事务比较简单，用TransactionTemplate，就直接以TransactionTemplate为入口开始学习。TransactionTemplate的源码如下：public class TransactionTemplate extends DefaultTransaction
2014-10-22 08:17:00
573
转载 propertyplaceholderconfigurer
Spring的框架中为您提供了一个 BeanFactoryPostProcessor 的实作类别： org.springframework.beans.factory.config.PropertyPlaceholderConfigurer。藉由这个类别，您可以将一些组态设定，移出至.properties档案中，如此的安排可以让XML定义档负责系统相关设定，而.properties档可以作为客户根
2014-10-18 14:08:29
603
转载 Spring中Value注解的使用
有的时候我们定义了Properties文件，并且使用Spring的PropertyPlaceholderConfigurer类在Spring配置文件中以占位符的方式替换数据库等配置文件，那么万一我们想将这些属性也同时注入到某个bean中呢？这里做个说明，网上很多资料说的方式我们这里不做介绍，有兴趣的自己去看。我们这里只介绍使用PropertyPlaceholderConfigurer管理起
2014-10-18 10:35:07
1153
转载 Spring@Autowired注解与自动装配
1 配置文件的方法 我们编写spring 框架的代码时候。一直遵循是这样一个规则：所有在spring中注入的bean 都建议定义成私有的域变量。并且要配套写上 get 和 set方法。 Boss 拥有 Office 和 Car 类型的两个属性： 清单 3. Boss.java [java] vi
2014-10-17 15:29:29
923
转载 大数据应用之HBase数据插入性能优化实测教程
引言：大家在使用HBase的过程中，总是面临性能优化的问题，本文从HBase客户端参数设置的角度，研究HBase客户端数据批量插入性能优化的问题。事实胜于雄辩，数据比理论更有说服力，基于此，作者设计了这么一个HBase数据插入性能优化实测实验，希望大家用自己的服务器跑出的结果，给自己一个值得信服的结论。一、客户单优化参数 1.Put List Size HBase的
2014-09-17 09:00:50
1958
转载 Java回调函数的理解
所谓回调，就是客户程序C调用服务程序S中的某个函数A，然后S又在某个时候反过来调用C中的某个函数B，对于C来说，这个B便叫做回调函数。例如Win32下的窗口过程函数就是一个典型的回调函数。一般说来，C不会自己调用B，C提供B的目的就是让S来调用它，而且是C不得不提供。由于S并不知道C提供的B姓甚名谁，所以S会约定B的接口规范（函数原型），然后由C提前通过S的一个函数R告诉S自己将要使用B函数，这个
2014-08-14 18:34:01
543
转载 MySQL:索引工作原理
为什么需要索引（Why is it needed）?当数据保存在磁盘类存储介质上时，它是作为数据块存放。这些数据块是被当作一个整体来访问的，这样可以保证操作的原子性。硬盘数据块存储结构类似于链表，都包含数据部分，以及一个指向下一个节点（或数据块）的指针，不需要连续存储。记录集只能在某个关键字段上进行排序，所以如果需要在一个无序字段上进行搜索，就要执行一个线性搜索（Linear Sear
2014-08-04 15:30:50
468
转载 Hive SQL 编译过程详解
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在 几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为 MapReduce的过
2014-08-01 15:35:16
1135
转载 HIVE中MAPJOIN可以使用的场景分析
最近开发中遇到几种应用，刚好使用MAPJOIN来解决实际的问题。应用共同点如下：1: 有一个极小的表2: 需要做不等值join操作（a.x 这种操作如果直接使用join的话语法不支持不等于操作，hive语法解析会直接抛出错误如果把不等于写到where里会造成笛卡尔积，数据异常增大，速度会很慢。甚至会任务无法跑成功~根据mapjoin的计算原理，MAP
2014-08-01 14:33:17
731
转载 理查德·斯托曼一直是对的
所有反对SOPA的文章之中，有一篇的题目是《理查德·斯托曼一直是对的》，我印象最深。它指出，最近几个月，美国的公民自由严重倒退。先是《国防授权法案》（NDAA）允许政府可以不经任何程序，无限期拘捕具有恐怖活动嫌疑的人；接着是参与"占领华尔街"运动的民众被污蔑成"恐怖分子"；现在又是SOPA，它企图通过控制传播渠道，来抑制信息的流通。这些对公民自由的侵犯，不禁让人联想到，30
2014-05-12 22:54:28
1101
转载 线性表分析及Java实现
数据结构中的线性表，对应着Collection中的List接口。 在本节中，我们将做以下三件事 第一。我们先来看看线性表的特征 第二，自己用JAVA实现List 第三，对比的线性表、链式表性能，以及自己的List性能与JDKList性能对比 线性表特征：
2014-05-11 18:18:31
627
转载 hbase基本概念和hbase shell常用命令用法
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的形式存储数
2014-05-09 23:26:50
825
转载 在虚拟机上同步服务器上的时间_Hbase
局域网内Linux服务器时间同步环境：oracle linux5.6 oracle11gR2.0.2 (active dataguard)最近发现在几个服务器的系统时间不准了，数据库上线才4个多月，都跟正常时间偏差。如下主库：比正常时间快10分钟备库1：比正常时间慢2分钟备库2：比正常时间快4分钟看来是有快有慢。当时设的是主板硬件时间同步（hwclock
2014-05-09 20:47:18
1618
转载 zookeeper的搭建
zookeeper学习笔记1.ZooKeeper1.1 zk可以用来保证数据在zk集群之间的数据的事务性一致。2.如何搭建ZooKeeper服务器集群2.1 zk服务器集群规模不小于3个节点，要求各服务器之间系统时间要保持一致。2.2 在hadoop0的/usr/local目录下，解压缩zk....tar.gz，设置环境变量在vi /etc/profile文件把路径加进来
2014-05-09 14:41:24
841
转载 hive中partition如何使用
网上有篇关于hive的partition的使用讲解的比较好，转载了：一、背景1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表，需要在create表的时候调用可选参数partitio
2014-05-09 08:47:33
958
转载 Hadoop MapReduce架构简介（初学学习不错）
MapReduce采用主从结构，JobTracker作为主节点，TaskTracker作为从节点。 其架构图详见图1所示： 图1 MapReduce架构图1、Client 用户编写的MapReduce程序通过Client提交到JobTracker端，还可通过Client提供的一些接口查看作业的运行状态。在Hadoo
2014-05-08 15:31:50
898
原创 hive的安装（包括mysql）
1.Hive简介1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。
2014-05-08 13:50:22
1665
转载 hive命令的3中调用方式
hive命令的3种调用方式 方式1：hive –f /root/shell/hive-script.sql（适合多语句）hive-script.sql类似于script一样，直接写查询命令就行例如：[root@cloud4 shell]# vi hive_script3.sqlselect * from t1;select count(
2014-05-08 13:47:06
993
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人