- 博客(48)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 深入分析HBase Compaction机制
转载至：http://blog.youkuaiyun.com/hljlzc2007/article/details/10980949Compaction介绍Compaction是buffer->flush->merge的Log-Structured Merge-Tree模型的关键操作，主要起到如下几个作用：1）合并文件2）清除删除、过期、多余版本的数据3
2014-02-28 14:20:55
14449
原创 hbase 写操作参数优化
一，客户端client1, autoflush 设置 false2, client writebuffer（默认2M） 大小设置，客户端缓存，减少服务端rpc调用次数二，服务端hregionserver 1. region.max.filesize 大小设置，防止系统split操作 2，hbase.regionserver.g
2014-02-25 18:21:04
1363
原创 hbase 数据写入过程习知
一，客户端client 1, Htable API 调用put方法发送写入请求，zookeeper查找系统表.ROOT.定位.mete.表存储位置, 2, 到定位的HRS(hregionserver)根据tablename以及rowkey直接定位region的HRS 3, 定位了region的HRS，接着client 跟 hregionserver通信，处理region写请求
2014-02-25 18:08:00
5048
转载 图解linux下top命令的使用
top命令经常用来监控linux的系统状况，比如cpu、内存的使用，程序员基本都知道这个命令，但比较奇怪的是能用好它的人却很少，例如top监控视图中内存数值的含义就有不少的曲解。本文通过一个运行中的WEB服务器的top监控截图，讲述top视图中的各种数据的含义，还包括视图中各进程（任务）的字段的排序。 top进入视图top视图 01【top视图 01
2014-01-24 14:11:00
702
转载 揭开Linux的Swap之谜
为什么选择Linux？因为Linux能让你掌握你所做的一切！ 为什么痛恨Windows？因为Windows让你不知道自己在做什么！ 这就是我喜欢Linux的原因。只要我愿意，我可以将底层的系统运行机制看得清清楚楚，可以掌握一切。而Windows尽管界面漂亮，却让你总也猜不透她心里想什么。我不喜欢若即若离的感觉。 如果你一看到这个标题就觉得头疼，或者对Linux的内部技术根
2014-01-17 13:54:17
802
转载 Java线程池与工作队列
简介： 贴在我们多线程 Java 编程论坛上最常见的问题之一是“怎样创建线程池？”。几乎在每个服务器应用程序中都会出现线程池和工作队列问题。本文中，Brian Goetz 探讨了线程池的动机、一些基本实现和调优技术以及一些要避免的常见危险。为什么要使用线程池诸如 Web 服务器、数据库服务器、文件服务器或邮件服务器之类的许多服务器应用程序都面向处理来自某些远
2013-09-05 16:02:08
832
转载 hadoop远程客户端安装配置、多用户权限配置
hadoop远程客户端安装配置客户端系统：ubuntu12.04客户端用户名：mjiang服务器用户名：hadoop下载hadoop安装包，保证和服务器版本一致（或直接copy服务器的hadoop安装包） 到 http://mirror.bjtu.edu.cn/apache/hadoop/common/ 下载tar.gz安装包，解压。tar zxvf had
2013-08-05 16:03:14
1630
原创 Linux下安装启动多个Tomcat
如何在Linux下安装启动多个Tomcat 1. 环境： 1.1. Red Hat Linux 9 1.2. Tomcat 5.5.17 2. 需要解决一下几个问题 2.1. 不同的tomcat启动和关闭监听不同的端口 2.2. 不同的tomcat的启动文件startup.sh 中要指定各自的CATALINA_HO
2013-07-06 17:05:02
1080
转载 infobright安装与配置
Infobright是基于专利技术的列式数据库，一个基于MySQL开发的开源数据仓库（Data Warehouse）软件，可作为MySQL的一个存储引擎来使用，SELECT查询与普通MySQL无区别。一、几大优点：1、高压缩比率，平均压缩比可达10：1。（经测试，我们的1500万条697M日志数据压缩比例为6：1，压缩后数据大小仅为114M）2、列存储，即使数据量十分巨大，查询速度也很
2013-04-27 11:03:56
7850
转载 hadoop管理NameNode AND SecondaryNameNode
光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好并正确的使用 snn
2013-03-31 19:01:53
606
转载 mapreduce 习知
摘要: 作者的目的是讨论MapReduce是否应该继续提供“免费的午餐”，但作者在文中用比较通俗的语言对MapReduce的原理进行了讲解并给了例子，我相信这对不熟悉MapReduce的人来说是个非常不错的入门文章 ...编者注：本文来源于孟岩的博客，原文为《Map Reduce – the Free Lunch is not over?》，作者的目的是
2013-03-29 11:18:58
1557
转载 深入浅出JSONP：解决AJAX跨域问题
取不到数据！上周客户新买了服务器，原本在旧的服务器上放着客户的Web主页信息和一个后台程序(asp.net)，在客户的主页中有一个动态显示最新消息的处理，这个处理就是通过ajax异步从那个后台程序中取得的。由于又购买了新的服务器，客户想把web主页和那个后台程序分开来，后台程序被部署到了新的服务器上。不过这个项目是我的同事小福同志开发的，也就由他来把程序分开部署，然后进行一些小改动。"怎么
2013-03-25 15:33:12
767
原创 揭露MyEclipse JVM内存不足的内幕
myeclipse-------jvm--------内存不足tomcat-------jvm--------内存不足
2013-03-18 22:21:37
729
转载 lzo文件的并行map处理
http://share.blog.51cto.com/278008/663555Hadoop集群中启用了lzo后，还需要一些配置，才能使集群能够对单个的lzo文件进行并行的map操作，以提升job的执行速度。 首先，要为lzo文件创建index。下面的命令对某个目录里的lzo文件创建index：$HADOOP_HOME/bin/hadoop jar $HADOOP_HOM
2013-03-05 14:45:41
1195
原创 mysql5.5 修改字符不能启动问题
start mysql. The restart(8) utility is also available.start: Job failed to start这么写OK了： On MySQL 5.5 I have in my.cnf[mysqld] init_connect='SET collation_connection = utf8_unicode_ci' init
2013-03-04 15:40:02
567
原创 Ubuntu下vi编辑器使用难解决
主要是ubuntu中有自己默认的vi-common编辑器，我们正常所使用的是vim编辑器，所以只需要2步就搞定一.执行命令 sudo apt-get remove vim-common二.执行命令 sudo apt-get install vim
2013-03-03 13:59:28
882
转载 virtualbox中ubuntu配置静态ip地址及DNS
环境：windows 7 SP1virtualbox 4.1.4 r74291ubuntu 11.10virtualbox中安装ubuntu虚拟机之后，启动ubuntu，在virtualbox的“设备→分配网络连接→连接方式”中选择bridged adapter，这样设置之后虚拟机便有独立的局域网ip。但可能是由于本人安装了多个虚拟机，且虚拟机多次开启和关闭，有时一个虚
2013-01-28 11:48:15
6795
1
原创 ubuntu12.10 软件安装集合
系统性能监控：sudo apt-add-repository ppa:alexeftimie/ppasudo apt-get updatesudo apt-get install indicator-sysmonitor安装完成后，到usr/share/applications/手动启动System Monitor Indicator，并进行相应的设置，也可以不用进行设
2013-01-24 12:44:56
726
转载 linux shell 字符串操作（长度，查找，替换）详解
在做shell批处理程序时候，经常会涉及到字符串相关操作。有很多命令语句，如：awk,sed都可以做字符串各种操作。 其实shell内置一系列操作符号，可以达到类似效果，大家知道，使用内部操作符会省略启动外部程序等时间，因此速度会非常的快。 一、判断读取字符串值表达式含义${var}变量var的值, 与$var相同
2012-08-15 11:17:28
522
转载 awk简单教程
第一个 awk让我们继续，开始使用 awk，以了解其工作原理。在命令行中输入以下命令：$ awk '{ print }' /etc/passwd您将会见到 /etc/passwd 文件的内容出现在眼前。现在，解释 awk 做了些什么。调用 awk 时，我们指定 /etc/passwd 作为输入文件。执行 awk 时，它依次对 /etc/passwd 中的每一行执行 print 命令
2012-07-25 14:20:09
512
转载 数据倾斜总结
转载:http://blog.youkuaiyun.com/lovingprince/article/details/7264549几个比较特殊的点都提到了，大家可以作为参考。在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于
2012-07-23 17:44:08
508
转载 基于MySQL和Infobright的数据仓库技术
除非你最近在一个荒岛上，否则你不可能不知道，数据仓库/分析/商务智能( BI )领域正在飞速发展。许多年前，当行业分析师群体调查CIO最优先考虑的事时，BI排第十位 。然而，他于2006年跃升到了第二位，今天，根据Gartner Group分析已经跃居第一位了。这没有什么神秘的原因：在激烈的经济竞争中所有行业和智能企业需要利用其内部的数据来做出重要的商业决策，包括战术和战略两方面，以保持行业的领先
2012-07-18 11:12:33
1413
转载 Hadoop完全分布式配置
环境：CentOs5、hadoop0.20.203、jdk1.6.0_29namenode:centos1(ip:192.168.1.101)datanode:centos2(ip:192.168.1.103)、centos3(ip:192.168.1.104)配置步骤：（1）配置NameNode和DataNode修改每台机器的/etc/hosts(包括namenode和dat
2012-05-30 09:43:57
533
转载 开源BI系统简述
1. 概述开源的BI项目在在2005年之前并没有太大的发展，到了2005年才开始呈现繁荣之势，并在2006年蓬勃发展。这些众多的BI项目从规模和对BI系统支撑的完善程度上来说，大体可以分为Framework、Stand-alone Tools和BI Suit三种类型。l Framework开源框架，这是在商业BI系统中所没有的。我们可以使用它们来构建自己的BI工具，
2012-03-28 17:55:47
634
转载 pentaho源码分析
Pentaho项目主要分三个部分：ü pentaho引擎（这部分以后基本很少变动）ü pentaho-solution(解决方案，也就是以后根据不同的需求重点建设的部分)ü pentaho-style（这是一个独立的应用，专职负责显示的样式）Pentaho首页研究笔记（Home.jsp） 首页的模板是 ${solution-p
2011-12-02 12:48:41
2143
转载 java参数传递（超经典）
Java中的参数传递机制一直以来大家都争论不休，究竟是“传值”还是“传址（传引用）”，争论的双方各执一词，互不相让。不但“菜鸟”们一头雾水，一些“老鸟”也只知道结果却说不出所以然来。我相信看过下面的内容后，你就会明白一些。先看基本类型作为参数传递的例子：public class Test1 { public static void main(String[] a
2011-11-23 20:49:56
587
转载 你的SimpleDateFormat起作用了吗？TimeZone问题
通过SimpleDateFormat格式化日期输出是一种常见的用法，如下：SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");System.out.println(sdf.format(new Date()));如果上述代码正常工作，它将显示当前的日期年月日时分秒格式。但是有时候它并没有如
2011-11-20 09:57:16
4108
原创 SQL 之面试宝典
Student(S#,Sname,Sage,Ssex) 学生表Course(C#,Cname,T#) 课程表SC(S#,C#,score) 成绩表Teacher(T#,Tname) 教师表1、 查询“001”课程比“002”课程成绩高的所有学生的学号；SELECT S#FROM (SELECT S#, SUM((CASE WHEN C#
2011-11-13 14:09:26
4815
原创 sql之exists 用法
表 stu --------学生表（id,s_name）表cla---------课程表（id,c_name）表 stu_cla --------------学生选课表（id,stu_id,cla_id）这种表关系其实存在需要业务功能，具体查询功能1.返回没有选修的记录SELECT Stu.ID, Stu.s_name, Cla.ID AS Expr1, C
2011-11-11 11:49:48
887
原创 sqlserver/oracle update set from 写法
a表 b表 结构分别 id ,name , id,memob表的memo需要对照a表 关键ID相同就可以更新，语句如下update b set memo = a.name from a,b where a.id = b.id 这个就是只更新from内的结果集，等效于下面的sql：update b set memo=(select max(a.name) f
2011-11-10 15:34:17
5233
1
转载 httpsession 详细内容整理
http://www.iteye.com/topic/960652一个帐号多地方登录 比如： 你用abc帐号登录了baidu.com,有打开了一个浏览器，又用abc帐号登录了一次。当不设计敏感操作时，这无所谓，而当你做一些敏感操作时就必须禁止这样情况，
2011-10-18 11:14:47
460
转载 Spring Jms入门实例
Spring JMS Spring框架提供了一个模板机制来隐藏Java APIs的细节。开发人员可以使用JDBCTemplate和JNDITemplate类来分别访问后台数据库和JEE资源（数据源，连接池）。JMS也不例外，Spring提供JMSTemplat
2011-08-13 10:51:57
521
转载 通通透透理解ThreadLocal
概述我们知道Spring通过各种DAO模板类降低了开发者使用各种数据持久技术的难度。这些模板类都是线程安全的，也就是说，多个DAO可以复用同一个模板实例而不会发生冲突。我们使用模板类访问底层数据，根据持久化技术的不同，模板类需要绑定数据连接或会话的资源。但这些资源
2011-08-12 12:23:05
561
转载 context-param>配置是起什么作用的
1.启动一个WEB项目的时候,容器(如:Tomcat)会去读它的配置文件web.xml.读两个节点: 和 2.紧接着,容器创建一个ServletContext(上下文),这个WEB项目所有部分都将共享这个上下文.3.容器将转化为键值对,并交给ServletContext
2011-08-09 20:01:31
1037
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人