- 博客(49)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 HBase入门到精通——培训资料分享
包括：《大数据存储之道-HBase介绍》《HBase设计：用与不用的智慧》《HBase使用之基础与原理》《HBase使用之建模与使用》另外深度实践篇和系统调优篇主要是经验，可以从网络收集。主要内容包括：应用层设计模式、架构（多级缓存设计、混合数据源使用）、优化配置如scan一次获取的条数，notcpdelay，重试机制等，也可以看asynchbase客户端代替原生hbase
2014-01-23 15:49:16
1747
原创 SQL到NoSQL概览性总结之一 数据库应用场景选型
面对不同的场景，不知道数据应该怎么存储？数据量很大？查询很复杂？数据库到底该怎么用？请持续关注该系列
2013-11-01 00:20:37
2168
原创 HBase的Compact和Split源码分析与应用--基于0.94.5
经过对比，0.94。5以后版本主要过程基本类似（有些新功能和细节增加） 一、 Compact2.1. Compact主要来源来自四个方面：1、Memstoreflush时；2、HRegionServer定期做Compaction Checker时；3、HBaseAdmin客户端发起的请求；4、CompactTool发起。1) MemstoreFlu
2013-10-29 12:00:01
10134
转载 Apache Avro 与 Thrift 比较
从Avro官网上摘要：avro类似thrift、Protocol Buffers、但有以下不同：Protocol Buffers动态类型: 不需要代码实现。 Data is always accompanied by a schema that permits full processing of that data without code generation, stati
2013-10-28 18:40:48
981
原创 利用开源软件架设中小型私有云存储系统【简要选型】
本文给出了可行的开源参考。应当以一种敏捷、快速和高效的方式开始云存储服务的旅程。并不是所有的舰艇都是航母，没有最好的软件，只有最合适的。因此开始你的旅程吧。这里建议多种利用开源系统实现的私有云存储实现方案，快捷迅速。对于公有云存储，如果没有经验，更多的技术和系统要求，需要实践积累，因此不做推荐。Hadoop、HBase、FastDFS...
2013-10-23 05:32:50
4281
3
原创 HBase在京东的完善与创新
随着大数据处理时代的到来，NoSQL风生水起。京东作为国内最大的综合网络零售商，随着业务数据量爆发式增长，传统的关系数据库在海量数据面前开始显得捉襟见肘，于是京东云平台在Hadoop生态集群经验积累的基础上，引入了HBase作为海量数据存储的基础设施。虽然引入时间不长，但京东数十个业务系统已经使用了HBase，包括实时在线业务、离线批量计算业务、批量导入兼在线访问等业务类型。为了提高资源利用率，多
2013-10-18 11:33:17
1804
原创 HBase模式设计之ID顺序增长（rowkey顺序增长）
在设计RowKey的时候，常常有应用的RowKey必须包含ID部分，这样才可以支持查询访问。但ID自增长，会导致写入数据的时候压力集中在某一个或少数几个Region上，这是HBase设计的大忌。 经过多个应用的实践，我创造了ID的二进制反转的方式来避免。 简单说明: 比如ID是Byte型(一般为int或者long，此处为方便解释)，RowKey=ID+timestamp，1,2,3
2013-09-24 02:14:12
7869
原创 因为NFS无法访问导致应用挂起/Java的原因和跟踪（交流，提醒，供思路分析）
现象描述: 无论通过命令行还是手动执行启动，tomcat实例均在加载配置文件时卡住，导致启动失败。 1. 首先查看catalina.out日志，有Log4j的实例停住了，但不能确定是哪个线程阻塞；2. jstack查看线程信息，有outputStream.openAppend()这个方法上，一直没有返回，因此确定IO句柄不能获得——在读取一个文件的时候挂死了。3. 检查相关的代码是
2012-12-19 01:12:07
1484
原创 系统架构书籍推荐
《企业应用架构模式》《软件架构的艺术》《J2EE核心模式》四人帮《设计模式》——推荐其他衍生书籍。《架构实战—软件架构设计的过程》英文版最好，中文翻译的太差。《J2EE反模式》《POSA》的5本（《面向模式的软件架构》系列）《架构之美》《模型驱动设计》---------------------系统架构，要考虑商业概念和系统级高层思想，因此，对需求等方面也
2012-03-19 11:33:27
2548
原创 现有产品选型和决策依据（抛砖引玉）
实现一个大的系统，需要很多系统/模块，有些是存在的、开源的，如何选型，成为节约成本的一个重要方面。下面就当前一个项目应用的原则分享如下（不深刻，但实用）：1. 功能和性能满足的情况下，哪种学习曲线最短。2. 如果功能性能有所取舍，各有所长，不妨只找出可能最重要的两三个长处，两三个短处，尽量可以征求需求工程师意见，给这些不妨打分。一个基本原理：先简单后通用。3. 如果难以取舍，考
2012-03-13 15:20:53
1142
转载 CentOS 下安装Nginx 0.8.30 + PHP 5.3.1+MySQL 5.5.0
一时兴起，把电信的“企智通”拆了，换个40G硬盘。在其它电脑上把centos5先装进硬盘，再装到企智通，开机，直接SSH上，哈哈！接下来我就要安装Nginx 0.8.30 + PHP 5.3.1+MySQL 5.5.0。开始部署，我只按步骤列命令了：1.安装编译库，GD库#yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-d
2012-03-12 10:42:14
1239
原创 全局自动ID生成器设计
最初场景：在无状态分布式系统中，数据库采用分库分表，因此无法依赖各个数据库进行统一的ID管理。实现目标：简单高效。技术要求：低，但有技巧。1. 目的：在分布式或者负载均衡集群中，为了保证全局唯一ID，使用统一的全局ID控制策略，对同一空间进行唯一ID控制；2. 使用场景：分布式系统的用户注册ID、消息ID等；3. 设计思想：
2012-03-08 14:15:49
2135
原创 分布式缓存Memcached之Java使用篇
一、Memcache的客户端类型:1. 官方提供的基于传统阻塞io由Greg Whalin维护的客户端https://github.com/gwhalin/Memcached-Java-Client/wiki 2. Dustin Sallings实现的基于java nio的Spymemcachedhttp://code.google.com/p/spymemcached
2012-03-07 08:59:44
2530
原创 分布式缓存Memcached之安装细节篇
总结安装的几类问题和安装使用细节（部分资料从网上学习，具体地址忘了请使用关键词搜索）Memcached的安装一、 Memcached的安装环境 生产环境一定是在Linux/Unix下面的，但是windows下提供了开发可用的memcached：http://code.jellycan.com/memcached。Windows下直接解压（http://code.jel
2012-03-06 14:38:58
1531
原创 基于MySQL分库分表方案简介
一、 背景介绍1．大数据量的存储需要大量的数据库资源；2．数据量的不断增长要求数据库存储具有可扩展性；3．在保证大数据量的情况下，要保证性能、高可用性等质量要求；4．现有框架中没有彻底解决大数据量的存储问题；5．Oracle等海量存储方案价格不菲，采用MySQL进行分库分表节约IT成本。二、 可行性分析1. 风险评估1) DBA数据库
2012-03-05 15:58:13
5331
1
原创 在线公式编辑器简介
根据易用性排序：1. CodeCogs Equation Editor(以后如果网址有变化，请到网站寻找)可视化的编辑器，且有js可用，在自己的网站中嵌入js可以达到效果，非常不错。 2. Latex Equation Editor 使用者：http://bbs.emath.ac.cn/thread-212-1-1.html可视化的编辑器，这个网站还有很多数学工具可以用
2012-03-01 17:59:33
2050
原创 如何从百度文库的文档拷贝内容
在百度搜索框中输入：site:wenku.baidu.com 文档名字相关资源下面有“百度快照”，即可看到转换为网页形式的文档内容参看下面图片：1. 没有输入site的2. 输入site后可以看到“快照”
2012-02-29 18:23:25
1773
原创 MyBatis的Map中放集合对象（为了in操作等）的小提示
MyBatis是SQLMap类型的数据库访问层，使用见：ibatis 开发指南这里记录一点：为了通用性，需要Map作为Parameter Class，其中有元素filedList是一个List，即MParameter Class为Map，且Map中有集合、数组、Iterator等元素时，出现下面问题： 对于Map中取得集合对象，进行iterate时，如
2012-02-29 10:50:49
5405
原创 编程语言大简介（基于《2011程序员薪资调查报告》）
根据优快云 2011年《2011程序员薪资调查报告》薪酬从高到低（呵呵，有选择了吧）：1. Erlang：是一种通用的面向并发的编程语言，它由瑞典电信设备制造商爱立信所辖的CS-Lab开发，目的是创造一种可以应对大规模并发活动的编程语言和运行环境。http://baike.baidu.com/view/765701.htm$ erlErlang R14B (erts-5.
2012-02-27 20:35:53
1898
原创 实习生学习规划（内部分享的）
这一年多总想把以前的掌握的技术梳理一下，好好的总结出来，一是对自己的一个系统整理和升华，二则也能分享给那些希望认真做事的it人士，不论是技术还是项目管理的。当然经验只是自己经历的、学习的，所以抛砖引玉罢了。可是总是没有行动起来，总是被这啊那的羁绊，很是遗憾，没事把一些丁点的东西分享出来，却没有多少含金量，很是惭愧，而且自羞。正在计划好好梳理一下，从基础、设计、架构、项目管理等方面进行一个总结和归纳
2012-02-24 14:32:22
1264
原创 Java开发超级开源工具集 书目录足够作为引子
这种东西，有个引子，自己上网去搜就好啦，不过感谢作者斯马特第一部分 构建工具 第1章 使用Ant设置项目 第2章 使用Maven设置项目 第二部分 版本控制工具 第3章 使用CVS设置版本控制 第4章 用Subversion设置版本控制 第三部分 持续集成 第5章 用ontinuum设置持续集成服务器 第6章 用ruiseontrol设置
2012-02-23 18:04:04
662
原创 Web服务器对比分析分享（http服务器，经典对比之目录）
三大WEB服务器对比分析（apache ,lighttpd,nginx）（2008年）最全的功能对比（最新，应该会持续更新）wiki主流性能对比对比2
2012-02-23 15:34:40
662
原创 IT资源分类大全
1, 建模工具Rational Rose,Requisite,Borland Together,Sybase PowerDesigner,Microsoft Visio,Anylogic,PlayCase, CA BPWin,CA ERWin,OracleDesigner,MagicDraw UML,StarUML,ArgoUML,Visual UML 2, 软件开发工
2012-02-19 22:16:05
1907
原创 资源大杂烩
云计算：Apache Hadoop Goes Realtime at Facebook(译)Apache Hadoop Goes Realtime at Facebook读后感和总结.Hadoop中国2011云计算大会 http://hadoop.it168.com/ http://hic2011.hadooper.cn/dct/page/65591 （The Chal
2012-01-30 15:31:07
736
原创 Hadoop生态系统（Hadoop Ecosystem）
Hadoop内部：MapReduce分布式编程处理模型HDFS分布式文件系统Zookeeper分布式集群协商服务软件HBASE类似BigTable，基于列存储非结构化数据Hive数据仓库Pig创建mapreduce程序的高级脚本语言Flumecloudera提供日志手机系统Sqoop与关系数据库转移工具HueCloudera提供用
2012-01-19 16:33:36
2670
转载 Apache Hadoop Goes Realtime at Facebook(中文，Hadoop在脸谱达成实时应用)
作者：Dhruba BOrthakur & Joydeep Sen Sarma etc. Facebook Inc 2011-6原文：http://wenku.baidu.com/view/5b1f48ef0975f46527d3e18b.html译者：phylips@bmy 2011-9-11出处：http://duanple.blog.163.com/blog/static/709
2012-01-19 15:30:17
1827
转载 转载：分布式设计与开发（论坛简要版，作为引子）
分布式设计与开发（一）------宏观概述在IDF05（Intel Developer Forum 2005）上，Intel首席执行官Craig Barrett就取消4GHz芯片计划一事，半开玩笑当众单膝下跪致歉，给广大软件开发者一个明显的信号，单纯依靠垂直提升硬件性能来提高系统性能的时代已结束，分布式开发的时代实际上早已悄悄地成为了时代的主流，吵得很热的云计算实际上只是包装在分布式之外的商业
2012-01-15 17:38:03
894
转载 JFreeChart在Linux下乱码的解决（转）
看到过多个解决方案，这个是最简单明了的，建议采用转自：http://www.linuxidc.com/Linux/2011-03/32938.htm方案一：在网上搜索了好长时间都找不到正确的答案,特在这里记录下我实验成功的一种方法原因：首先,Linux环境下的JFreeChart
2011-07-26 18:30:27
860
转载 转：构建可扩展的Java EE应用
<br />原文地址：<br />http://tech.ddvip.com/2008-12/122930969999962.html<br />http://tech.ddvip.com/2008-12/122930987199964.html<br />http://www.theserverside.com/news/1320914/Scaling-Your-Java-EE-Applications-Part-2<br /> <br /> 对于一个具备使用价值的应用而言，其使用者有可能会在一段时
2011-05-21 21:34:00
968
原创 《架构之美》中关于编写高效Java的几个技巧
《架构之美》的高效Java技巧；《高质量JAVA程序设计》的Java代码设计问题；高效Java的考虑、Java代码层面的优化。
2011-05-13 15:51:00
900
原创 Java的动态绑定、静态绑定和this、super
<br />/** * @author Liu Liu * */public class JavaObjectTest { /** * @param args */ public static void main(String[] args) { A c_a = new C(); System.out.println("------------"); c_a.second(); System.out.println("------------
2011-05-12 21:28:00
948
原创 旧时笔记——《J2EE核心模式》模式学习之列表总结
以前看过的《J2EE核心模式》中21种模式的列表学习笔记很多模式在开源框架里面得到了实现和体现，现在看来，如遇旧交。
2011-04-27 16:36:00
1011
原创 Struts+Spring+Hibernate(JPA) + Ajax整合详解（基于最新版本）
基于最新的SSH2版本的Struts2.2.1.1、Spring3.0.5、Hibernate3.6 的整合，其中使用了流行的Ajax，适合初学和需要快速建立环境的童鞋。同时也是对原文《Struts+Spring+Hibernate整合入门详解》的更新。内容根据Struts的doc中的一个项目而来，主要是翻译和更新为使用最新接口和包。
2011-04-21 15:19:00
6133
1
原创 Linux下SVN+Apache简要安装记录
网上有资料，但总有些许问题，因此自己记录下来。有些杂凑，但基本解决了所有问题，其他的可参见参考网页（见后）一、下载安装APACHE2,安装文件能到官方网站 http:/www.apache.org下载.tar xvzf httd-2.0.52.tar.gz cd httpd-2.2.16 /安装APR和APR-UTIL cd srclib/apr ./buildconf ./configure --prefix=/opt/svn/data/apr make && make install cd
2011-02-17 11:19:00
1142
原创 JAVA NIO异步通信框架MINA选型和使用的几个细节(概述入门，UDP, 心跳)
Apache MINA 2 是一个开发高性能和高可伸缩性网络应用程序的网络应用框架。它提供了一个抽象的事件驱动的异步 API，可以使用 TCP/IP、UDP/IP、串口和虚拟机内部的管道等传输方式。Apache MINA 2 可以作为开发网络应用程序的一个良好基础。 Apache MINA是非常著名的基于java nio的通信框架，以前都是自己直接使用udp编程，新项目选型中考虑到网络通信可能会用到多种通信方式，因此使用了MINA。 本文结构： （1）客户端和服务器代码；虽然
2010-09-04 17:19:00
15142
3
原创 Cassandra+Hector分布式数据库入门到高效实用实例
Cassandra, Hector, NoSQL, Key/Value存储，分布式数据库
2010-07-10 00:12:00
3579
1
转载 转：我眼中的JBoss Seam六大优势和两个问题（看到好东东当然要和大家分享）
一、Seam适应快速开发、简化框架的趋势 在RoR流行之前，Java社区的主流还是非常讲究分层、架构、复用和模式，而比较忽视快速开发和简化架构的，其结果就是代码量大、开发周期长、架构相当烦琐。以比较常见的Struts/Spring/Hibernate为例，从大的分层来说就有Web层、业务层和持久层，从细的分层就从前到后有：View(JSP) -> Struts Action -> Spring B
2009-12-23 10:50:00
1150
SSH2_Ajax 的可发布war包和eclipse工程
2011-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人