- 博客(27)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 技术知识整理
[转]Latency numbers every programmer should know原文：https://gist.github.com/hellerbarde/2843375Latency numbers every programmer should knowL1 cache reference ......................... 0.5 ns
2016-12-20 18:09:47
486
原创 限流算法实现
原理介绍Leaky Bucket 与 Token Bucket 算法实现方式1. 简单实现,无burst控制public enum APIRateLimiter { long minIntervalMilis; private AtomicLong lastRequestTime = new AtomicLong(0); public b
2016-12-14 16:11:25
1041
原创 Elastic Search 学习概要
数据持久化数据先写入内存，同时记入trans log。 内存数据1秒后可读。当log太长时或到时(30min)，内存数据持久化进disk，同时删掉log.https://www.elastic.co/guide/en/elasticsearch/guide/current/translog.html
2016-11-13 19:28:47
344
原创 Hadoop维护操作整理
例行停止机器1. 例行卸载HDFS Datanode,可以先添加配置dfs.hosts.exclude， 然后主动更新节点。vim $HADOOP_HOME/conf/excludeshadoop dfsadmin -refreshNodes2. 例行卸载HBase的Region Server，可以采用graceful_stop命令./bin/graceful_stop.sh
2016-11-05 12:03:33
1771
原创 Hive使用UDF一例
用例Hive0.8.1没有rank 功能，但业务需要实现分组组内topK SQL语句。应此可以使用UDF来实现。设计使用JAVA Agent来解决函数实现类加载问题；UDF如下：@Description(name = "row_number", value = "_FUNC_ a - Returns Top N after group.")public class R
2015-11-12 10:36:53
440
原创 渐进式迁移 — 保证稳定性的一种方法
一口气不能吃成胖子，难事需要化整为零。生活中的这个简单道理在软件架构或模块设计也常有体现：redis —— 渐进式迁移redis通过拉链法来解决hash碰撞冲突。在redis应用中，由于数据的增加，同一个hash bucket里碰撞冲突的概率增加，造成性能成倍下降。这时候就需要增大hash空间size来，减少冲突，即为rehash。但rehash过程中，redis不能停止服务，这时候问题来
2015-08-16 11:59:25
951
原创 Hadoop DistributedCache使用案例
背景公司数据处理具有两个计算框架，单机框架和MR框架。目前我已经抽象出一套API interface, 供业务计算开发人员使用。并分别在两个计算框架下实现了API的执行调度。应用开发人员有时间需要通过上传override的配置文件，来调整业务计算参数。单机框架易于实现，但在MR框架里，需要解决override的配置文件的分发问题。实现1. 通过命令行传入配置文件路径；2
2015-06-11 22:42:05
897
原创 Zookeeper问题排查
现象zookeeper版本为3.4.3， hbase版本为0.94.7。按照zk的设计，一台机器down了之后应该仍然可以工作，但实际上应用中并不如此。Zookeeper一台机器在生产环境中被挪走，客户端始终无法连接HBase。问题排查抛出如下异常：Caused by: java.net.UnknownHostException: ops-new-launch-
2015-06-11 14:43:48
2579
原创 JAVA 7 ForkJoin学习笔记
ForkJoin的适用范围1. DiveAndConque计算模式;如 feb数问题，质数问题；2. 计算任务需要在runtime发现，如web crawler问题。不适用范围：1. 任务已有提前partion策略，这时候可以用 ExecutionService直接解决；2. 任务之间没有递归依赖性。ForkJoin源码1. 处于性能考虑，D
2015-06-10 19:42:45
575
原创 Hadoop类加载的几个问题
一些背景知识RunJar方式加载类，在Client端程序中 则jar参数指定的独有的类会采用了URLClassLoader加载，而HADOOP_CLASSPATH指定的类会采用AppClassLoader加载。双亲委派中，AppClassLoader是parent, 加载时处于优先位置。 参考http://grepcode.com/file/repo1.maven.org/maven2/o
2015-04-07 11:19:30
549
原创 根据hostname 实现 Hadoop RackAwareness
基本思路思路1自定义DNSToSwitchMapping类的实现，然后配置在net.topology.node.switch.mapping.impl中思路2参考org.apache.hadoop.yarn.util.RackResolver
2013-11-14 09:07:39
573
原创 一些随机问题的解决办法
SLF4J依赖问题现象：随机出现，完全相同的程序只在有些host上运行报错。java.lang.NoSuchMethodError: org.slf4j.impl.StaticLoggerBinder.getSingleton()Lorg/slf4j/impl/StaticLoggerBinder; at org.slf4j.LoggerFactory.bi
2013-11-09 07:59:49
1126
翻译 OpenTSDB简介
OpenTSDB is a distributed, scalable Time Series Database(TSDB) written on top ofHBase.OpenTSDB was written to address a common need: store, index and serve metrics collected from computer systems (n
2013-09-02 08:25:07
848
原创 Linux 批量过滤的三种Shell利器
假定有两个文件， f1 和 f2f1文件内容如下：~% cat f1a,1a,1a,1b,2c,3c,3e,3e,3h,1j,2f2文件内容如下：~% cat f2ade期望用f2的每一行来过滤f1的文件内容，也即输出如下：~% join -t, f1 f2a,1a,1a,1e,3e,3Join~% join -t, f1 f2J
2013-08-30 22:36:50
973
原创 多线程的PipeLine实现实例
/** * * An executor that uses multiple threads to run a job which involve muti-steps pipeline like source > intermediate steps > output. * * Steps can be executed concurrently, and they communi
2013-08-25 17:08:10
2943
原创 Hadoop MapReduce过程 源代码解析
网上现有的Hadoop源代码分析与最新代码相比稍显落后。笔者本着学习总结目的，分析了Hadoop 2.02的源代码。一个完整的Hadoop MapReduce过程可以描述如下： Client端提交MapReduce Job到JobTracker; JobTracker调度Job, 生成MapTask和ReduceTask; 各TaskTracker接收MapTask和ReduceTask; TaskTracker为MapTask和ReduceTask启动新的Child Ta
2013-08-16 19:05:17
1896
原创 ExecutorCompletionService 的几点认识
ExecutorCompletionService 通常与 ThreadPoolExecutor一起使用
2013-08-14 20:27:51
1477
原创 Techniques
Data SerializationApache Thrifthttp://thrift.apache.org/The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation
2013-08-10 21:47:41
693
原创 Hadooop 学习笔记
HDFSHDFS是一个分布式文件存储系统系统结构：一NameNode 和 多个 DataNode运算原理：1. 每个BigFile可以分为多个Block, 不同Block可以存放在不同DataNode, 每个Block可以有多个copy存放在不同DataNode上。NameNode保持文件Block的Meta数据信息。2. 读取文件时，client端从NameNode找到文
2013-06-26 08:15:57
741
原创 JVM学习笔记
1. JAVA内存区域栈区：包括JVM栈 和 native method stacks堆区： 新生代（包括Eden, From Survivor, To Survivor） 老年代方法区：（永久代即PerGen） Class文件常量池： 运行时常量池(Runtime Constant Pool): String.intern()方法可以再运行时将新常
2012-08-06 09:09:00
486
翻译 UNITILS 测试框架
Unitils（http://www.unitils.org/summary.html）这个Java开源类包的目的是让单元测试变得更加容易和可维护。Unitils构建在DBUnit与EasyMock项目之上并与JUnit和TestNG相结合。支持数据库测试，支持利用mock对象进行测试并提供与Spring和Hibernate相集成。Unitils设计成以一种高度可配置和松散偶合的方式来添加这些服务
2012-08-06 08:50:19
1090
原创 java 测试框架 JMOCK使用
1. JMOCK简介2. JMOCK原理2.1 capture expection2.2 capture invokation 3. 扩展JMOCKpackage com.amazon.oih.fasturl.config.oihscope;import java.util.*;import oracle.net.aso.p;import org.hamcres
2012-08-06 08:42:39
756
转载 Struts2所有插件简介－－目前到达40余种
Struts2所有插件简介－－目前到达40余种 关键字: struts2，标签 今天无意查看了Struts2的插件时，发现已经林林总总有40个了。看来Struts2是不一个不错的JavaEE开发平台，可选择的尺度很大，以下是各个插件简介，目前并不是所有的插件都是可用的，有许多
2010-03-12 22:49:00
800
原创 eclipse下的打包插件fatjar
eclipse下的打包插件fatjar 在ECLIPSE下，如果要将JAVA应用程序打包的话，一般用file菜单下的EXPORT就可以EXPORT成JAR文件里，但如果工程里有其他的库文件的话，那ECLIPSE就无能为力了，这时，可以到http://fjep.sourceforge.net/下载，解压将文件夹拷贝到eclipse的plugins下，重新启动Eclipse3.1,Windows=
2010-03-06 13:23:00
441
原创 IIS 自动配置
//===========================================================================//// File Name: Setup.rul//// Description: Blank setup main script file//// Comments: Blank setup is an em
2007-02-02 20:52:00
851
c编程宝典.chm格式
2009-07-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人