- 博客(35)
- 资源 (24)
- 收藏
- 关注
RSS订阅
原创 Apache Storm 之使用JAVA API远程提交Topology（非使用storm命令）
Apache Storm 之使用JAVA API远程提交Topology（非使用storm命令）
2014-09-16 22:18:36
8453
转载 并发框架LMAX Disruptor资料总汇
并发框架Disruptor译文转载：http://coolshell.cn/articles/9169.htmlMartin Fowler在自己网站上写了一篇LMAX架构的文章，在文章中他介绍了LMAX是一种新型零售金融交易平台，它能够以很低的延迟产生大量交易。这个系统是建立在JVM平台上，其核心是一个业务逻辑处理器，它能够在一个线程里每秒处理6百万订单。业务逻辑处理器完全是运行在内存
2015-02-08 15:17:59
2337
原创 zookeeper入门介绍
分布式协调服务维护： 1、配置信息 2、命名 3、分布式同步 4、组服务大多分布式应用都需要处理以上的问题，不同的应用实现在或作或者存在缺陷，即便正确因为不用的实现导致管理的复杂性。zookeeper-动物园管理员1、提供以上通用的服务2、接口简单易用，无需重新编写概述1、共享树状结构结构的命名树（类似文件系统结构）2
2014-11-15 23:37:04
924
转载 maven常见问题问答
转载：http://www.cnblogs.com/bigtall/archive/2011/03/23/1993253.html1.前言Maven，发音是[`meivin]，"专家"的意思。它是一个很好的项目管理工具，很早就进入了我的必备工具行列，但是这次为了把project1项目完全迁移并应用maven，所以对maven进行了一些深入的学习。写这个学习笔记的目的，一个是为了自己
2014-11-15 22:19:25
975
转载 Shared Everything和share-nothing区别
转：http://blog.youkuaiyun.com/seteor/article/details/10532085数据库构架设计中主要有Shared Everthting、Shared Nothing、和Shared Disk：Shared Everthting:一般是针对单个主机，完全透明共享CPU/MEMORY/IO，并行处理能力是最差的，典型的代表SQLServer
2014-11-01 22:28:47
1372
原创 基于web的kafka监控工具KafkaOffsetMonitor（内部js和css已经本地化）
KafkaOffsetMonitor是不错的kafka监控的web工具，官方提供的版本需要在线下载js和css，其中angulajs的下载不了，在不联网的内部环境下不能正常使用，所以本人将其所有到的js和css单独下载整到当前这个jar包中，下载在内部环境可以直接使用
2014-09-21 10:20:40
2334
原创 使用Java API创建（create），查看（describe），列举（list），删除（delete）Kafka主题（Topic）
使用Java API创建（create），查看（describe），列举（list），删除（delete）Kafka主题（Topic）
2014-09-16 22:47:24
11457
转载 storm简介
storm简介http://www.searchtb.com/2012/09/introduction-to-storm.html悟时场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可
2014-08-26 16:40:00
680
转载 20个开源项目托管站点
转：http://blog.chinaunix.net/uid-25885064-id-3363918.html托管站点Top20如下：1. SourceForgeSF为大家所熟知，开源项目的大本营，SF托管至少28万个开源项目，一天的下载量超过200万。2. GitHubGitHub托管使用Git版本控制系统的公开和私有项目。 目前该网站托管超过170万存
2014-08-23 13:19:52
522
转载 Nutch入门
1、Nutch命令详解Nutch采用了一种命令的方式进行工作，其命令可以是对局域网方式的单一命令也可以是对整个Web进行爬取的分步命令。要看Nutch的命令说明，可执行"Nutch"命令。 下面是单个命令的说明：crawlcrawl是"org.apache.nutch.crawl.Crawl"的别称，它是一个完整的爬
2014-08-20 11:14:28
877
翻译 Elasticsearch经验之-GitHub故障处理
近期代码检索中断（2013-2-4） 上周（1月24 周三到1月25周五），在我新建的代码检索服务上发生了一起严重的断电事故。像往常一样，我们努力提供这起事故详尽透明的事后剖析。我们将尽力解释事故发生的原因和怎么样减少这些问题以防止类似的事故再次发生。 首先，我代表GitHub为这起事故向大家道歉。尽管它没有影响到除了代码检索之外的其他服务，但这起事故的严重
2014-08-17 13:18:56
1833
原创 Elasticsearch索引重建（Rebuild）
2.6.7索引重建（Rebuild） 索引创建后，你可以在索引当中添加新的类型，在类型中添加新的字段。但是如果想修改已存在字段的属性（修改分词器、类型等），目前ES是做不到的。如果确实存在类似这样的需求，只能通过重建索引的方式来实现。但想要重建索引，请保证索引_source属性值为true，即存储原始数据。索引重建的过程就是将原来索引数据查询回来入到新建的索引当中去，为了重
2014-08-11 13:09:09
13492
原创 Elasticsearch Java API总汇
三、Elasticsearch Java API3.1 集群的连接3.1.1 作为Elasticsearch节点代码： import static org.elasticsearch.node.NodeBuilder.nodeBuilder;importorg.elasticsearch.client.Client;importorg.elasticsear
2014-08-08 21:50:45
30984
原创 Elasticsearch模块功能之-路由（routing）
索引分片分配能够控制索引分片在节点上怎么分布，那对于具体的文档能否控制具体节点的分布呢？答案是可以，根据路由公式shard = hash(routing) % number_of_primary_shards，Elasticsearch使用相同的routing参数来实现这个功能，但我们在创建索引时需如下进行配置：如果我们想在建索引时将相关的文档存放到一个分片下就可以这样做：curl
2014-08-07 22:56:12
13811
原创 Elasticsearch模块功能之-索引别名（Index aliases ）
Elasticsearch的API支持给索引起别名，有了别名之后可以像使用索引一样使用它。但不只是这些，一个别名可以映射多个索引，所以在需要经常指定多个索引查询的情况下，大可将所查询的索引起一个别名来查。别名也可以将索引查询的过滤条件包含在内，使用别名查询时可以查询索引的一个子集。 创建一个别名：上述将创建一个指向索引test1的别名alias1。
2014-08-07 19:38:31
25144
原创 Elasticsearch模块功能之-索引模板（Index templates）
2.6.4索引模板（Index templates）索引可使用预定义的模板进行创建,这个模板称作Index templates。模板设置包括settings和mappings，通过模式匹配的方式使得多个索引重用一个模板，例如：定义模板：curl -XPUT localhost:9200/_template/template_1 -d '{ "template" :
2014-08-07 18:32:53
43447
原创 Elasticsearch模块功能之-索引存储（Store）
【参考】http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-store.html
2014-08-06 20:29:10
11231
3
原创 Elasticsearch模块功能之-映射（Mapper）
当创建索引或者使用put mapping Api操作时，mapper模块主要负责将类型映射的定义添加到索引上。同时也支持预先没有定义的动态映射类型。 1、动态映射： 索引一篇文档时新的“类型”可以动态添加。当遇到一个新的字段类型时，Elasticsearch可以自动检测数据类型并能自动添加类型映射。 2、默
2014-08-06 20:23:26
2865
原创 Elasticsearch模块功能之-索引分片分配（Index shard allocation）
1、分片分配 包含或者排除filters可以来控制基于节点的索引分配。filters可以在索引级别和集群级别进行设置。如下使用集群级别举例： 设定有4个节点，每个的节点指定一个属性tag（可以随意修改），并赋予特定值，比如节点1设置为node.tag:value1,节点二设置为node.tag:value2等等。创建索
2014-08-06 00:05:01
22273
2
原创 Kafka概述
Kafa是一个分布式，分区和重复提交的日志服务，提供消息系统的功能。 相关术语： 主题（topic):Kafka维护订阅消息的类别生产者（producers）：发消息给Kafka主题的进程消费者（consumers）：订阅消息和处理发布的消息的进程中介者（broker）：Kafka通过一个或多个服务组成的集群来运行，每一个服务称作中介者（broker）
2014-08-05 20:06:59
984
原创 Kafka之Java API-生产者(Producers)
配置完Kafka集群后，下面通过Java API的方式来操作需要导入的Jar包 kafka_2.10-0.8.1.1.jar log4j-1.2.15.jar metrics-core-2.2.0.jar scala-library-2.10.1.jar slf4j-api-1.7.2.jar以上jar包均可从Kafka的发布包中找的到
2014-08-05 19:44:53
2788
原创 Elasticsearch模块功能之-快照和恢复（snapshot and restore）
快照和恢复模块可以将单个索引或者整个集群做一个快照并存放到远程仓库上。目前支持共享文件系统仓库和官方通过插件方式提供的其他仓库。 1、仓库注册 在创建或恢复仓库数据之前，首先需要到ElasticSearch里进行注册，如下命令用my_backup注册一个共享文件系统，快照数据将存放在/mount/backups/my_bakup上： $ curl -XPUT '
2014-08-05 08:28:15
5260
原创 Elasticsearch模块功能之-插件（Plugins）
插件可以通过自定的方式扩展加强Elasticsearch的基本功能，比如可以自定义类型映射，分词器，本地脚本，自动发现等。 所有插件都要放在plugins下，通常插件的安装有两种方式，第一种是在线安装，使用ES_HOME/bin/plugin–install org>//默认会到download.elasticsearch.org或maven(central和sonatype)
2014-08-05 08:23:08
4601
原创 Elasticsearch模块功能之-脚本语言（Scripting）
使用脚本语言可以计算自定义表达式的值，比如计算自定义查询相关度评分。支持的脚本语言有groovy，js，mvel（1.3.0废弃），python等。 脚本文件必须放在在配置文件conf目录下，如config/scripts/calculate.python，如果文件路径是config/scripts/group1/group2/test.py则引用名称为group1_group2_test。
2014-08-05 08:21:12
7388
原创 Elasticsearch模块功能之-自动发现（Discovery）
一 自动发现（Disovery）该模块主要负责集群中节点的自动发现和Master节点的选举。节点之间使用p2p的方式进行直接通信，不存在单点故障的问题。Elasticsearch中，Master节点维护集群的全局状态，比如节点加入和离开时进行shard的重新分配。 自动发现机制在目前版本（1.3.1）提供了四种选择，一种是默认实现，其他都是通过插件实现。1. Azure di
2014-08-05 01:00:14
38256
2
原创 Apache Kafka安装配置
一、准备工作 1）下载安装jdk-7u65-linux-i586.gz，配置Java环境变量 ，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 2）下载Kafka最新版本kafka_2.10-0.8.1.1.tgz，使用命令t
2014-08-04 18:13:26
1196
转载 CountDownLatch使用说明
转载：http://www.iteye.com/topic/1002652CountDownLatch，一个同步辅助类，在完成一组正在其他线程中执行的操作之前，它允许一个或多个线程一直等待。主要方法 public CountDownLatch(int count); public void countDown(); public void await() t
2014-08-03 12:14:27
506
转载 设计自己的Annotation
转载：http://www.iteye.com/topic/36659 Annotation在java的世界正铺天盖地展开,有空写这一篇简单的annotations的文章,算是关于Annotation入门的文章吧,希望能各位们能抛砖,共同学习...... 不讲废话了,实践才是硬道理. 第一部分:了解一下java1.5起默认的三个annotation类型: 一个
2014-08-03 09:12:15
548
原创 Elasticsearch相关图分享
一、Elasticsearch整体架构二、Elasticsearch启动过程三、Elasticsearch分布式索引分布四、Elasticsearch写操作请求示意图五、Elasticsearch集群示意图参考：1.大牛medcl http://log.medcl.net
2014-08-02 08:36:53
1683
1
原创 ElasticSearch核心概念
ElasticSearch核心概念 1）索引（Index） ElaticSearch将数据存放在一个或多个索引当中。一个索引相当于一个数据库，里面存放用户文档数据。在底层，ElasticSearch实际上还是 使用Lucene完成读写数据的操作，ElasticSearch索引是由一个或多个Lucene索引组成，所以ES中的分片或副本实际上就是一个Lucene索引。 2）
2014-07-30 16:31:18
1941
原创 ElasticSearch集群的安装和配置
说明：这里只介绍在Linux下ElasticSearch的安装配置，windows下的使用跟Linux很类似一、前期准备 Elasticsearch 需要Java 7的支持，推荐使用Oracle JDK version 1.7.0_60，根据所选用平台在这里下载安装,完成安装后设置好环境变JAVA_HOME（如何设置Java的环境变量这里不再赘述），然后可以使用java
2014-07-30 08:07:47
12740
google大数据论文（中英文）
2018-11-27
微服务架构与实践目录高清
2018-04-14
KafkaOffsetMonitor（内部js和css已经本地化）
2014-09-17
实变函数与泛函分析基础 (程其襄 张奠宙 著) 高等教育出版社 课后答案.pdf
2010-06-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人