c1052981766的专栏

redis知识点汇总全称：remoteDictionaryservice远程字典服务主要应用：缓存其余应用：根据远程存储、高性能等可实现分布式锁、其数据结构-5种:String(字符串)、list(列表)、set(集合)、hash(哈希表)、zset(有序集合)Redis所有数据结构都是以唯一的key字符串作为名称，然后通过这个唯一的key来获得其相应的value（Map<String,Object>）Redis的字符串是动态字符串，是可以修改的字符串，内部结构实现上类似于Ja

查询JSON如下：{ "query": { "bool": { "filter": [ { "terms": { "T2.keyword": [ “北京”,“天津”,“上海” ] }}, {"range": { ...

curl -XPOST http://localhost:19200/{index}/_delete_by_query -d {\"query\":{\"bool\":{\"must\":[{\"term\":{\"query1\":\"XXXXXX\"}},{\"term\":{\"query2\":\"XXXXXXX\"}}]}}}

1.指定查询索引2.进行过滤字段及分组字段，类似于sql where 与 group by{ "query": { "bool": { "must": [ { "term": { "accountName.keyword": "测试" } }, ...

命令：./sqoop-export  --connect jdbc:mysql://192.168.3.8:3306/db1 --username root --password 123456 --table table1--fields-terminated-by '\001' --export-dir 'hdfs://hadoop1:9000/tmp/hive/warehouse/tabl...

1.环境：hadoop2.7.7 hive 2.3.4下载sqoop1 版本1.4.7 http://mirror.bit.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压到opt下配置环境变量，配置sqoop-env.sh#Set path to where bin/hadoop is availa...

redis_home：redis安装路径：cd %redis_home%/src./redis-cli -h 127.0.0.1127.0.0.1:6379&gt; keys *(empty list or set)127.0.0.1:6379&gt; keys *1) "652d085ae54d4a1faca9db57f5a32e57"2) "a13991c60d13485bb23b31...

有关命令：  进入zookeeperclient[root@ComputerNode2 mq]# cd zookeeper/bin[root@ComputerNode2 bin]# lsREADME.txt zkCleanup.sh zkCli.cmd zkCli.sh zkEnv.cmd zkEnv.sh zkServer.cmd zkServer.sh[root@Compu...

第五章 一致性事务Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。Transactional Topology目前已经不再维护，由Trident来实现事务性to

4.1 简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建。我们来思考一下流式的“单词统计”的例子：sto

storm目录(?)[+]2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念：TopologiesStreamsSpoutsBoltsStream groupingsReliabilityTasksWorkersConfigurationStorm集群和Hadoop集群表面上看很类似。但是Hadoop上运

1.1   实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。随着互联网的更进一步发

一、            Storm基本安装1. 安装python=================================# wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz# tar zxvf Python-2.7.2.tgz# cd Python-2.7.2# .

本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。3.1 Storm集群组件Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：1. 主控节点（Master Node）