小树叶子-优快云博客

原创 TCP连接过程解析

讲解传统Socket在建立连接时发生了什么，connectionTimeout/soTimeout的区别，为什么先建立连接后传输数据，关闭连接时发生了什么，time_wait及解决办法，及一些其他的socket参数和选项

2017-04-07 18:23:15 1465

原创最终一致性Quorum及其在Zookeeper和Kafka中的演变

讲解Quorum的概念，及在zookeeper中使用的Quorum变种ZAB协议、zookeeper的选举机制，及Kafka的最终一致性及概述

2017-04-07 17:42:56 1830

原创表设计优化（MySQL作为报表数据库）

表设计优化（MySQL作为报表数据库）目前虽然有较多的大数据处理框架，但也有其局限性，其功能往往无法和传统DB媲美。使用传统DB，可以利用简单的SQL语句获得结果，利用包括索引和表关联等成熟技术获得报表，可大大提高效率。在此提出一些在表设计时可考虑的优化方法。 1、选择紧凑的数据类型。例如对于日期时间，使用timestamp表示只需4个字节，可保存到2038年；使用Unix tim

2017-03-16 12:16:19 5434

原创安装go nodejs docker

安装golang： [wsc@host2 ~]$ wget https://storage.googleapis.com/golang/go1.6.2.linux-386.tar.gz --no-check-certificate [wsc@host2 ~]$ sudo tar -C /usr/local/ -zxf go1.6.2.linux-386.tar.gz [wsc@hos

2016-08-22 15:49:16 605

原创 Redis cluster：redis集群架构说明

参考文档如下： http://redis.io/topics/cluster-spec 1、扩展性、增删节点影响 1000节点内线性扩展，最多16384节点，因为slot格式固定为16384个。HASH_SLOT =CRC16(key) mod 16384。每个节点和其他所有节点建立tcp长连接，用于节点间消息通信

2016-08-04 17:47:24 705

原创安装kafka rest proxy - 使得我们能通过http访问kafka

安装kafka rest proxy - 使得我们能通过http访问kafka，这对于那些没用对应kafka客户端的语言尤其有用，比如php。 The Kafka REST Proxy provides a RESTful interface to a Kafka cluster. It makes it easy to produce and consume messages, v

2016-05-12 18:22:01 17755

原创安装spark - standalone模式

假设我们使用三台机器安装spark，分别是host1、host2、host3. 其中，host2作为主节点。安装步骤如下。 1、下载、解压安装文件 wget http://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz （下载安装文件） tar zxf spark-1.6.1-bin-hadoop2.6.tg

2016-05-03 11:17:04 640

原创安装storm及相关命令

说明 Strom版本: 0.9.5 每台机器上都有$STORM_HOME指向其安装目录。 storm的安装是从官网下载后直接解压即可。 1、配置文件 1.1 $STORM_HOME/conf/storm.yaml中加入或修改如下内容： nimbus.host: "主节点hostname或ip" nimbus.thrift.port: 8627 nimb

2016-04-26 08:56:05 782

原创安装kafka及相关命令

Kafka版本： 2.10 0.8.2.1 1、安装说明 kafka下载后直接解压即可，是免安装的。 kafka没有主节点一说，各个节点都是平等的。使用相同的zookeeper注册中心的kafka节点，可视为是同一个集群。安装目录变量$KAFKA_HOME，例如：/urs/local/kafka 2、配置说明配置文件位置：$KAFKA_HOME/conf

2016-04-25 14:55:00 647

原创安装GIT服务器 gitolite，及权限管理

安装参考： http://zengrong.net/post/1720.htm http://blog.chinaunix.net/uid-15174104-id-3843570.html git使用参考： Git的思想和基本工作原理 http://www.nowamagic.net/academy/detail/48160210 Git 教程

2016-04-25 14:23:38 684

原创安装MongoDB-单击版、复制集、密码认证、安装MongoDB分片shard

本文记录安装MongoDB的过程，包括『单击版、复制集、密码认证、分片』等情况。 1、安装MongoDB单机版下载安装文件，解压后即可。在安装目录下执行如下命令即可启动：（在前台启动，按ctrl c即停止服务，退出进程）： ./bin/mongod --dbpath ./data/ （在后台启动，按ctrl c或用户退出系统后不会退出进程，不会停止服务： nohup ./b

2016-04-24 20:17:10 1610

原创安装elasticsearch及中文分词器、客户端连接示例

本文记录了linux下如何安装elasticsearch及分词器，以及如何通过『spring-data-elasticsearch』连接服务器，并进行索引、搜索。 1、下载elasticsearch 我这里下载的是『elasticsearch-2.2.0.tar.gz』，下载地址如下： https://www.elastic.co/downloads/elasticsearch

2016-04-24 19:18:05 1821

两种方式，可以实现linux的“tail -f”命令。 1、FileInputStream在读取文件内容的时候，其他外部工具（如记事本、notepad++等）可以同时进行写入，且写入内容能继续读取到。因此，利用该接口，或经封装后的BufferedReader等接口，即可实现。该代码中，利用FileInputStream的skip方法，可以跳过文件的部分内容，实现tail命令的读取最后几行的功能。利用while(true)循环，实现tail命令的-f功能，读取后续写入的内容。该代码中，没有判断文件被清

2016-04-20 09:46:49 10840

小树叶子