<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[crazyhacking的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/crazyhacking</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; crazyhacking]]></copyright><item><title><![CDATA[开源日志系统比较：scribe、chukwa、kafka、flume]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/45747421</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/45747421</guid><author>crazyhacking</author><pubDate>Fri, 15 May 2015 17:21:45 +0800</pubDate><description><![CDATA[1. 背景介绍

许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：

（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；

（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩]]></description><category></category></item><item><title><![CDATA[kafka和flume的对比]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/45746191</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/45746191</guid><author>crazyhacking</author><pubDate>Fri, 15 May 2015 17:20:21 +0800</pubDate><description><![CDATA[摘要： （1）kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent（数据采集器）,collector（数据简单处理和写入）,storage（存储器）三部分，每一部分都是可以定制的。比如agent采用RPC（Thrift-RPC）、text（文件）等，storage指定用hdfs做。

           （2]]></description><category></category></item><item><title><![CDATA[elasticsearch简介]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/45727071</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/45727071</guid><author>crazyhacking</author><pubDate>Thu, 14 May 2015 21:59:51 +0800</pubDate><description><![CDATA[elasticsearch




ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

我们建立一个网站或应用程]]></description><category></category></item><item><title><![CDATA[elasticsearch快照和恢复]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/45726683</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/45726683</guid><author>crazyhacking</author><pubDate>Thu, 14 May 2015 21:48:03 +0800</pubDate><description><![CDATA[快照和恢复


Snapshot and restore 模块允许创建单个索引或者整个集群的快照到远程仓库. 在初始版本里只支持共享文件系统的仓库，但是现在通过官方的仓库插件可以支持各种各样的后台仓库。


仓库

在进行任何快照或者恢复操作之前必须有一个快照仓库注册在Elasticsearch里。下面的这个命令注册了 一个名为my_backup 的共享文件系统仓库，快照将会存储在]]></description><category></category></item><item><title><![CDATA[log4cxx 使用代码进行配置]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/45195313</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/45195313</guid><author>crazyhacking</author><pubDate>Wed, 22 Apr 2015 15:14:10 +0800</pubDate><description><![CDATA[（1）官网的一个例子



#include 
#include 
#include 
#include 
#include 

int main() {
   log4cxx::FileAppender * fileAppender = new
log4cxx::FileAppender(log4cxx::LayoutPtr(new log4cxx::SimpleLayout()),
"]]></description><category></category></item><item><title><![CDATA[RocketMQ与Kafka对比（18项差异）]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/45063565</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/45063565</guid><author>crazyhacking</author><pubDate>Wed, 15 Apr 2015 19:13:05 +0800</pubDate><description><![CDATA[转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，]]></description><category></category></item><item><title><![CDATA[md5]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/44748059</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/44748059</guid><author>crazyhacking</author><pubDate>Mon, 30 Mar 2015 11:09:47 +0800</pubDate><description><![CDATA[php中md5函数与linux中md5sum结果不同的问题  

2014-05-05 11:04:40|  分类： 技术相关 |  标签：php  linux  md5  md5sum  |举报|字号 订阅








简而言之，linux中用echo “123”| md5sum或md5sum 文件名方式来计算某串的md5值，串中都有隐含的字符串\0终止符或换行符的存在]]></description><category></category></item><item><title><![CDATA[http header cache-control （request和response区别）]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/44497293</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/44497293</guid><author>crazyhacking</author><pubDate>Fri, 20 Mar 2015 21:06:24 +0800</pubDate><description><![CDATA[摘要：（1）网络服务会根据 request的header中的 cache-control策略设置response的cache-control策略
1 response cache-control 和 request cache-control关系


CacheIgnoreCacheControl Directive




Description:

Ignore requ]]></description><category></category></item><item><title><![CDATA[spark第二篇--基本原理]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/44491925</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/44491925</guid><author>crazyhacking</author><pubDate>Fri, 20 Mar 2015 14:56:30 +0800</pubDate><description><![CDATA[==是什么 ==

 

目标Scope（解决什么问题）

 

在大规模的特定数据集上的迭代运算或重复查询检索

 

官方定义

aMapReduce-like cluster computing framework designed for low-latency iterativejobs and interactive use from an interpre]]></description><category></category></item><item><title><![CDATA[spark第一篇--简介，应用场景和基本原理]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/44491679</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/44491679</guid><author>crazyhacking</author><pubDate>Fri, 20 Mar 2015 14:39:11 +0800</pubDate><description><![CDATA[解析Spark在腾讯、雅虎、优酷的成功应用

2014-06-09 14:44 佚名 36大数据 字号：T | T





Spark作为Apache顶级的开源项目，项目主页见http://spark.apache.org。在迭代计算，交互式查询计算以及批量流计算方面都有相关的子项目，如Shark、Spark Streaming、MLbase、GraphX、SparkR等。从13]]></description><category></category></item><item><title><![CDATA[一个Cmake的例子]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/44341261</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/44341261</guid><author>crazyhacking</author><pubDate>Tue, 17 Mar 2015 16:59:02 +0800</pubDate><description><![CDATA[命令查询列表：http://www.cmake.org/cmake/help/v3.2/manual/cmake-commands.7.html


#
# Official dependency number 0: CMake.
# Obviously, we must have it if we are here but test version.
#
CMAKE_MINIMUM]]></description><category></category></item><item><title><![CDATA[storm 使用过程中遇到的问题]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/44243663</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/44243663</guid><author>crazyhacking</author><pubDate>Fri, 13 Mar 2015 17:21:34 +0800</pubDate><description><![CDATA[1 bolt不停重启，excutor无法启动。
nimbus日志类似如下（）， 
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794:[34
34] not alive
2014-03-12 10:55:06 b.s.d.nimbus [INFO] Executor MITAS3-74-1394565794]]></description><category></category></item><item><title><![CDATA[storm安装]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/44238143</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/44238143</guid><author>crazyhacking</author><pubDate>Fri, 13 Mar 2015 10:47:36 +0800</pubDate><description><![CDATA[CentOS 5.8 x64 make

tar xf zeromq-2.1.7.tar.gz
cd zeromq-2.1.7
./configure --prefix=/opt/zeromq
make && make install

unzip jzmq-master.zip
cd jzmq-master
./autogen.sh
./configure --prefix=]]></description><category></category></item><item><title><![CDATA[git的理念]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/44196719</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/44196719</guid><author>crazyhacking</author><pubDate>Wed, 11 Mar 2015 11:44:42 +0800</pubDate><description><![CDATA[集中式vs分布式

4924次阅读


Linus一直痛恨的CVS及SVN都是集中式的版本控制系统，而Git是分布式版本控制系统，集中式和分布式版本控制系统有什么区别呢？
先说集中式版本控制系统，版本库是集中存放在中央服务器的，而干活的时候，用的都是自己的电脑，所以要先从中央服务器取得最新的版本，然后开始干活，干完活了，再把自己的活推送给中央服务器。中央服务器就好比是一个图书馆，你要改]]></description><category></category></item><item><title><![CDATA[Beanstalkd]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/44036491</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/44036491</guid><author>crazyhacking</author><pubDate>Tue, 03 Mar 2015 12:05:42 +0800</pubDate><description><![CDATA[摘要by ck：beanstalkd  和  kafka的本质区别是什么？

Beanstalkd，一个高性能、轻量级的分布式内存队列系统，最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟，支持过有9.5 million用户的Facebook Causes应用。






中文名

beanstalkd



类    型

]]></description><category></category></item><item><title><![CDATA[word2vec c代码使用说明]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/43450271</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/43450271</guid><author>crazyhacking</author><pubDate>Tue, 03 Feb 2015 15:17:33 +0800</pubDate><description><![CDATA[摘要：

1 分词

将文本语料进行分词，以空格,tab隔开都可以。生成分词后的语料


2 训练

对分词后的语料test.txt 进行训练得到模型文件vectors.bin 

/word2vec -train test.txt -output vectors.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sampl]]></description><category></category></item><item><title><![CDATA[使用Python实现Hadoop MapReduce程序]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/43304499</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/43304499</guid><author>crazyhacking</author><pubDate>Fri, 30 Jan 2015 11:10:29 +0800</pubDate><description><![CDATA[使用Python实现Hadoop MapReduce程序


分类： Python Hadoop2013-03-10
 21:35 8933人阅读 评论(4) 收藏 举报

HadoopMapreducePython


转自：使用Python实现Hadoop MapReduce程序

英文原文：Writing an Hadoop MapReduce Program in P]]></description><category></category></item><item><title><![CDATA[美团推荐算法实践]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/43056035</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/43056035</guid><author>crazyhacking</author><pubDate>Fri, 23 Jan 2015 14:58:48 +0800</pubDate><description><![CDATA[摘要：


query-based方法 “用户的搜索点击结果建立权重”的方法可以用在优化搜索上。

graph-based方法  "打破一般cf只衡量两度关系，建立全局的实体相似性" 对于一般协同过滤也是一个有益的补充。

location-based 对于团购等类型网站还是比较重要的。




美团推荐算法实践

Idealist2015-01-22 13:00
前]]></description><category></category></item><item><title><![CDATA[redis第一篇--综述]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/42966897</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/42966897</guid><author>crazyhacking</author><pubDate>Wed, 21 Jan 2015 13:00:57 +0800</pubDate><description><![CDATA[1 redis里边有数据库的概念。可分为1-255这些表。在存储或者查找的时候要指明。
redis_sentinel 集群里边封装成了namespace这样的概念。与db是不一样的。]]></description><category></category></item><item><title><![CDATA[git fetch  pull checkout区别]]></title><link>https://blog.youkuaiyun.com/crazyhacking/article/details/42744289</link><guid>https://blog.youkuaiyun.com/crazyhacking/article/details/42744289</guid><author>crazyhacking</author><pubDate>Thu, 15 Jan 2015 17:50:42 +0800</pubDate><description><![CDATA[Git中从远程的分支获取最新的版本到本地有这样2个命令：
1. git fetch：相当于是从远程获取最新版本到本地，不会自动merge
    git fetch origin mastergit log -p master..origin/mastergit merge origin/master    以上命令的含义：
   首先从远程的origin的master主分支下载最新的版本到]]></description><category></category></item></channel></rss>