笨字第1号

跳槽后第一次写博客。     9.22号入职，一入职就是双节，休息的够爽啊。到现在工作才刚满两周。经过这两周，逐渐适应了新的公司，新的工作，新的同事，新的开发语言及环境。     接下来要开始erlang的开发历程了，在此留个记录，仅作个见证。以后开始用erlang开发mapreduce，但是原先的兴趣不能忘啊。所以接下来的日子还是要抽时间把hadoop捡起来，还要把m

转自:http://cryolite.iteye.com/blog/15472521. binary数据是可以在不同进程间共享的 当然这些进程都在同一Erlang节点上。 这与普通term不同，后者作为消息在进程间传递时是要在接收进程中做拷贝的（当然atom数据例外，它们也不会做拷贝）。摘一段原文在这里： All data in messages between E

skyFS-mapreduce 设计文档-Mapreduce Job SchedulerStaff Date Content versionsai 12/11/12 Create 0.51.概要　　本文主要论述skyFS-mapreduce下面mapreduce部分job调度的问题。简单介绍了mapreduce部分job正常调度时是如何分配，何时分配及何时执行的,比如g

最近在做mapreduce系统的资源监控模块(项目全部基于erlang).概要:监控各个map或者reduce的任务进程,每个进程都有各自的内存上限.该监控系统提供进程监控注册,注册监控的进程在其内存超出其内存上限,该监控系统则将告知mapreduce系统杀死进程.        在测试时,需要模拟进程不断消耗内存,于是根据如何搞垮erlang的文章(见前一篇转载文章)的原理,

原文:How to Crash Erlang1. 耗尽atom因为atom是不会被垃圾回收的，所以如何程序运行时生成太多的atom，（例如在无穷循环里，每次循环都调用几下list_to_atom），atom table会被塞满，然后erlang就当掉了2。进程的耗尽如果你spawn了太多unlink的不会终止的进程，而且这些进程你都不保存它们的Pid，这样你就失去了

get_memory_info() -> get_memory_info(os:type()).get_memory_info({unix, linux}) -> File = read_proc_file("/proc/meminfo"), Lines = string:tokens(File, "\n"), Dict = dict:from_list(lists:m

跟师傅xugg经过一个多月的努力,在基于erlang的mapreduce框架下面排序终于有了点小成果.先上结果:     10M数据排序6s     200M数据排序111s.注:以耗时(从SDFS上读取数据,排完序,写回SDFS).测试环境:master:centos 6 / 2G内存 /Pentium(R) Dual-Core  CPU      E6600  @ 3.

生成N个不重复的随机数，比如给定四位数字做种子"0123"，用这个种子的四位数字来表示需要生成的随机数，即相当于用四进制来表示。要求生成的数据无重复，乱序，且按格式输出。示例如下：["0023","0000","0012","0100","0103","0002","0001","0032","0102",              "0003","0013","0121","

生成N个不成重复的随机数方案一：最简单，用tuple来组织，将一个有序的整数列表通过shuffle方法打乱即可，比如生成100个无重复随机数, 用四进制8位表示，可以组织0～99，然后打乱即可。{RandNo, 99}, {RandNo,98}, {RandNo,97},  ......, {RandNo, 3}, {RandNo, 2}, {RandNo,1}, {RandNo, 0

先上代码：split(L, Splitters) -> string:tokens(L, Splitters).split2(L, Splitters) -> case lists:any(fun(A) -> string:str(L,[A]) > 0 end, Splitters) of true -> [H|_] = split(L, Splitters

借助早上写的生成随机数的代码，修修改改完成了，生成不重复字符串的小程序。功能：给定Seed ，Count，WidthSeed : "abcd^kj"  任意不同字符列表，小于36个，如果可以重复，则可以选择重复字符Count :要生成的字符个数Width:字符占用位数，不足之处以Seed第一位填充代码实现如下：-module(ct).-define(SYSTE

-module(sort). -export([sort/1]). sort([]) -> []; sort([Pivot|Rest]) -> {Smaller, Bigger} = split(Pivot, Rest), lists:append(sort(Smaller), [Pivot|sort(Bigger)]). split(Pivot, L) -> split(Piv

-module(split_test).-export([split/0]).%%split string testsplit() -> split_string("name;info1;info2"). %%split string with semicolon(; semicolon's ascii is 59)split_string(L) -> L1=l

前言使用Erlang语言也写一个测试和前面大同小异的测试，在100万个并发连接用户情况下，就是想观察一下极显情况下的表现。这个测试使用了优秀的Erlang界的明星框架cowboy，加单易用的接口，避免了我们对HTTP栈再次进行闭门造车。测试Erlang服务器运行在VMWare Workstation 9中，64位Centos 6.4系统，分配14.9G内存左右，双核4个