基于erlang的mapreduce排序之一

最新推荐文章于 2020-08-28 15:19:09 发布
原创 最新推荐文章于 2020-08-28 15:19:09 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

通过一个多月的努力，在基于Erlang的MapReduce框架下实现了数据排序优化，10M数据可在6秒内完成排序，200M数据排序耗时111秒。测试环境采用CentOS 6系统及Pentium Dual-Core E6600 CPU。

跟师傅xugg经过一个多月的努力,在基于erlang的mapreduce框架下面排序终于有了点小成果.

先上结果:

     10M数据排序6s

     200M数据排序111s.

注:以耗时(从SDFS上读取数据,排完序,写回SDFS).

测试环境:

master:centos 6 / 2G内存 /Pentium(R) Dual-Core  CPU      E6600  @ 3.06GHz

slave1:centos 6 / 2G内存 /Pentium(R) Dual-Core  CPU      E6600  @ 3.06GHz

slave2:centos 6 / 2G内存 /Pentium(R) Dual-Core  CPU      E6600  @ 3.06GHz


目前才排到200M,距离1TB还很遥远啊,继续努力!

以上做个记录留作纪念.


MapReduce原理与代码实例讲解
AI天才研究院
05-27 708
MapReduce原理与代码实例讲解 1.背景介绍 1.1 大数据时代的到来 随着互联网、物联网和各种智能设备的快速发展,海量的数据正以前所未有的规模和速度不断产生。这些数据可能来自网页、社交媒体、传感器、日志文件等多种来源。传统的数据
编程语言发展史之：并发编程语言
AI天才研究院
10-19 473
并发编程语言是一种支持多线程、分布式计算、异步IO等高级特性的编程语言。这些特性使得并发编程语言在解决多核CPU或多处理器计算机上的性能问题时成为必需品。随着时间的推移，多种编程语言的尝试已经扩展到支持分布式计算、分布式存储、分布式消息传递、并行计算等方面，但并发编程语言的需求却在不断增长。本文将对近些年来诞生的并发编程语言进行综合分析，通过阐述其历史发展过程、发展趋势及主要特性，探讨它们各自适用的领域和用途，并介绍新兴语言Go语言的特点。
Erlang 百万级用户排行榜桶排序
11-28
Erlang 百万级用户排行榜桶排序，在百万级用户中，高效精确查找当前人物所在排名。
Erlang的算法-（一）递归快速排序和MapReduce分布式的快排
Timo
06-09 2667
Erlang的作者Joe Armstrong发表了一段代码来表示MapReduce版本的Erlang标准lists:map/2方法 Map阶段：在这个阶段，通过Map过程，将原始数据列表，处理成中间数据，用于Reduce过程的处理 Reduce阶段：将Map阶段产生的中间数据综合归纳成输出结果先看看下面这段代码，实现了lists:map/2的分布式计算-module(pmap). -export
map的排序
birdmanqin的博客
03-08 5365
1.按key值排序 (第一个值，即<key,value>中的key值) 为了实现快速查找，map内部本身就是按序存储的（比如红黑树）。在我们插入<key, value>键值对时，就会按照key的大小顺序进行存储，其中key的类型必须能够进行 < 运算，且唯一，默认排序是按照从小到大便于记忆，可以联想到需要支持小于运算。 map的模板定义如下 template <...
大数据排行榜分区排序--erlang实现
芒果屋
08-28 829
db表：以玩家id为主键 -record(r_ranking_partition, { id = 0, %% 玩家id section = 0, %% 区id rank = 0, %% 排名 value = 0, %% 值 time = 0, %% 时间 info, %% r_ranking_info extra = [] }). 分区ets表： -record(r_rank_sectio
Erlang实现PSRS排序
hicheney的博客
12-03 694
-module(psrs). -export([main_process/2,child_process/1]). main_process(Data,P) -> %均匀划分 [FirstList|LeftList]=lists:reverse(divideList(Data,P)), %创建其他子进程 ChildPidList=process_create(Le
五种基于 MapReduce 的并行计算框架介绍及性能测试
05-22 5297
并行计算模型和框架目前开源社区有许多并行计算模型和框架可供选择，按照实现方式、运行机制、依附的产品生态圈等可以被划分为几个类型，每个类型各有优缺点，如果能够对各类型的并行计算框架都进行深入研究及适当的缺点修复，就可以为不同硬件环境下的海量数据分析需求提供不同的软件层面的解决方案。并行计算框架并行计算或称平行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，以及通过扩...
【Python并行模式探索】：从MapReduce到Actor模型的演进之路
[【Python并行模式探索】：从MapReduce到Actor模型的演进之路](https://i-blog.csdnimg.cn/direct/910b5d6bf0854b218502489fef2e29e0.png) # 1. 并行计算基础与Python并行模式概述 在现代计算领域中，随着数据量的...
CouchDB核心API与MapReduce查询使用指南
### CouchDB核心API与MapReduce查询使用指南 #### 1. 使用MapReduce运行查询 传统的关系型数据库允许在数据结构正确...与声明要包含在结果集中的表的哪些行，并依赖数据库确定运行查询的最有效方式不同，归约查询基于
Map按键排序(sort by key)， 按值排序(sort by value)。
热门推荐
细心程度决定你的成败
07-13 4万+
Map排序的方式有很多种，这里记录下自己总结的两种比较常用的方式：按键排序(sort by key)， 按值排序(sort by value)。1、按键排序jdk内置的java.util包下的TreeMappublic class MapSortDemo { public static void main(String[] args) { Map<String, String>
对map的value值排序
MyNoteBlog的博客
02-08 1103
一，MapUtil package com.util; import java.util.ArrayList; import java.util.Collections; import java.util.Comparator; import java.util.Iterator; import java.util.LinkedHashMap; import java.util.List; i
erlang map 使用
yangzm的专栏
01-28 6496
主要是遇到 Map匹配的问题，所以顺便回忆一下 Erlang 中的映射组 Map，在其它语言中被称作 Hash 哈希或者 Dict 字典。 Erlang 从 R17 版本开始支持映射组 创建映射组 Erlang 中的映射组用结构 #{} 表示，创建一个映射组可以这样 % 不管你怎么排序，最终结果都是按键的字典顺序排列的 #{ name => "wittyfox", age => 19
国内外著名的互联网公司使用hadoop都做了什么？谈HADOOP在大规模数据处理领域的具体应用。
thundersssss的专栏
04-29 7560
HADOOP在阿里巴巴：  用于处理商业数据的排序，并将其应用于阿里巴巴的ISEARCH搜索引擎，垂直商业搜索引擎。节点数： 15台机器的构成的服务器集群服务器配置： 8核CPU，16G内存，1.4T硬盘容量。  HADOOP在百度：HADOOP主要应用日志分析，同时使用它做一些网页数据库的数据挖掘工作。节点数：10 - 500个节点。周数据量： 3000TB
Hadoop执行shell脚本
笨字第1号
07-17 6859
分享个自己的hadoop 执行的shell脚本， 不过对于会写shell脚本的人估计用不到， 对于不会写shell脚本的人似乎又看不懂。 如果有兴趣学习的话可以私下联系。至于 脚本中涉及的相关文件（源码/compile.sh），未能上传。 权且做个记录，方便自己后期回顾而已。 由于仅供自己测试用，所以比较粗糙 执行时： 直接执行程序 hadoop@namenode#./Hadoo
vim操作整理(快捷键+配置文件)
笨字第1号
08-15 6513
vim整理 1)文件的打开与关闭 vi filename          : 打开或新建文件，并将光标置于第一行首  vi +n filename       : 打开文件，并将光标置于第n行首  vi + filename        : 打开文件，并将光标置于最后一行首  vi +/pattern filename: 打开文件，并将光标置于第一个与pattern匹
LibreOffice中文输入疑难杂症
笨字第1号
01-14 6130
环境： Fedora 17 arch:  64位（x86_64） 中文输入法：ibus (IBus 1.4.99.20121214) 已安装： libreoffice-calc.x86_64                                                                          1:3.5.7.2-7.fc17
shell 脚本之切换用户
笨字第1号
07-25 4493
有时候需要切换到root用户做一些操作， 如果你的用户没有添加sudo权限，那么 在脚本中实现就需要使用expect命令了， 具体实现如下： #!/usr/bin/expect spawn su root expect "Password:" send "rootpassword\n" interact expect eof exit
百万用户数据高效排名——Erlang桶排序技术解析
桶排序（Bucket Sort）是一种分布式排序算法，适用于数据分布均匀且分布在一个有限区间内的排序问题。桶排序的基本思想是将数据分到有限数量的桶里，每个桶再个别排序（通常使用其他排序算法或递归应用桶排序），...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值