SMAQ：海量数据的存储计算和查询模型(译)

乐动心情 乐动心情 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 900+累计阅读 925平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄16年
关注
转载 最新推荐文章于 2026-05-08 09:16:16 发布 925 阅读 AI 写同款· GEO 优化 ›
宋浩线性代数笔记 Miao-A-SongHao-Linear-Algebra-Notes bilibili 宋浩老师 “惊叹号” 系列 《线性代数》网课 笔记及时间点目录 Github项目地址：https://github.com/cy69855522/Miao-A-SongHao-Linear-Algebra-Notes ???? 前言 我发现吧，线代没记笔记真不行。 浩浩学习，天天向上。数学网课推荐????宋浩老师的免... 阅读详情

本文翻译自The SMAQ stack for big data 

英文原文：http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html

SMAQ代表了存储，MapReduce和查询。

转载请注明译者：phylips@bmy

出处：http://duanple.blog.163.com/blog/static/709717672011016103028473/ 

 

收录于
云计算/存储

当前文章被收录于：

云计算/存储
2 篇文章 0 人学习
订阅专栏 查看详情
SSD训练自定义数据集实战：VOC格式标注与模型调参技巧 本文详细介绍了如何使用SSD模型训练自定义VOC格式数据集，包括数据标注工具选择、VOC数据集目录结构规范、数据集划分方法以及模型调参技巧。通过实战案例演示了SSD源码的关键修改点和训练参数优化策略，帮助开发者高效实现目标检测任务。 阅读详情

相关推荐

零基础用AHK操作Excel：从数据读取到自动填写（附完整脚本解析）

本文为零基础用户详细介绍了如何使用AutoHotkey（AHK）通过COM接口高效操作Excel，实现从数据自动读取到填写的完整自动化流程。文章包含完整的脚本解析、环境搭建指南、核心代码逐行讲解以及实际应用案例，帮助办公人员大幅提升数据处理效率，告别重复劳动。

weixin_29202213的博客 556

分布式系统领域经典论文翻译集

分布式领域论文译序 sql&nosql年代记 SMAQ：海量数据的存储计算和查询 一．google论文系列 1.google系列论文译序 2. The anatomy of a large-scale hypertextual Web search engine (译 zz) 3. web search for a planet :the google cluster architecture(译) 4. GFS：google文件系统 (译) ...

wolflikeinnocence的博客 423

fNIRS 公开数据集整理

关注“心仪脑”查看更多脑科学知识的分享。 关键词：数据整理、fNIRS 之前我们向大家推送了 Public Neuroscience Dataset 系列主题的第一期：《EEG公开数据集》，我们同时意识到大家对于神经科学公开数据集的需求。本期是该系列主题的第二期，我们在延续第一期初衷的基础上，整理了功能性近红外光谱（fNIRS）技术的公开数据集。 fNIRS 是一种非侵入性、便携且价格低廉的光学神经成像技术，它具有可观的空间和时间分辨率。因fNIRS技术问世较EEG晚了许多，所以应用此技术开展研究发.

psybrain的博客 4272

大数据中的SMAQ技术

  本文译自 The SMAQ stack for big data  所谓海量数据，是指数据的规模大到已经难以使用传统的方式来处理。最早面临这个问题的是网络搜索引擎，而如今，社会化网络，移动电话、各种传感器和科学计算每天增长数以PB计的数据。 围绕Google关于这方面的工作和Yahoo的Haoop中对MapReduce的实现，兴起了一个海量数据处理工具的生态系统。 随着MapReduce越...

juliashine的专栏 479

2022年TI杯模拟电⼦系统设计专题邀请赛——李萨如图形演示装置

本次装置主要是对输入的正弦信号进行频率变换，并将原输入正弦信号作为 X 轴信号、变换后的正弦信号作为 Y 轴信号，绘制李萨如图形。采用 EK-TM4C123GXL 板卡作为主控；频率变换采用“锁向环+计数器”实现 1-5 倍频的频率变换控制；李萨如图形采用两个 AD通道采集原输入的正弦信号作为 X 轴信号和频率变换后的正弦信号作为 Y 轴信号，绘制李萨如图形。

qq_45890466的博客 7768

STK新手必看：用700km轨道卫星，5步搞定对地覆盖分析报告

本文为STK新手提供700km轨道卫星对地覆盖分析的5步实操指南，涵盖卫星创建、传感器配置、区域定义、计算设置及报告生成全流程，特别标注常见操作误区与优化技巧，帮助用户快速掌握STK覆盖性分析核心方法。

weixin_42546392的博客 375

ZZ SMAQ：海量数据的存储计算和查询模型(译)

  本文翻译自The SMAQ stack for big data     英文原文：http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.htm SMAQ代表了存储，MapReduce和查询。 译者：phylips@bmy 出处：http://duanple.blog.163.com/blog/sta...

dreaming架构师，充分践行，适当补充理论的一年 394

zabbix 监控EMC存储

经过搜索，找到了脚本地址，该项目应该是模板原作者创建的，该项目也有zabbix模板，和上面的应该是相同的，我用的是上面的模板。./unity_get_state.py --api_ip='X.X.X.X' --api_port='443' --api_user='zabbix' --api_password='PASSWORD' --storage_name="zabbix web前端配置的主机名" --discovery。修改权限，给zabbix用户执行权限，模板调用时以zabbix用户执行。

wangyfde的专栏 3758

分布式存储系统——《MySQL海量数据存储与优化》_分布式海量数据的研发与调优

MySQL 是最流行的关系型数据库软件之一，由于其体积小、速度快、开源免费、简单易用、维护成本低等，在集群架构中易于扩展、高可用，因此深受开发者和企业的欢迎。Oracle和MySQL是世界市场占比最高的两种数据库。 IOE：IBM的服务器，Oracle数据库，EMC存储设备。都是有钱的公司产品采购，例如银行、电信、石 油、证券等大企业。Oracle：垄断，有钱的大企业采用，互联网企业之外使用第一。 MySQL：互联网高速发展，互联网企业使用第一。 详情官网查看：https://www.mysql.com/本

2401_84264692的博客 1102

Ollama最新快速上手指南：从安装到精通本地AI模型部署

想让Ollama跑你的"私房模型"？三种主流格式全支持，总有一款适合你！GGUF格式（推荐新手首选）创建Modelfile文件：执行创建命令：运行你的专属模型：PyTorch/Safetensors格式（适合进阶玩家）先用库测试模型能否正常加载确保模型结构完整后再导入Ollama官方文档有详细转换指南专业小贴士GGUF格式最轻量，PyTorch最灵活，Safetensors最安全遇到问题？试试用llama.cpp进行格式转换7B参数模型推荐使用q4_0量化级别想让AI用马里奥。

全世界的博客 2309

《大数据最全面试题-Offer直通车》目录

做好这些不用担心试用期不通过：程序员入职新公司如何快速上手项目本人遇到大数据面试题和参考答案（超过1万字精华版）大数据面试英文自我介绍参考（万字长文）大数据运维应用场景面试题汇总及参考答案（持续更新）万字数据仓库面试题及参考答案数据仓库数据质量监控和处理方法最佳实践数据仓库建模方法万字详解Doris的3种数据模型详解和数据仓库每一层的模型选用大数据面试临阵磨枪不知看什么？看这份心理就有底了-大数据常用技术栈常见面试100道题最全Hive面试题2024年（2万字详解）Elasticsearch 面试题及参考答

大模型大数据攻城狮的专栏 2644

Hbase+ES和MongoDB存储大数据的选用

目录1 需求2 架构设计3 HBase和MongoDB的区别 1 需求 解决海量数据的存储，并且能够实现海量数据的秒级查询 Hbase是典型的nosql，是一种构建在HDFS之上的分布式、面向列的存储系统，在需要的时候可以进行实时的大规模数据集的读写操作；但是hbase的语法非常固话，即便在hbase之上嫁接了phoneix在应对复杂查询的时候，仍然力不从心； 所以说很多公司在历史遗留问题，最开始数据存储在hbase上，当业务越来越复杂，数据量越来越大的时候，使用hbase构建复杂的查询就很吃力了，甚至很

赵广陆 5080

2026华为OD机试（JAVA&Go）真题【E卷+A卷+B卷+C卷+D卷】目录+在线OJ

华为OD机试真题题库【E卷+A卷+B卷+C卷+D卷】目录，Java实现。

MISAYAONE的博客 34万+

海量数据的存储计算和查询模型

海量数据(“Big Data”)是指那些足够大的数据，以至于无法再使用传统的方法进行处理。在过去，一直是Web搜索引擎的创建者们首当其冲的面对这个问题。而今天，各种社交网络，移动应用以及各种传感器和科学领域每天创建着上PB的数据。 为了应对这种大规模数据处理的挑战，google创造了MapReduce。Google的工作以及yahoo创建的Hadoop孵化出一个完整的海量数据处理工具的生态系统。

u011386690的专栏 4359

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用

The SMAQ stack for big data

<br />SMAQ 是 Storage、MapReduce And Query 的缩写，意思是利用分布式存储，MapReduce并提供基础查询来实现对海量数据的存储和处理。下面是一篇关于SMAQ的非常全面精辟的论述文章（实在很经典，希望有时间来进行翻译）：<br />原文地址：《the SMAQ stack for big data 》<br />文中分别就这几方面进行说明：<br />分布式存储：<br />首先是要求分布式，可横向扩展，其次是非关系型（ 也就是我们NoSQL的宗旨 ）。文中主要列举了

superWolf的专栏 1123

文档：亲测可用解决vnc灰屏，黑屏，鼠标大黑叉情况

主要解决vnc-viewer灰屏，黑屏，鼠标大黑叉等现象，详细见文档。

海量数据的存储计算和查询--Google系列论文译

大概两年前，写过一篇,之后应该被转载甚多，估计很多人看到过。当时更多的解决的是面试场景的问题，介绍的都是些基础的数据结构。实际上与实际的海量数据处理还有些距离，可以用来准备下面试，但是真正的海量数据处理都是建立在很多系统之上的，当然它们底层也会用到各种数据结构。 进来比较流行的是云计算，NoSql。Hadoop也逐渐成为很多公司的生产系统。大概去年开始阅读分布式相关的论文，为了加深印象我通...

duanple_xjtu的博客 626

分布式系统理论

http://duanple.blog.163.com/blog/static/7097176720101122604254/ Brewer’s CAP Theorem 中文版 http://pt.alibaba-inc.com/wp/dev_related_728/brewers-cap-theorem.html 原版： http://www.julianbrowne.com/article...

weixin_33712987的博客 83

分布式系统领域经典论文翻译集 [转]-银河里的星星

原文：http://duanple.blog.163.com/blog/static/709717672011330101333271/ 分布式领域论文译序 sql&nosql年代记 SMAQ：海量数据的存储计算和查询 一．google论文系列 1.google系列论文译序 2. The anatomy of a large-scale hypertext...

weixin_34375251的博客 223

转载：Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases

转载：Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases 来自 http://www.allthingsdistributed.com/files/p1041-verbitski.pdf     参考： Amazon Aurora解读(SIGMOD 2017)...

晨风 1879

最近学习nosql看的一些资料

完成自己本年度最大的一个项目之后, 工作重点从PM的角色转换到存储相关的工作, 因此工作之外花了一些时间关注了一下NoSQL相关的资料(主要来自blog.nosqlfan.com) NoSQL相关 [译] NoSQL生态系统 [url]http://blog.nosqlfan.com/html/2171.html[/url] //这个是我看到的nosql讲的最好, 最完整的文档 ...

疯狂的菠菜 150
上一篇： SQL&NoSQL年代记
下一篇： 让memcached和mysql更好的工作
点赞 0
评论 0
书签 书签 0
乐动心情
乐动心情
博客等级 码龄16年 36粉丝 10原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值