
大数据基础
文章平均质量分 94
pit_man
Dig value from big data in the Internet.
展开
-
windows系统下安装伪分布式Hadoop3.x
windows系统下安装伪分布式Hadoop3.0原创 2023-01-31 16:55:06 · 1455 阅读 · 0 评论 -
大数据三篇论文—Google Bigtable中文版
Google Bigtable 中文版Abstract1 Introduction2 Data Model3 API4 Building Blocks5 Implementation5.1 Tablet Location5.2 Tablet Assignment5.3 Tablet Serving5.4 Compactions6 Refinements7 Performance Evaluation8 Real applications8.1 Google Analytics8.2 Google Earth翻译 2021-08-23 21:09:45 · 3766 阅读 · 0 评论 -
大数据三篇论文—Google MapReduce中文版
MapReduce: 超大机群上的简单数据处理1 介绍2 编程模型2.1 实例2.2 类型2.3 更多实例3 实现3.1 执行预览3.2 master 数据结构3.3 容错3.4 存储位置3.5 任务粒度3.6 备用任务4 技巧4.1 分割函数4.2 顺序保证4.3 combiner 函数4.4 输入输出类型4.5 副作用4.6 跳过错误记录4.7 本地执行4.8 状态信息4.9 计数器5 性能5.1 机群配置5.2 Grep5.3 排序5.4 备用任务的影响5.5 机器失效6 经验6.1 大规模索引7 相翻译 2021-08-23 19:04:33 · 3295 阅读 · 0 评论 -
大数据三篇论文—The Google File System中文版
The Google File System中文版摘要1. 简介2.设计概述2.1设计预期2.2 接口2.3 架构2.4 单一Master节点2.5 Chunk尺寸2.6 元数据2.6.1 内存中的数据结构2.6.2 Chunk位置信息2.6.3 操作日志2.7 一致性模型2.7.1 GFS一致性保障机制2.7.2 程序的实现3. 系统交互3.1 租约(lease)和变更顺序3.2 数据流3.3 原子的记录追加3.4 快照4. Master节点的操作4.1 名称空间管理和锁4.2 副本的位置4.3 创建,重翻译 2021-08-23 18:17:21 · 2403 阅读 · 0 评论