墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
100+累计阅读
171平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
1：InputFormat
1：默认的是TextInputFormat kv key：偏移量，v：一行内容
2：处理小文件CombineTextInputFormat 把多个文件合并到一起统一切片
2：Mapper
setup：初始化
map：用户的业务逻辑
clearup：关闭资源
3：shuffle分区
默认分区：HashPartitioner，默认按照key的Hash值%numreducetask个数
自定义分区
4：排序
1：部分排序 每个输出的文件内部有序。
2：全排序 一个reduce，对所有数据大排序
3：二次排序 自定义排序范畴，实现writableCompare接口，重写CompareTo方法
总流量倒序，上行流量正序
5：Combiner
前提：不影响最终的业务逻辑（求和没问题，求平均值不可）
提前预聚合 map端完成----->解决数据倾斜的一个方法
6：Reducer
用户的业务逻辑
setup初始化，reduce：用户的业务逻辑，clearup：关闭资源
7：OutputFormat
1：默认TextOutputFormat 按行输出到文件
2：自定义
多维聚合本质：从GROUP BY到OLAP立方体的数据操纵
多维聚合是一种面向分析场景的数据组织与计算范式，其核心在于将离散字段升维为具备层次性、语义性和可导航性的维度结构，并在维度-度量-层次构成的OLAP立方体上执行动态折叠。它突破了传统SQL中GROUP BY的线性分组局限，通过预计算、向量化执行、列式存储与物化视图等技术协同，实现任意维度组合下的亚秒级响应。尤其在电商用户复购、SaaS客户健康度、金融风控等需高频交叉下钻的场景中，多维聚合支撑起从明细到汇总、从固定报表到自助分析的统一数据服务底座。本文深入解析Data Manipulation in Mult
第三章 MapReduce框架原理
3.1 InputFormat数据输入 3.1.1 切片与MapTask并行度决定机制 3.2 MapReduce工作
MapReduce-day01-第一章MapReduce概述
1：MapReduce定义 是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 2：MapReduce优缺点 优点1：易于编程。用户只关心业务逻辑，实现框架的接口即可。 2：良好的扩展性。可以动态的增加服务器，解决计算资源不够的问题。 3：高容错性。任何一台机器挂掉，可以将任务转移到其他节点。 ...
hadoop8天课程
基本原理 伪分布式hadoop集群安装 hdfs mapreduce演示 Hdfs的原理和使用操作、编程 Mapreduce的原理和编程 常见mr算法实现和shuffle的机制 Hadoop2.x中ha机制的原理和全分布式集群安装部署维护 Hbase hive Storm +kafka 实战项目 https://www.bilibili.com/video/BV1jx411g77S?p=4 北京某局 舆情监控 、阿里、 解决问题： 海量数据的存储hdfs 海量数据的分析mapr..
【信息科学与工程学】计算机科学与自动化——第三百零五篇 计算机系统中的各类运算操作01
编号类型领域运算操作运算类型算法算法的详细设计及数学分析参数列表及参数的数值设计应用场景 (100+条)集合运算1集合运算关系代数并集 (Union)集合运算归并排序去重合并两个集合，去除重复元素。时间复杂度 O(n+m)，n,m为两集合大小。输入：集合A, B。输出：A∪B。数据集成、多表结果合并、去重后的全量数据提取。2集合运算关系代数交集 (Intersection)集合运算哈希交集找出同时属于两个集合的元素。平均时间复杂度 O(min(n,m))，最坏 O(n*m)。输入：集合A, B。输出：A∩
【信息科学与工程学】【数据科学】第五十一篇 数据仓库00 基础设计01
数据仓库设计的系统性解决方案，涵盖架构模式、分层设计、百万级访问支撑、海量数据配置及与数据库/数据湖的对接策略： ODS（操作数据层）：原始数据镜像，保留历史快照 DWD（明细数据层）：清洗、标准化、维度退化 DWS（汇总数据层）：主题宽表、轻度聚合 ADS（应用数据层）：高度聚合，面向报表/API 二、百万用户访问架构设计 1. 核心架构组件 2. 关键配置参数（以Snowflake为例） 3. 性能优化措
Java 8 LocalDate 获取月首月末日期：原理、实践与避坑指南
在Java开发中，日期时间处理是基础且高频的需求，尤其在报表统计、数据归档等场景，精确获取月份边界日期至关重要。Java 8引入的`java.time`包提供了全新的日期时间API，其核心类`LocalDate`采用不可变设计，确保了线程安全，并通过结构化存储年月日信息，使得日期计算高效可靠。`TemporalAdjusters`作为日期调整的工具类，提供了`firstDayOfMonth()`和`lastDayOfMonth()`等预定义调整器，能优雅地解决获取月首月末的问题，显著提升代码的可读性和健壮性
我想自己组装一台服务器，微调大模型通义千问2.5 Omni 72B，但是我是个人购买，资金非常有限，最省的方案
阶段动作✅ 推理用 GGUF + llama.cpp + 4090 加载 14B INT4✅ 微调训练 Qwen2.5-7B-Chat，使用 LoRA / QLoRA❌ 放弃Qwen2.5-Omni-72B 全量微调（显存需求 >160G，不现实）
对象存储存大数据的真相：不是不能用，而是必须懂这3个高效场景
对象存储（如S3、OSS、COS）是一种面向海量非结构化数据的分布式存储服务，其核心设计基于HTTP RESTful API与最终一致性模型，天然支持高扩展性与低成本持久化。但因其不支持追加写、原子重命名和低延迟随机读，无法直接替代HDFS等面向计算优化的文件系统。其技术价值在于归档层、输出层与跨云交换枢纽三大不可替代场景，尤其适配只追加（append-only）、大块顺序读、低频更新的数据流。结合Parquet列式格式、合理分区策略（宽而浅）、COSN/S3A连接器调优及Alluxio缓存，可在电商日志、
kettle从入门到精通 第九十二课 ETL之kettle 使用Kettle的Carte对外发布读写接口
场景：使用kettle实现将查询结果返回给客户端，也就是说kettle暴露查询接口供外围系统调用。前提必须是使用carte服务才可以提供接口供外部系统调用。具体实操方法如下：1、设计转换根据具体需求设计转换，主要用到的步骤有获取变量（从请求参数中获取变量）、json输入（解析入参），json 输出将结果转换为json格式输出到客户端。如下图所示：2、接收参数使用获取变量步骤来接收接口请求参数，变量通过${}方法进行获取，如下图${PARAM}则是获取PARAM参数，将参数赋值为req字段。
Docker版OnlyOffice中文字体配置全攻略：从字号调整到字体添加
本文详细介绍了在Docker版OnlyOffice中配置中文字体和调整字号的完整方案。通过容器内操作和配置文件修改，实现中文标准字号映射及思源、阿里巴巴等优质字体的集成，提升文档排版的规范性和专业性。特别针对企业级部署提供了性能优化建议和常见问题解决方案。
国赛实时采集实战：Flume+Kafka+HDFS高可靠数据管道搭建
在大数据实时处理场景中，数据采集链路的可靠性与可验证性是工程落地的核心挑战。Flume作为轻量级日志采集工具，擅长协议适配与事件级容错；Kafka凭借分区与副本机制，承担流量削峰与解耦缓冲的关键角色；HDFS则提供高吞吐、可追溯的持久化存储。三者组合构成‘接入—缓冲—落盘’的标准分层架构，广泛应用于车载传感、IoT设备等200QPS级稳定流式数据采集任务。其技术价值体现在启动快、资源省、路径可控、证据链完整，特别适合教学实训与技能竞赛等强约束环境。本文聚焦国赛真实考题，详解Flume源码级配置调优、Kafk
STM32 RT-Thread 系统分析（1）- 启动文件
RT-Thread STM32 系统分析（1）- 启动文件前言基本信息前言说明三级目录 前言 基本信息 名称 描述说明 RT-Thread Studio 软件版本 版本: 1.1.3 RT-Thread 系统版本 4.0.2 STM32CubeIDE 软件版本 1.4.0 STM32芯片型号 STM32F013VG 前言说明 使用了STM32CubeIDE 和 RT-Thread Studio 建立了相同型号芯片的工程，对比其中启动文件内容差异如下： 左侧是RT-Threa
Hive 数据仓库技术全解（二）：HQL高级函数（窗口函数、UDF/UDAF/UDTF、炸裂函数与行列转换，分区/分桶）
本文是《Hive数据仓库技术全解》系列第二篇，重点讲解HiveQL高级特性。主要内容包括：1）字符串、日期和流程控制等内置函数；2）高级聚合与炸裂函数（collect_list/set、explode等），通过电影分类统计案例展示实际应用；3）窗口函数详解，涵盖语法结构、缺省规则和常用函数（聚合计算、位移函数、排名函数等），并给出累计消费和下单间隔的实战案例；4）行列转换技术；5）分区与分桶设计策略。
从网格划分到结果解读：一次完整的子弹侵彻LS-DYNA仿真避坑指南
本文详细解析了子弹侵彻LS-DYNA仿真中的关键技术与避坑指南，涵盖网格优化、对称边界条件设置、沙漏控制参数调整及结果可信度验证。通过HyperMesh网格划分和LS-DYNA高级参数配置，帮助工程师提升仿真精度与效率，确保计算结果物理可信。
如何在不牺牲精度的前提下，把 YOLOv11 压缩到 Jetson 能跑的程度
YOLOv11 在目标检测任务中具备较强的准确性与多尺度鲁棒性，但其原始模型参数规模与计算量，对边缘设备来说并不友好，特别是面向 Jetson 这类资源受限的推理平台。本文基于实际部署场景，逐步拆解从结构层级改造、剪枝策略制定、量化导出流程，到 Jetson TensorRT 推理落地全过程。在不牺牲主干精度的前提下，最终实现 YOLOv11 推理延迟缩短 3 倍、模型体积压缩 4 倍、mAP 损失控制在 1% 以内的轻量化优化结果，并总结出一条可复用的工程路径，供工业界与边缘侧模型部署开发者参考。
多维聚合实战：从SQL到OLAP的交叉分析与维度建模
多维聚合是现代数据分析的核心能力，本质是基于维度建模对数据进行可交互的切片、钻取与动态聚合。它超越传统GROUP BY的静态分组局限，依托OLAP立方体思维实现Roll-up、Drill-down、Slice和Dice等语义化操作，显著提升分析灵活性与响应效率。其技术价值在于支撑自助式BI、实时决策看板与跨部门协同分析，在电商、金融、SaaS等领域广泛应用于销售归因、用户留存、成本分摊等场景。本文聚焦多维聚合的数据操作实践，涵盖维度建模规范、SQL伪立方体构建、Pandas链式聚合及Kylin/Doris/
边缘AI工业落地：YOLO26-Seg + RK3588 NPU 极致部署（低功耗+实时实例分割，工业场景全覆盖）
本次实战汇总了「YOLO26-Seg+RK3588 NPU」工业边缘部署中最常见、最致命的8个坑点，所有坑点均来自真实工业项目，解决方案均为零代码/一键操作，无需复杂配置，能让你少走90%的弯路，节省大量时间，必看必记！❌ RKNN转换报错「算子不支持/模型加载失败」→ ✅ 导出ONNX时必须指定opset=12，重新导出即可，RK3588唯一兼容版本；❌ 分割mask错位/轮廓模糊 → ✅ 导出ONNX时加，并保证RKNN的归一化参数与YOLO26一致，零代码修复；
数据科学新人实战指南：从JD解码到业务归因
数据科学不是算法公式的堆砌，而是将模糊业务需求转化为可验证数据结论的系统能力。其核心在于理解SQL所承载的关系思维、掌握假设检验与因果推断的业务映射逻辑，并在真实场景中完成需求澄清→数据探查→归因分析→决策交付的闭环。尤其在中小型企业及业务驱动型公司中，‘数据分析师’与‘数据工程师（偏应用）’岗位实际承担着80%的数据价值落地工作，对SQL深度运用、AB测试实操、BI工具逻辑理解等能力要求远高于理论模型调优。本文聚焦新人最易踩坑的JD潜台词识别、跨行业重力场差异、技能投入优先级判断，提供可立即上手的实地作战
C# 从数秒到毫秒：MySQL+Redis百万数据优化实战全解析
在处理百万级数据时，传统单体数据库常面临查询效率低下、数据库负载过高和用户体验差等问题。为解决这些性能瓶颈，可以采用MySQL分库分表、Redis缓存和异步统计的组合策略。 数据库分片：通过水平分表和分库实现，将单表数据分散到多个物理表或数据库实例中，降低单点负载。 Redis缓存：利用Redis缓存高频数据，减少数据库查询压力，提升响应速度。 异步统计：通过消息队列（如RabbitMQ）解耦统计任务，后台处理非实时任务，避免阻塞主流程。 这些优化策略能够显著提升系统性能，确保在高并发和大数据量场景下的稳定
IMSL CNL 7.0.0 (x86-64)Crack
IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件，这是C++版本的破解文件
数据科学求职能力转化路径：从知识学习到业务交付
数据科学不是统计学或编程的简单叠加，而是一套以问题驱动、以交付验证为核心的能力体系。其底层原理在于将业务目标（如用户流失预警、活动ROI归因）精准映射为可执行的数据动作链——涵盖SQL取数诊断、Python清洗建模、统计显著性与业务显著性的双轨评估、模型可解释性落地等关键环节。这种能力具有强工程实践属性，技术价值体现在缩短分析响应周期、提升决策可信度、支撑AB测试与自动化运营等真实场景。本文聚焦‘能力-资源-场景’三维映射方法论，结合RFM轻量化实现、SQL索引优化、本地MVP自动化部署等典型实操，帮助转行
Outlook Express 6 (OE6) for Win7/Win8/Win10
英文版 Outlook Express6.0， 兼容Win7/Win10/WinXP，解压就可用。
Yarn-day01-课程入门
一：课程介绍 1：理论 1.1：yarn的基础结构 1.2：yarn的工作机制 1.3：MapReduce/HDFS/Yarn 1.4：调度器和调度算法 1.4.1：FIFO 1.4.2：容量调度器 1.4....
蓝牙模块HM-10手册
蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[](https://bitdeli.com/free "Bitdeli Badge")
MapReduce-day03-第三章框架原理-3.1InputFormat数据输入
1：上图理解 1：Map阶段是在数据源通过InputFormat来设置通过什么样的一个方式来读取数据，比如之前的数据一行一行的方式读取，读取完之后交给Mapper，即用户编写的业务逻辑代码进行处理。 2：然后通过Shuffle把Mapper阶段的数据拉到Reducer阶段，此阶段可以对数据进行排序，分区，压缩，合并等功能。 3：Reducer处理完之后，通过OutputFormat可以对输出格式进行设置，比如设置把处理之后的数据写道HBase，数据库...
Hadoop-day01-课程入门
1：概念 1：Hadoop是什么 1：Hadoop是一个由apache基金会所开发的分布式系统基础架构。 2：主要解决：海量数据的存储和海量数据的分析计算问题。 2：Hadoop发展历史 3：Hadoop的三大发行版本 4：Hadoop的优势 1：高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出...
HDFS-day02-第五章NN和2NN
思考：NN中的数据存放在什么位置： 如果是内存：那么计算快，但是可靠性差。如果是磁盘，可靠性好，但是计算慢。如果是内存+磁盘，由于内存计算快，然后持久到话磁盘，所以磁盘会拖慢整体效率，导致效率低下。 可以采用fsimage来存储磁盘中的数据，如果是随机读写，因为hdfs修改的效率比较低，所以不推荐。但是hdfs支持追加的方式进行读写（edits），edits文件只用来记录文件，不计算值，例如只记录a+10、a-30但是不计算等于多少。 内存中存储一部分数...
HDFS-day03-第六章DataNode
1：DataNode工作机制 1：首先，插上电的时候，DataNode会向NameNode汇报块信息，进行注册并记录块信息。 2：NameNode返回注册成功 3：因为可能DataNode的块在工作中可能会损坏，所以每周期会上报一次，默认是六小时，这个时间可以修改。这六个小时，是DataNode先检查一下自己所包含的块，然后再汇报。 4：为了保证DataNode节点正常允许，需要检测该节点的状态，就默认DataNode与NameNo...
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
374
扫一扫
