墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
3.7k累计阅读
3.7k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
记录： map-reduce design pattern
初始化应该尽可能放到 configure中
例子1.word count
优缺点：
===================================
Combiner Design
=======================================================================
新的思路：压缩pair
两中方法的比较 stripes 较好的线性扩展性
机器数量的影响
====================================================================
===============
==================================
总结：
摘录自：
【202503】Wan：开放且先进的大规模视频生成模型【1.3B、14B】【支持对无限长度视频进行稳定的Inference】【Wan中的主要计算开销来自注意力机制】
wan: Open and Advanced Large-Scale Video Generative ModelsWan：开放且先进的大规模视频生成模型Wan Team, Alibaba Group Wan 团队，Alibaba GroupThis report presents Wan, a comprehensive and open suite of video foundation models designed to push the boundaries of video generation
MapReduce 的一些算法思路
原文 http://novoland.github.io/工作/2014/09/04/MapReduce Algorithms.htm MapReduce Algorithms 1. MapReduce 工作原理2. 常见算法的 MapReduce 实现 2.1 count / distinct 问题描述解决优化distinct 2.2
LangChain文档理解五步工作流：从网页抓取到精准问答
文档理解是AI工程落地的核心能力之一，其本质是将非结构化文本转化为可检索、可推理、可验证的知识单元。其技术原理在于突破大模型上下文注意力带宽限制，通过分阶段处理实现语义保真与精准召回。关键技术价值体现在高准确率、强可控性与良好可解释性，广泛应用于技术文档问答、法律合同审查、科研论文分析及企业知识库构建等场景。本文基于LangChain与OpenAI实战栈，系统拆解内容获取、结构化解析、语义化存储、精准检索与上下文生成五大确定性环节，深度融合RecursiveCharacterTextSplitter和Chr
用Erlang实现MapReduce算法(一)
用Erlang实现MapReduce算法（一) 出处: 由于cnblogs的代码着色系统不支持erlang，所以就直接从博客上贴过来了，如果大家看的不习惯的话，就直接来我的博客上看吧 本文章为本人个人博客相应文章的镜像： 原文地址： http://
病理组学分析系列教程1：使用Python-histolab进行病理图像预处理，tiles切片自动生成
病理图像tiles自动生成,WSI图像预处理
AI视频生成成本优化实战：混合架构与硬件选型
AI视频生成技术正面临效果与成本的二元博弈，其核心挑战在于高昂的推理算力消耗与黑箱服务的不确定性。从技术原理看，视频生成依赖扩散模型等深度学习架构，通过多轮迭代实现像素级合成，这导致GPU显存占用和电力消耗呈指数级增长。在工程实践中，采用混合推理架构能有效平衡成本与质量，例如云端处理关键帧配合本地渲染过渡帧，实测可降低58%支出。硬件选型方面，消费级显卡魔改与边缘计算设备为中小企业提供了可行方案，如RTX 3090显存扩容或Jetson AGX边缘部署。当前AI视频应用已渗透电商直播、新闻制作等领域，但需警
MapReduce 模式、算法和用例
本文译自 Mapreduce Patterns, Algorithms, and Use Cases 在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduces, Combiners, Partitioners...
华为S5700三层交换机VLAN配置避坑指南：为什么你的VLAN间无法互通？
本文针对华为S5700三层交换机VLAN间无法互通的典型故障，提供深度排障指南。文章从数据转发原理入手，系统梳理了从物理链路、VLAN配置、VLANIF接口状态、路由表到ARP表、MTU及安全策略等全链路检查点，并给出了清晰的排查命令与流程，帮助网络工程师快速定位并解决VLAN间路由问题，实现稳定互通。
Hadoop学习笔记—12.MapReduce中的常见算法
Hadoop学习笔记—12.MapReduce中的常见算法 一、MapReduce中有哪些常见算法 （1）经典之王：单词计数 这个是MapReduce的经典案例，经典的不能再经典了！ （2）数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。...
行政数据分析大屏实战：用Tableau从Excel到看板的完整搭建流程（含数据连接与字段计算避坑）
本文详细介绍了如何利用Tableau从Excel数据源搭建行政数据分析大屏的完整流程，涵盖数据准备、连接技巧、计算字段优化、看板设计及动态交互部署。通过五阶工作流，帮助用户高效处理多源异构数据，实现业务洞察与可视化呈现，提升行政数据分析效率。
QT触摸屏开发：如何通过重写事件处理实现精准按键长按检测
本文针对QT触摸屏开发中按键长按检测不精准的常见问题，深入剖析了传统信号机制失效的原因，并提供了通过重写事件处理函数（event）的解决方案。文章详细介绍了创建自定义TouchButton类、直接处理QTouchEvent以实现可靠长按检测的完整步骤与代码示例，并分享了进阶优化与避坑指南，帮助开发者实现跨平台一致的精准交互。
Hadoop Map-Reduce 算法
Hadoop MapReduce 算法是一种用于大规模数据处理的并行计算框架，最初由 Google 的 MapReduce 模型启发，然后由 Apache Hadoop 项目实现。然而，Hadoop MapReduce 也有一些限制，例如不适合迭代算法和实时处理任务，因此，后续出现了更高级的数据处理框架，如 Apache Spark，用于解决这些问题。：虽然最初设计用于批处理任务，但 Hadoop MapReduce 也可以应用于不同类型的计算任务，包括数据清洗、日志分析、搜索引擎索引构建等。
基于Simulink实现电动汽车电机驱动系统的建模与仿真
通过上述步骤，我们成功实现了基于Simulink的电动汽车电机驱动系统的建模与仿真。该系统能够全面评估电机驱动系统的性能，验证控制策略的有效性，并通过优化设计提高车辆的动力性和效率。引入智能预测：结合人工智能技术，实现更智能的控制策略。扩展功能：增加对多种电机类型的支持，提升系统通用性。实验验证：将仿真模型应用于实际硬件，进行实验验证，评估其在实际工况下的表现。
Designing algorithms for Map Reduce
Since the emerging of Hadoop implementation, I have been trying to morph existing algorithms from various areas into the map/reduce model. The result is pretty encouraging and I've found Map/Redu...
010、Zephyr RTOS开发环境搭建（Docker）
摘要 本文分享了使用Docker搭建Zephyr RTOS开发环境的实践经验。作者通过团队新人配置环境的真实案例，指出传统安装方式存在版本冲突、缓存污染等问题，而Docker方案能确保环境一致性。文章详细介绍了自定义Docker镜像的设计思路，重点解决工具链版本匹配、Python虚拟环境隔离等问题，将镜像体积从2GB优化到800MB。提供了从拉取镜像到点亮LED的完整工作流程，并总结了USB设备直通、文件权限、缓存问题等常见陷阱。还探讨了多阶段构建、CI集成等进阶用法，同时客观分析了Docker方案的局限性
OpenClaw进行安全测试（附使用场景案例）
test-master 是一个全面的测试专家，覆盖功能测试、性能测试、安全测试三大领域。这里我们重点来看下使用test-master如何进行安全测试。使用 test-master 时，可以针对以下高频领域进行专项安全扫描：✅ OWASP Top 10 测试✅ SQL 注入测试✅ XSS 测试✅ CSRF 测试✅ 认证 / 授权测试。
Cloud Computing(3)_Basic MapReduce Algorithm Design_Pairs&Stripes
How do we aggregate partial counts efficiently?
pscad IEEE标准系统搭建说明
pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。
data-intensive text processing with mapreduce-MapReduce Algorithm Design
MapReduce Algorithm Design in-mapper combining Main idea：通过借用Map手动实现聚集，在Mapper中实现Combiner。 Example：WordCount Reason： 1.Hadoop的Combiner机制不管key的分布，都会执行combine，如很多key都只有唯一的value与他对应，则Combi
Outlook Express 6 (OE6) for Win7/Win8/Win10
英文版 Outlook Express6.0， 兼容Win7/Win10/WinXP，解压就可用。
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[](https://bitdeli.com/free "Bitdeli Badge")
Cloud Computing(2)_Basic MapReduce Algorithm Design_Local Aggregation
In MapReduce, the programmers needs only to implement the mapper, the reducer, and optionally, the combiner and the partitioner. The execution frameworkk handles everything else.
NTscan扫描工具
ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。
Fast R-CNN
本文提出了一种用于目标检测的 Fast Region-based Convolutional Network 方法(Fast R-CNN)。Fast R-CNN 在先前工作的基础上，利用深度卷积网络高效地对候选区域进行分类。与先前工作相比，Fast R-CNN采用了多项创新，在提高训练和测试速度的同时，也提升了检测准确率。Fast R-CNN 对非常深的 VGG16 网络的训练速度比 R-CNN 快 9×，测试时快 213×，并且在 PASCAL VOC 2012 上取得了更高的 mAP。
CANN/GE编译器核心流程设计
Introduces transformation chain AscendIR experiences after entering compiler, and final product form. Compiler is multi-stage flow, each step has clear responsibility and design constraints. ## 1. Co
CANN/GE引擎功能分析
### 1.1 Problem Domain The Ascend AI processor uses a heterogeneous computing architecture. The chip integrates multiple types of computing units: AI Core handles dense matrix operations (for example
【课程设计】springboot高考志愿智能推荐系统-计算机毕业设计源码77047
个人信息管理： 查看和编辑个人资料（姓名、头像、手机号码等） 修改密码：支持修改密码 志愿填报：最少能填20个 院校收藏 查看和编辑个人资料(姓名、头像、联系方式等) 修改密码:支持修改密码 支持按地区、专业、分数搜索高校 通过协同过滤推荐算法根据学生信息推荐高校 支持学生留言
机器人-模仿学习-双臂【2023-04】：ACT【80M参数；CVAE-Transformer架构；ResNet18编码四路视觉；4层编码器融合视觉状态；7层解码器并行预测100步动作；时序集成平滑】
Meta。
Java Thread Pools — Deep Dive
Java线程池核心原理摘要 线程池作用：解决线程创建开销大、资源耗尽问题，通过复用固定线程、控制并发量、任务队列解耦任务提交与执行。Java提供Executor框架(Java 5+)实现。 核心类层次： Executor → ExecutorService → ThreadPoolExecutor(核心)/ScheduledThreadPoolExecutor(定时) ForkJoinPool：工作窃取，支持并行流和CompletableFuture ThreadPoolExecutor关键参数： core
CPU 缓存 | 原理、映射、一致性
……
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
712
扫一扫
