bandaoyu的note

ReduceReduce（归约） 是一种聚合操作，与“拆分”相反，它的核心逻辑是将多个数据元素合并成一个结果。拆分是 Map 的职责，而非 Reduce。Reduce 的“归约”本质是通过迭代合并，逐步缩小数据规模，最终得到全局结果。以下是关键要点：1.定义与功能Reduce通过一个二元操作（如加法、取最大值等）逐步合并数据，最终输出一个单一值。例如：对执行 Reduce（求和），结果为10。2.与 Map 的关系在MapReduce模型中：Map。

NCCL (NVIDIA Collective Communications Library) 是 NVIDIA 推出的一个用于 GPU 之间高性能通信的库。深度学习模型规模巨大，单个 GPU 无法满足训练需求，需要将模型或数据分割到多个 GPU 上进行并行训练，NCCL 就是为了解决这个场景而生的。NCCL确实提供了Simple、LL和LL128这三种通信协议，以满足不同应用场景下的性能需求。减少同步带来的延迟将数据排列组合成4B Data+4B Flag的形式进行传输，对端会对Flag值进行校验。

CUDA（Compute Unified Device Architecture，统一计算设备架构），是显卡厂商NVIDIA推出的一种并行计算平台和编程模型。概念中的重点是“统一”二字：“统一”的含义是指该架构将不同类型的计算设备（主要是CPU和GPU）整合到一个统一的编程模型中，开发者可以使用相同的编程语言和工具集，在CPU和GPU上执行计算任务，而无为 CPU 和 GPU 分别编写完全不同的代码(既同时开发 CPU 和 GPU 上的共同程序)，这种统一性简化了并行计算的开发流程传统方式。

什么是 NVLink?| NVIDIA 英伟达博客 https://blogs.nvidia.cn/blog/what-is-nvidia-nvlink/NVLink就是英伟达（NVIDIA）开发并推出的一种总线及其通信协议，主要用于GPU之间或GPU与CPU、网络接口卡（NIC）等其他外设的连接，提供更高效的传输性能（高带宽，低延迟）。

一、HDFS简介一类是NameNode，又叫"元数据节点"；另一类是DataNode，又叫"数据节点"。这两类节点分别承担Master和Worker具体任务的执行节点。总的设计思想：分而治之——将大文件、大批量文件，分布式存放在大量独立的服务器上，以便于采取分而治之的方式对海量数据进行运算分析。HDFS是一个主/从（Mater/Slave）体系结构，从最终用户的角度来看，它就像传统的文......

MPI over InfiniBand, Omni-Path, Ethernet/iWARP, and RoCEhttp://mvapich.cse.ohio-state.edu/performance/pt_to_pt/

分布式缓存系统有DCache、redis、Memcached、SSDB等区别实际开发中经常使用的分布式缓存系统主要有Redis、MemCache、SSDB，这三者都是KV存储方案，各有优缺，但Redis相比较而言实用性更加广泛。由于Redis特点突出，支持多种数据类型，如String、Hash、Set、List、StoredSet，并且有高可用的解决方案和集群方案，支持水平扩容。也就解决了大部分企业的需求，而MemCache、SSDB相对来说，解决方案并不算那么完善。Redis与MemCache

入门好文章研读：《一条数据的HBase之旅，简明HBase入门教程-开篇》：https://blog.youkuaiyun.com/nosqlnotes/article/details/79647096这是HBase入门系列的第1篇文章，介绍HBase的数据模型、适用场景、集群关键角色、建表流程以及所涉及的HBase基础概念，本文内容基于HBase 2.0 beta2版本。本文既适用于HBase新手，...

前言 首先让我们来重温一下 hadoop 的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN： hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用使用Map和Reduc...

前置知识OSI网络七层模型（OSI(开放系统互联(Open System Interconnection)一、基础介绍 https://www.haproxy.org/ （官方网站） https://www.haproxy.org/download/1.8/src/haproxy-1.8.14.tar.gz（下载地址） http://cbonte.github.io/haproxy-dconv/1.8/configuration.html（文...

本文将涉及以下知识点（1）线性关系（2）线性回归（3）假设函数（4）代价函数（5）学习速率（6）梯度下降（7）特征向量相关的线性代数或微积分知识，可参照另两篇博文我的人工智能之旅----线性代数基础知识我的人工智能之旅----微积分基础知识线性关系解释线性回归之前，先来看一下线性关系。什么是线性关系？如果自变量与因变量存在一次方函数关系，那...

原文：https://blog.youkuaiyun.com/fanfan4569/article/details/81263499Topic:最小二乘法代数求解 实战 最小二乘法矩阵求解 实战 使用 scikit-learn 进行线性回归预测本文为实战篇，理论篇：线性回归理论一、最小二乘法代数求解 实战步骤：导入数据集（使用 numpy模拟） 绘制图形， 使...

1. 向量1.1 基本概念【向量（vector）】：一个同时具有大小和方向的几何对象。【行向量（row vector）】：一个1×n的矩阵，即矩阵由一个含有n个元素的行所组成：【列向量（column vector）】：一个m × 1的矩阵，即矩阵由一个包含m个元素的列组成：行向量的转置是一个列向量，反之亦然。【向量的模】：向量的长度叫做向量的模。假设向量 v = (v...

基本性质：平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有：1. 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模...

参数估计已经知道观测数据符合某些模型的概率下，我们可以利用参数估计的方法来确定这些参数值，然后得出概率密度模型。这个过程中用到了一个条件，就是概率分布符合某些模型这个事实。在这个事实上进行加工。（https://www.cnblogs.com/wt869054461/p/5935981.html）个人理解：概率密度函数形式已知，求出形式中的参数。非参数估计（无参密度估计）实际中...

决策树是类似流程图的结构，其中每个内部节点表示一个测试功能（例如，硬币翻转出现正面或反面），每个叶节点都表示一个类标签（在计算所有特征之后做出的决定）和分支表示导致这些类标签的功能的连接。从根到叶的路径表示分类规则，下图说明了使用标签进行决策的决策树的基本流程（下雨（Yes），不下雨（No））。2.1、决策树是什么决策树呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。学习...

从零开始机器学习001-线性回归数学推导陆永剑讲师关注1人评论58872人阅读2017-12-17 18:14:48机器学习中回归是同学们在学习过程中重要的一环。无论是面试还是实际应用都会经常用到。很多人都会使用线性回归，那么有多少人知道线性回归是怎么来的呢？如果想让自己在机器学习的方向上更有价值，数学方面的推导必不可少。今天就给大家讲解下回归中比较重要的线性回归的数学推导。老师...