yichudu

Node.js是基于Chrome V8引擎的JavaScript运行环境，使前端开发者也能编写本地程序。其特点包括非阻塞异步I/O、事件驱动、跨平台兼容性以及强大的npm生态。安装可通过官网下载Windows安装包。npm作为Node包管理器，会将安装的包存储在用户目录的AppData/Roaming/npm文件夹中。

本文介绍了知识蒸馏技术及其应用。知识蒸馏是一种模型压缩方法，通过让小型学生模型学习大型教师模型的输出，在保持性能的同时显著减少计算资源需求。该方法适用于将云端大模型（如ResNet-152、BERT）压缩为移动端小模型（如MobileNet、TinyBERT）。核心原理包括： 利用教师模型的软标签（概率分布）传递"暗知识"； 设计联合损失函数（任务损失+KL散度蒸馏损失）； 特征蒸馏扩展，通过对齐中间层特征提升学习效果。该技术能有效平衡模型性能和部署效率。

1.简述聚类属于无监督学习。 给定的训练数据是{x(1),...,x(n)}\{x^{(1)}, ... , x^{(n)}\}。没有label标注， 希望机器学习后自动分为k类。什么情况下会用到聚类呢？ 获取样本的成本不高但标注的成本比较高或很难标注， 就可以尝试聚类。2.

模型的评测指标只能反映它准不准, 如果没有好的可解释性, 人们就会担心它不够鲁棒, 难以放心去投用.SHAP 是一个库, 依据 组合博弈论领域 中的 shapely value 思想, 对模型的单个预测作解释.shapely valuetransformer 搭配...

帮我想个问题, 高维(dimension=200+)空间中, 点在某个集合A(|A|>40W)中的 K-近邻 cosine similarity 搜索, 有什么好的 hash 或 space split 方法么? 这是目前手头的一个实际问题, 用于 word2vec 的 k-邻近搜索, 我开始想到的是 K-D树, 可以又一想, 它处理Euclidean Distance 很直观, 似乎 不适于 c

DCG, Discounted Cumulative Gain ,累计收益折扣.A measure of ranking quality. 是信息检索领域中, 对排序问题的一个评价指标, 因素有文档相关性与排序位置: 与推荐场景常用的AUC, 有何区别?A: DCG侧重于样本分档, 而非简单的 正/负 sample.

1. sigmoidsigmoid, 并不是某一个具体的函数, 而是指代一类S型函数.tanh 双曲正切函数. tanhx=sinhxcoshx=ex−e−xex+e−x\tanh x=\frac {\sinh x}{\cosh x}=\frac{e^x-e^{-x}}{e^x+e^{-x}} 图1-1 tanh 图像, 值为[-1,+1] (tanhx)′=1−tanh2x(\ta

1.简介python的一个机器学习框架. 使用anaconda的话, 自带就有. 官网地址 官网教程-tutorial2.Bunch类scikit-learn的package名字是sklearn, 它自带了一些数据集, 方便入门使用. 数据集通常用bunch这个类表示.from sklearn import datasets;iris = datasets.load_iris()通过上面的代

简介数据集大的时候, 一次性加载到内存里很困难, 所以keras, tf等就提供一些接口进行流式处理.1.Keraskeras.engine.training.Model#fit_generator(self, generator,…) 与下面的 Model#fit()作比较, x与y 两个参数合为了generator一个参数. 这个函数由用户自定义, 通过yield 返回 (...

Newton method牛顿法.Quasi-Newton拟牛顿法.BFGSBFGS, Broyden–Fletcher–Goldfarb–Shanno algorithm.L-BFGSL-BFGS,Limited-Memory BFGSOWL-QNOWL-QN,Orthant-Wise Limited-Memory Quasi-Newton.

摘要：强化学习是一种通过与环境交互来优化长期累积收益的机器学习方法。Q-learning是一种经典强化学习算法，通过迭代更新Q值函数来学习最优策略。本文介绍了强化学习的基本概念和四元组模型，详细解释了Q-learning的迭代公式和参数含义，并提供了一个一维走迷宫的任务示例及配套Python代码实现。最后提到深度强化学习在游戏领域的应用，如DeepMind使用像素输入训练AI玩Atari游戏的研究。

阿里的公开可售服务, 类比于业界的 Hive.inset() 类比于mysql中的inset()函数, 我们可以用SPLIT()与ARRAY_CONTAINS()搭配来完成. SELECT ARRAY_CONTAINS(SPLIT('1,2,3',','),'3') from tbcdm.dual; -- true...

简介这是个鸢尾花的三分类的数据集, 太经典了. 这里描述一下.tensorflow 的入门教程也有描述, 见 参考[1]. 它的数据集要在运行代码时从网上下载, 因为 Great Fire Wall, 下载会失败. 所以介绍下 sci-kit learn 自带的, 用起来更方便.features四个数值特征. sepal length, sepal width, petal...

Zachary’s karate club一个大学空手道俱乐部的社交关系图, 很多论文中都喜欢用它做例子. 这个图比较简单, 有34个节点, 78条边.youtube 2数据集介绍见[2]. node有两种, personpersonperson 与 groupgroupgroup, edge 也有两种, friend⊆(person×person)friend⊆(person×...

知识图谱是一种精细化的异构网络, 所以对其节点与边的表示学习也是一个热门的问题. 这里的学习依旧是得到它们的低维稠密向量.参考论文transr

ps 是一种分布式机器学习的编程框架. 该思想在[1]中被提出, git上的一个实现见[3].参考parameter_server_osdi14.pdfParameter Server 详解github,ps-lite

NeurIPSNeural Information Processing Systems.https://nips.cc/ICMLInternational Conference on Machine Learning.https://icml.cc/IJCAIInternational Joint Conferences on Artificial Intelligence.ht...

交叉熵可以用来衡量两个概率分布之间的差异, 熵越小表明差异越小, 故可用作损失函数.

ps负责存储参数.workerworker_0 是固定的 chief 角色.worker_1 是固定的 eval 角色, 不参与训练. 每隔指定的时间检查有无最新的ckpt文件, 对其加载后从 eval_input_fn 读指定step的数据.需要注意每次eval时读到的数据都是完全相同的.ps/worker 通信注意事项分布式环境中, tf.gradient() 不被支持....

极大似然估计, Maximum Likelihood Estimation. 它是这样一种思想: 假设拿到的样本服从某种分布律, 求分布律中的参数, 使得观测样本序列发生的概率最大. 换种说法就是, 事情已经发生了, 求一个模型中的参数, 使得已发生的现象解释起来最为自然, 合理.1.公式2.例子一个罐子里面有黑白两种颜色的球， 我们有放回地随机拿出一个球, 做了三次实验, 结果

卡方检验（Chi-square Test）卡方检验最基本的思想就是通过观察实际值与理论值的偏差来确定理论的正确与否。具体做的时候常常先假设两个变量确实是独立的（“原假设”），然后观察实际值（观察值）与理论值（这个理论值是指“如果两者确实独立”的情况下应该有的值）的偏差程度，如果偏差足够小，我们就认为误差是很自然的样本误差，是测量手段不够精确导致或者偶然发生的，两者确确实实是独立的，此时就接受原

归一化，也即数据标准化。是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。以下是两种归一化方法：一、min-max标准化（Min-Max Normalization） 也称为离差标准化，是对原始

MATLAB版本：R2010b     libsvm版本：libsvm-3.20不需要编译libsvm。编译是为了由cpp得到.mexw64，而libsvm-3.20直接提供了.mexw64.见下图。

获得 tw.edu.ntu.csie libsvm 3.17libsvm-3.17.jar的结构见下图，default package:这里是工具制作者自己封装出来的一些类，它们都有main函数，可作为小工具直接使用。libsvm package：核心文件。关于default package：因为里面的类不在任意一个package中，所以我们的工程无法引用。解决办法

1.用户画像用户画像其实就是用户的信息标签，把一个用户标签化。用户画像是产品分析受众核心的非常重要的部分。完成用户画像是需要考虑非常周全的一个体系，它包括获取用户的渠道，还有产品的使用场景，用户的数据维度，包括那些自然特征、情绪特征、社会特征还有消费特征等等，从这些可以基本的组合而成的标签。而自然特征延伸的一些其他属性，就需要根据产品的属性来判断。自然特征：最基本的就是年龄、性别、地域、还

1.概念k-折交叉检验,k-fold cross test.一种检验机器学习效果的方法。k取值为10时就是10折交叉检验。将数据集均分成10份，做10次检验，取平均误差为最终误差。第i次检验时将第i份数据作为测试集，其余(10-1=9)份数据作为训练集。2.代码顺着逻辑直接写出来的代码：package org.lenskit.eval.crossfold;i

1. 概述集成学习, Ensemble Learning. 通过多个学习器来完成学习任务. 图1-1 显示出集成学习的一般结构: 先产生一组个体学习器, 再用某种策略把它们结合起来. 图1-1 集成学习示意图 集成学习通过对多个学习器进行结合, 常可获得比单一学习器优越的泛化性能.2. Boostingboosting是一种可将弱学习器提升为强学习器的算法. 大致过程见下.先从初始训练集

PMML, Predictive Model Markup Language. 1.简述PMML 用于描述算法模型, 允许您在不同的应用程序之间轻松共享预测分析模型. 通俗地讲, 我有一个决策树模型, 使用效果也不错, 那么就可以把树的结构(节点间的父子关系, 节点内的丰富信息 等)序列化为PMML文件, 共享给其他人使用.2. 主要结构PMML 文件的结构遵从了用于构建预测解决方案的常用步骤，包

分类决策树, 参见 分类- 决策树 回归决策树, 参见 回归- 决策树.一些对比树的度 CART是二叉树, ID3与C4.5是多叉树.特征值是否离散 若是离散值, 如 西瓜产地={平顶山, 郑州, 洛阳} , 则靠 相等与不相等进行划分. 若是连续值, 如 西瓜大小={具体的体积} , 则靠 <= 与 >进行划分.label是否离散 若是离散值, 为分类. 用信息增益衡量划分效果

1. windows下安装建议基于anaconda安装. 参见  . http://blog.youkuaiyun.com/chuchus/article/details/771845662. centos下安装按顺序一步一步解决依赖并安装。1.1 python笔者使用的版本为2.7.5 .2.1 python-pippip,Python Index Package。类似linux下的yum，安装并管理pyt...

范数, norm, 是数学中是一种类似“长度”的概念, 其实也就是一类函数.在机器学习中的正则化（Regularization）以及稀疏编码（Sparse Coding）有非常有趣的应用.对于向量a∈Rn, 它的Lp范数为∣∣a∣∣p​=(i∑n​∣ai​∣p)p1​(1)

简介迁移学习, Transfer learning. 顾名思义就是就是把已学好的模型参数迁移到新的模型来提升效果. 这里的提升主要为:加速收敛 考虑到大部分数据或任务是存在相关性的，所以通过transfer learning, 我们可以将已经学到的 parameter 分享给新模型, 从而加快并优化模型的学习, 不用像之前那样 from scratch.例子TextCNN, 词向量表示那里可

1.MNISTMNIST, [em’nist]. 0~9的手写字体.format 图像尺寸, 28*28. 像素取值为[0,1], 由浅到深.size train set: 60K test set: 10K2. Cifar-1010个不同实体的彩色照片. 飞机, 汽车, 鸟, 猫, 鹿, 狗, 青蛙, 马, 船, 卡车.format 图像尺寸 32*32size 60 K.

人工智能，Artificial Intelligence，是计算机学科的一个分支，也是心理学、语言学、生物学等多学科交汇的一个热门领域。它企图了解人类智能的实质，并用计算机去模拟它，完成一些较为复杂的任务，让机器看起来像是“有了智能”。 该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。 思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维...