墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
1.6k累计阅读
1.7k平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
判别模型是对数据输出做判别的模型，多用于监督学习，尤其适合。继续编辑
机器学习是挖掘规律和使用规律的过程
• 从老数据中挖掘规律
• 把规律作用于新数据
• 通过对样本的分析，来估计总体的情况
• 完成从输入特征X到输出标签y的映射
机器学习就是一系列矩阵变换的过程
• 向量化编程是底层高性能运行的核心y=σ(XW+b)
机器学习是典型的归纳演绎法
• 归纳InductiveReasoning：从特殊到一般的推理，通过观察具体事例推导出普遍规律，训练就是归纳的过程！
• 演绎DeductiveReasoning：从一般到特殊的推理，用普遍规则推导具体案例。推理就是演绎的过程！
机器学习可以使用离线训练和在线训练两种方式来完成训练。
离线训练
推荐系统的模型离线训练和线上部署
推荐系统的离线训练 大数据平台提供了训练数据，推荐系统需要将这些保存在HDFS的数据输入到模型中，进行离线训练。由于训练数据量级非常大，普通单机无法承受这种计算压力，因此，业界主流的模型训练方法为分布式并行训练方法。 书中提到，当前三种主流的分布式并行训练方案分别为：Spark, Tensorflow, Parameter Server(PS). 1. Spark Spark中提供了一套强大的机器学习库Spark MLlib，支持常用的机器学习模型。用书中简练的一句话概括Spark的计算过程，Stage
【AI】用iOS的ML（机器学习）创建自己的AI App
在机器学习中，一切都始于模型，这是进行预测或识别的系统。教计算机学习涉及使用训练数据的机器学习算法进行学习。从训练中生成的输出通常称为机器学习模型。有不同类型的机器学习模型来解决同一个问题（例如对象识别），但使用不同的算法。是其中一些机器学习算法。
在 Azure ML 上用 .NET 跑机器学习
.NET ML 你在用了吗？
机器学习的三要素
一、机器学习的三要素 数据在机器学习方法框架中的流动，会按顺序经历三个过程，分别对应机器学习的三大要素：1. 模型；2. 策略；3. 算法 模型：谈到机器学习，经常会谈到机器学习的“模型”。在机器学习中，模型的实质是一个假设空间（hypothesis space），这个假设空间是“输入空间到输出空间所有映射”的一个集合，这个空间的假设属于我们的先验知识。然后，机器学习通过“数据+三要素”的训练，目标是获得假设空间的一个最优解，翻译一下就是求模型的最优参数。 策略：在模型部分，机器学习的学习目标是获得假设空间
Spark 2.0 机器学习 ML 库：常见的机器学习模型（Scala 版）
一、前言 机器学习中，人为地设计算法，需要一定的知识积淀。 而使用别人设计好的机器学习库如 Spark 2.0 ML，那是基本不需要什么基础的，开箱即用。 首先，看一个简单、完整、规范的案例，无疑是最好的方式。 之前的文章（内含短小精悍的案例）： Spark 2.0 机器学习 ML 库：特征提取、转化、选取（Scala 版） Spark 2.0 机器学习 ML 库：机器学...
人工智能AI 与 机器学习ML 的关键区别
人工智能（AI）是指计算机系统能够执行通常需要人类智能才能完成的任务。包括理解自然语言、识别图像、解决复杂问题和做出决策。AI的目标是创建能够模仿或超越人类智能的系统。弱人工智能（弱AI）：也称为窄AI，专注于特定任务。例如，语音助手（如Siri和Alexa）和推荐系统（如Netflix和Amazon的推荐算法）。强人工智能（强AI）：也称为通用AI，具有执行任何人类智能任务的能力。目前，强AI仍处于理论阶段，尚未实现。机器学习（ML）是人工智能的一个子领域。
利用pyspark.ml训练lightgbm模型的流程
在spark上训练模型的优势: (1)机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止，迭代时如果使用一般的Hadoop分布式计算框架，每次计算都要读 / 写磁盘以及任务的启动等工作，这回导致非常大的 I/O 和 CPU 消耗。而 Spark 基于内存的计算模型天生就擅长迭代计算，多个步骤计算直接在内存中完成. (2)从通信的角度...
初学者入门机器学习 (ML)的推荐教程
了解基本的机器学习概念并不难。有大量免费的在线博客文章、视频和编码教程可以引导您了解基础知识——从介绍性内容到常见应用程序，再到算法和应用技能。这篇文章总结了一些用于介绍 ML 的最佳免费选项。它按逻辑顺序排列，每个概念都建立在上一个概念的基础上。
使用 ML.NET CLI 自动进行模型训练
ML.NET CLI 是一个.NET 工具。若没有安装，打开vs ，点击新建下项目按装多个工具和功能安装位置;安装后，你为其指定一个机器学习任务和一个训练数据集，而它将生成一个 ML.NET 模型以及要运行的 C# 代码，以便在应用程序中使用该模型。如下图所示，生成高质量的 ML.NET 模型（序列化模型 .zip 文件）以及用于运行该模型/对该模型评分的示例 C# 代码非常简单。此外，还会生成用于创建/训练该模型的 C# 代码，以便可以研究和迭代用于该生成的“最佳模型”的算法和设置。
ML：MLOps系列讲解之《CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型—业务和数据理解→数据工程(数据准备)→ML模型工程→评估ML模型→模型部署→模型监控和维护》解读
ML：MLOps系列讲解之《CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型—业务和数据理解→数据工程(数据准备)→ML模型工程→评估ML模型→模型部署→模型监控和维护》解读 目录 MLOps系列讲解之《CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型》解读 6、CRISP-ML (Q)ML生命周期过程—了解机器学习开发的标准过程模型。 6.1、Business and Data Understanding业务和数据理解 6.2、Data Eng
解密TMS320F28377D双核工程中的内存分配艺术：从CMD文件到实战优化
本文深入解析TMS320F28377D双核DSP的内存管理艺术，从CMD文件配置到实战优化技巧。详细介绍了SARAM、GSRAM等内存类型的特性与配置方法，提供双核协同、性能优化及高级调试的实用方案，帮助开发者提升系统实时性和稳定性。
（ZOS-API)Matlab控制ZEMAX软件调整光学系统某镜面位姿
所用软件的版本：MatlabR2022a, Zemax OpticStudio2024R1交互扩展功能，Zemax和可以同时打开，操作会比较方便在ZEMAX软件中，调整次镜位置通常有两种方法：1.在次镜前后各添加一个坐标间断面，并修改其“偏心X”“偏心Y”等参数来调整次镜的位姿；2.或者直接在次镜属性选项中设置相关数值。这两种方法对Zernike系数的采集结果无显著影响。
使用循环神经网络预测温度
简介 本文以天气时间序列数据集为例，讨论如何使用深度学习模型预测未来天气温度。 使用的是由德国耶拿马克思普朗克生物地球化学研究所的气象站记录。 数据每10分钟记录一次，共记录14种不同的量，如气温、气压、湿度、风向等，原始数据可追溯到2003年，本例只使用2009-2016年的数据。 数据 下载并解压数据略。 加载数据： data_dir = r'E:\practice\tf2\temperature' fname = os.path.join(data_dir, 'jena_climate_2009_
在Allegro设计界面中如何修改封装焊盘
在高密度板的情况下，SUIPLA（支持内层没有的焊盘摘掉）打勾，在高密度板的情况下，内层没有的焊盘摘掉可以增加走线的空间。3、修改完焊盘后，选择File→Update to Design（更新到设计）。然后关闭焊盘修改对话框即可。，将会定期不定期更新技术文章，互相学习交流。或者点击Options选项卡下要修改的焊盘，然后点击Edit修改。在Allegro PCB设计界面中修改封装焊盘的方法。2、然后点击封装上要修改的焊盘，右击选择Edit。修改完成后如下图所示。
SpringBoot实战教程-springboot概论
Spring Boot 是一个快速开发框架,能够快速的整合第三方框架，简化XML配置，全部采用注解形式，以及自动配置。内置web容器,帮助开发者能够实现快速开发，简化了应用系统的初始搭建以及开发过程。
白话讲解帕累托前沿点（Pareto Frontier）基础知识与实例解析
排除所有“劣解”，缩小决策范围；量化目标间的“权衡关系”（如“每增加1千元成本，续航提升多少小时”）；支持不同场景下的个性化选择，平衡冲突目标。无论是手机选购、汽车设计，还是城市规划，帕累托前沿都是从“混乱的多目标”到“清晰的权衡”的关键桥梁，是现代决策科学中不可或缺的工具。通过数学建模，工程很多问题都可以建模成帕累托前沿求解问题，通过线性规划CPLEX、Gurobi 等优化工具，可以方便进行求解。
DeepQA: A Unified Transcriptome-Based Aging Clock Using Deep Neural Networks
摘要： 本研究针对转录组衰老时钟存在的关键局限——仅在健康样本训练导致对患病个体预测偏差的问题，提出DeepQA，一种基于专家混合架构与新型Hinge-MAE损失函数的深度学习模型。通过同时利用健康与患病个体的异质数据训练，DeepQA显著提升预测精度：在健康个体上MAE比现有方法低1.5年，且是首个能正确处理五类疾病条件的模型。其创新性体现在： 方法学突破：Hinge-MAE损失函数消除健康/患病样本的训练偏差，专家混合架构高效整合多队列数据； 流程革新：摒弃传统基因预筛选步骤，通过显著图分析直接识别衰老
【2026年米哈游春招 - 3月14日 -第一题- 行列相等】（题目+思路+Java&C++&Python解析+在线测试)
摘要 本文解决了一个矩阵行列和匹配问题：统计矩阵中行和等于列和的所有行列对数量。算法首先计算每行和每列的元素和，然后利用哈希表统计各行列和的出现次数。通过遍历列和并查询对应的行和出现次数，高效计算出匹配对数。该方法时间复杂度为O(nm)，空间复杂度为O(n+m)，适用于大规模矩阵数据。代码实现了Python、Java和C++版本，通过哈希表优化避免了暴力枚举，显著提高了计算效率。
visio安装包
Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。
廖雪峰Python教程[完整版]
廖雪峰的python教程整理的，已经排好版了，而且还是完整的，适合小白
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[](https://bitdeli.com/free "Bitdeli Badge")
霍尼韦尔SoftMaster使用说明
霍尼韦尔SoftMaster使用说明
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
3086
扫一扫
