现代机器学习研究进展 第一部分 数学与概率工具箱 第一章 概率论与信息论

最新推荐文章于 2025-12-17 18:47:30 发布
最新推荐文章于 2025-12-17 18:47:30 发布
阅读量179 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 人工智能技术白皮书 文章标签： 机器学习 概率论 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/VectorShift/article/details/154433284

1 概念回顾：随机变量、条件分布、期望与方差

1.1 符号约定（统一）

1.2 基本恒等式

2 信息量：熵、交叉熵、KL 散度 — 定义、性质与证明

2.1 熵（Entropy）

2.2 交叉熵（Cross-entropy）

2.3 Kullback–Leibler 散度（KL）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【机器学习深度解析】第一章 机器学习导论：从理论到实践的深度解析
VectorShift的博客
08-10 130
不仅要定义问题类型（分类/回归），还要明确评估指标。例如，在欺诈检测中，我们可能更关心召回率 (Recall) 而非整体准确率 (Accuracy)。
从逻辑视角学习信息论：概念框架与实践指南
初始阶段。长文本博客做模型上下文。新书《千界明彻录》（故事形式构建元思维）——胡说小说。更多思辨内容在公众号。
05-23 1335
本文探讨了从逻辑学视角理解和学习信息论的独特方法。文章首先阐述了信息的逻辑本质，指出信息本质上关乎"区分、差异和多样性"，并通过David Ellerman的逻辑熵理论建立了信息论的逻辑基础。作者将Shannon熵重新诠释为解决系统状态歧义所需的信息量，使抽象的数学概念转化为直观的逻辑概念。 文章深入分析了信息论与逻辑学的概念交汇，包括熵作为逻辑不确定性的度量、互信息与逻辑依赖的关系，以及最大熵原理的认识论意义。在实践层面，文章探讨了编码理论、错误纠正码的逻辑原理，以及信息论在机器学习、量子计算等
深度学习直通车——第1章：数学与机器学习基础回顾 (Foundation Reloaded)
Rhett_Butler0922的博客
07-07 1272
这不仅仅是“复习”，更是从深度学习的视角，重新理解这些工具的意义与威力。夏令营的笔试和面试中，对基础概念的深刻理解，往往是区分普通和优秀候选人的关键。所以，梯度下降就是这样一个简单而强大的方法：通过不断地朝着梯度（最陡峭）的相反方向（下坡）迈出合适的一小步，来逐步找到我们想要的最小值（例如，模型预测误差的最小值）。：到达新位置后，您再次环顾四周，找到新的最陡下坡方向，再迈出一步。：您的目标是走到这座山的最低点，也就是山谷的谷底。但是，因为雾太大了，您完全看不清远处的路，只能看到自己脚下的一小片区域。
第1章 机器学习和统计学习
Darling912的博客
09-07 2116
我们不知道数据集中数据、特征之间的关系，而是要根据聚类或一定的模型得到数据之间的关系。在无监督学习中数据只有特征(feature)无标签(label)，是一种机器学习的训练方式，它本质上是一个统计手段，在没有标签的数据里可以发现潜在的一些结构的一种训练方式。比起监督学习，无监督学习更像是自学，让机器学会自己做事情。定义： 强化学习是让一个智能体（agent）在环境中通过尝试和错误来学习行为策略。智能体通过与环境进行交互，根据奖励信号来调整其行为策略，以达到最大化累积奖励的目标。
神经网络与深度学习（第一章笔记）
2401_87508454的博客
10-10 827
在我个人看来还是得学会使用一些基本的工具，基本的编程知识，数学基础。基本工具：学会使用conda，conda主要是包管理工具，可用于创建虚拟环境，其实也可以去了解一下（conda的加速工具，可提高包管理和环境创建的速度。数学基础：微积分（常见的求解偏导数，积分，微分公式即可），线性代数，概率论，信息论。编程基础：python（这里推荐和廖雪峰的python教程）当然你也可以学习一下廖雪峰的其他教程。
机器学习第一章：简介和概括
、Lu的博客
08-19 1239
机器学习 概述 机器学习(Machine Learning,ML)是使用计算机来彰显数据背后的真实含义，它为了把无序的数据转换成有用的信息。是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。 海量的数据 获取有用的信息 机器学习 研究..
一、机器学习算法与实践_01基本概念与项目流程笔记
LC的博客
09-14 2511
传统算法和机器学习算法各有优势和适用场景：传统算法在规则明确、结构化的问题上表现良好，而机器学习算法在处理复杂、非结构化数据和需要自适应学习的场景中表现出色。在实际应用中，两者往往可以结合使用，以发挥各自的优势。
人工智能基础课【学习笔记】 | 机器学习必备的数学基础
Eleven_Whats的博客
06-15 1470
在此前 4 个月的时间当中，我和大家一块分享了最近火热的人工智能的技术，包括它的一些数学基础、机器学习的算法以及神经网络，还有深度学习这样一些热点的话题。俗话说得好，编筐编篓，全在收口。能在最后一次更新的时候和大家做一次这样的视频直播的分享，我觉得也是非常荣幸，能够有机会和大家进行一个更加深入的交流。我们今天分享的内容主要是。从这个主题当中，我也可以感受到，大家在学习人工智能的时候，一个务实的态度。
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
BetterBench的博客
09-21 4227
2024“华为杯”数学建模竞赛，对ABCDEF每个题进行详细的分析，涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题，解析了问题类型、专业和技能的需要。
大数据笔记--Spark机器学习（第一篇）
热门推荐
我睡觉的时候不困
04-05 2万+
一、数据挖掘与机器学习 1、概念 2、人工智能 3、数据挖掘体系 二、机器学习 1、什么是机器学习 2、机器学习的应用 3、实现机器学习算法的工具与技术框架 三、Spark MLlib介绍 1、简介 2、MLlib基本数据类型 Ⅰ、概述 Ⅱ、本地向量 Ⅲ、向量标签的使用 Ⅳ、本地矩阵 Ⅴ、分布式矩阵的使用 3、MLlib统计量基础 Ⅰ、概述 Ⅱ、计算基本统计量 Ⅲ、计算相关系数 四、距离度量和相似度度量 1、概念 2、欧氏距离 3、曼哈顿距离 4、切比雪夫距离
机器学习进阶＜10＞分类器集成：集成学习算法
2303_77568009的博客
12-12 794
这篇博客是一篇关于分类器集成技术的全面实战指南，涵盖了从理论基础到代码实践的完整知识体系。文章以"三个臭皮匠顶个诸葛亮"的智慧为核心隐喻，系统阐述了如何通过组合多个弱分类器来构建强大的集成模型，从而突破单分类器的性能瓶颈。
多模态模型CLIP详解
最新发布
A1233242的博客
12-17 685
CLIP（Contrastive Language–Image Pretraining）是 OpenAI 提出的一种多模态模型，通过对大量“图像–文本”对进行对比学习训练，使模型能够将图像和自然语言映射到同一个语义空间中。它不需要为每个视觉任务单独标注数据，而是通过理解文本描述来完成图像分类、检索和零样本学习等任务，从而具备很强的泛化能力和跨模态理解能力
机器学习进阶＜9＞基于 PCA 的图像压缩与还原
2303_77568009的博客
12-11 1157
这篇博客系统性地探索了主成分分析(PCA)在图像处理中的进阶应用。从基础的图像压缩演示入手，直观对比了保留90%与50%信息时的视觉差异与压缩率；进而深入至多主成分重构误差分析与“肘点”选择，为参数优化提供科学方法。核心创新在于将PCA拓展至异常检测领域：利用核PCA(Kernel PCA)处理非线性数据，实现图像局部异常定位；并横向对比PCA、Isolation Forest、One-Class SVM等多种算法的检测性能。
线性回归+实例
2203_75341967的博客
12-11 1415
模型公式：y=wx+b+ϵy：因变量（待预测的连续值，如糖尿病病情指数）；x：自变量（单一特征，如血糖值）；w：回归系数（斜率），表示x每变化 1 单位，y的平均变化量；b：截距，x=0时y的预测值；ϵ：随机误差（残差），表示模型无法解释的随机波动，服从均值为 0 的正态分布。优势：原理简单、解释性强、计算成本低，是理解回归分析的基础；关键：使用前需验证线性假设、处理异常值 / 多重共线性，使用中需通过正则化避免过拟合，使用后需用R2、RMSE 等指标评估效果；
Navitas 与 Cyient 达成合作伙伴关系，旨在推动氮化镓（GaN）技术在印度的普及
qq_28126171的博客
12-17 160
此次合作不仅仅是简单的商业销售，而是一次深度的生态共建。它将 Navitas 的核心芯片技术与 Cyient 的本土工程制造能力相结合，旨在让印度成为全球氮化镓高功率应用的重要研发中心和制造基地。永霖光电-UVSIS-UVLED紫外线应用专家-独家发布。
从 “碗状函数” 到 “坑坑洼洼”：机器学习的凸与非凸之战
进一步有进一步的欢喜~
12-14 658
本文将从凸函数的数学定义、直观理解出发，结合机器学习中的典型案例，对比凸函数与非凸函数的核心差异，并探讨非凸优化的实际解决方案，帮助读者建立对凸函数的系统认知。
机器学习中所有可以调整的超参数（考试／自己调参用）
2401_83026894的博客
12-12 883
网络架构参数虽然重要，但通常基于领域知识选择。，因为它直接影响收敛速度和最终性能。
MLflow Tracking API：超越实验记录，构建可复现的机器学习工作流
不懂先生的博客
12-17 227
在实际项目中，我们经常需要计算和记录业务特定的指标。MLflow 的灵活性允许我们轻松实现这一点。"""记录业务特定的异常检测指标在异常检测中，我们关心的不仅是准确率，还有：1. 在高风险区域的检测能力2. 误报的成本3. 检测延迟的影响"""# 应用阈值# 计算混淆矩阵# 标准指标# 业务特定指标# 1. 高风险检测率（假设高风险样本有特殊标记）high_risk_mask = y_scores > 0.8 # 模拟高风险区域。
如何区分什么场景下用机器学习，什么场景下用深度学习
servepeople的博客
12-12 512
小数据、明特征、省资源 → 机器学习；大数据、暗特征、高精度 → 深度学习。作为TensorFlow初学者，建议先从机器学习入手（比如用逻辑回归做鸢尾花分类、用随机森林做房价预测），理解“特征工程”和“算法原理”后，再用TensorFlow做简单的深度学习任务（比如用CNN做MNIST手写数字识别），循序渐进就能分清场景啦！
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值