- 博客(49)
- 收藏
- 关注
RSS订阅原创 吴恩达深度学习复盘(8)神经网络中激活函数的建模
神经网络中的不同神经元可以选择不同的激活函数，上层（输出层）有上曾的激活函数，隐藏层有隐藏层的激活函数。Sigmoid函数，Tanh函数，ReLU函数，Leaky ReLU函数，Softmax函数
2025-04-06 13:21:43
669
原创 吴恩达深度学习复盘(7)一个简单训练示例
本篇简单讲解简单的神经网络训练。通过回顾逻辑回归模型训练，了解神经网络训练的相关内容。比如训练步骤、损失函数、优化算法以及深度学习库的使用，了解训练过程中的相关概念。
2025-04-05 12:35:02
745
原创 吴恩达深度学习复盘(6)神经网络的矢量化原理
在NumPy中，除了常规的转置理解方式外，还可以使用这样的函数来计算转置，该函数会将矩阵的列横向排列。- 给出矩阵，通过（np指NumPy库）这样的代码计算矩阵。python在一些代码中可能会看到这种写法，这也是计算矩阵乘法的另一种方式，使用np.dot更清晰。
2025-04-04 13:57:16
870
原创 吴恩达深度学习复盘(5)神经网络的前向传播TesorFlow与NumPy实现比对
数据表示的历史背景NumPy 是 Python 科学计算的基础库，早期设计为处理多维数组TensorFlow 由 Google Brain 团队开发，采用张量（Tensor）作为核心数据结构两者在矩阵存储方式上存在历史遗留的不一致性矩阵维度的关键概念矩阵维度表示为行数×列数（如 2×3 矩阵）行向量（1×n）与列向量（n×1）的区别NumPy 一维数组（ndarray）与二维矩阵的差异数据输入的维度规范性框架间转换的显式处理历史设计差异带来的潜在问题。
2025-04-02 12:25:47
1214
原创 模拟经营游戏技术复盘：试错到迭代的几个问题
游戏上线测试后技术表现上趋于稳定。实际上gr1demo-gr4测试过程中出现了不少问题，但是大多不是伤筋动骨的问题，花一周内时间就可以解决。有两个造成的后果不是最严重，但是却最典型，还好现在解决掉了；在这里记录一下，提醒一下自己。
2025-04-02 03:07:18
961
原创 吴恩达深度学习复盘(4)神经网络的前向传播
神经网络的前向传播（Forward Propagation）是指输入数据从输入层经过各隐藏层传递到输出层，逐层计算激活值的过程
2025-04-01 20:56:35
955
原创 吴恩达深度学习复盘(3) 神经元层数学原理
简单例子笔者注一般神经网络结构是，1.输入层 ；2.隐藏层（基本上可以认为是解决思路层）;3.输出层。而隐藏层是解决问题的关键。
2025-03-31 15:58:25
1007
原创 吴恩达深度学习复盘(2)神经网络的基本原理轮廓
这两节课主要介绍了神经网络的大的轮廓。而神经网络基本上是在模拟人类大脑的工作模式，有些仿生学的意味。为了便于理解，搜集了一些脑神经的资料，这部分是课程中没有讲到的。首先要了解一下大脑神经元之间结构。人类脑部的神经元之间的信息传说关键点在于树突。树突接收到足够强的信号时，细胞体通过电脉冲（动作电位）将信号沿轴突传递。信号是否触发取决于输入总和是否超过阈值。而神经网络中所谓的“神经元”，实际上是数学模拟，关键点在于激活函数。生物神经元通过化学和电信号传递，具有可塑性（突触强度随学习改变）。人工神经元纯数学计算，
2025-03-30 13:15:00
1189
原创 吴恩达深度学习复盘（1）神经网络与深度学习的发展
前几节课程没什么公式和概念。只是让学习者有个大概的印象，热下身。人工神经网络（ANN）是模拟生物神经元结构的计算模型，通过多层节点和权重连接处理数据，早期受限于层数（通常 1-2 层隐含层）和数据规模，依赖人工设计特征。深度学习则是 ANN 的子集，特指具有深层结构（数十至上百层）的神经网络，其核心突破在于通过层次化特征提取自动学习抽象特征，解决了传统 ANN 难以处理的复杂问题。深度学习的兴起得益于三大驱动力：①数据爆炸（互联网、移动设备带来的海量数字化数据）；②硬件进步。
2025-03-29 12:48:18
1098
原创 数学复习(11)微分的其它（复合性）问题
无论函数类型如何，求切线方程的核心步骤始终为：1. 求导得斜率2. 代入得切点3. 点斜式写方程。关键是灵活运用导数规则（各种基本法则如链式法则、商法则），并正确代入数值。
2025-03-27 10:49:13
1116
原创 吴恩达机器学习笔记复盘（十二）逻辑回归的梯度下降和拟合问题
1. 批量梯度下降（BGD）- 使用全部样本计算梯度 - 优点：收敛稳定 - 缺点：计算量大，内存占用高2. 随机梯度下降（SGD）- 每次随机选取一个样本更新参数- 优点：计算速度快- 缺点：梯度波动大，可能无法收敛到全局最优3. 小批量梯度下降（Mini-Batch GD）- 每次使用一小批样本（如32-256个）- 平衡计算效率和收敛稳定性逻辑回归的梯度下降通过最小化对数损失函数，迭代调整参数，使模型预测概率与真实标签尽可能接近。
2025-03-26 09:40:24
1180
原创 读论文随笔记 - 图灵范式&&大模型&&DeepSeek
我一开始看到这新闻觉得可笑，一直到用了deepseek，第一次看到ds把逻辑性远超过我，并以以千倍速度的文本打印出来的时候，我汗毛孔里产生到了字面意义上的“细思极恐”的感觉（病句，只是为了表达感受罢了，不知道怎么改了，对付着记下来吧）。现代模型的能力维度也远超文本交互：SD，MJ 生成的艺术作品模糊了创作主体的边界，Claude 3 能进行复杂的数学证明，当 AI 不仅能模仿人类行为，而且能比普通人做的更快更好，更能创造人类难以企及的成果时，行为主义框架依然适用（部分适用）（造出了什么吓人的玩应儿啊）。
2025-03-25 08:46:11
570
原创 数学复习（10）微分的几种基本解题方法
基本导数定义导数定义法的核心技巧1. 分式函数：通分后约分（如2. 根式函数：分子有理化（如或复合根式）。3. 多项式/幂函数：二项式展开后保留线性项（如4. 三角函数：利用三角恒等式和已知极限（如5. 复合函数：通过代数变形分离变量如。导数定义法的关键是通过代数技巧消除分母中的，并利用极限性质求出结果。幂法则虽然高效，但定义法是理解导数本质的基础。链式法则是处理复合函数导数的核心工具，通过分解函数、分步求导、合并结果，高效解决复杂导数问题。
2025-03-25 06:19:12
828
原创 吴恩达机器学习笔记复盘（十一）逻辑回归的代价和损失函数
损失函数是对概率的误差平均值描述。数学简洁性：避免了分段讨论，便于代码实现。将两种分类情况统一为单一表达式，降低了实现复杂度。凸性保证：代价函数为凸函数，梯度下降可收敛到全局最优解。确保了梯度下降的有效性，避免局部极小值问题。统计依据：该代价函数基于最大似然估计推导，符合统计学原理。
2025-03-24 12:00:32
1183
原创 吴恩达机器学习笔记复盘（十）逻辑回归的决策边界
逻辑回归的决策边界是模型对样本进行分类的分界线，其形状和位置由模型参数决定。决策边界是将输入空间划分为不同类别区域的分界线。在逻辑回归中，当模型预测样本属于正类（1）的概率时，样本被归为正类；反之则归为负类（0）。因此，决策边界对应的位置。决策边界是逻辑回归模型的核心，其形式由特征和参数共同决定。线性边界简单高效，非线性边界通过特征变换实现，但需注意模型复杂度控制。理解决策边界有助于直观解释模型行为，指导特征选择和调参。逻辑回归通过线性模型+非线性激活函数实现分类功能 -
2025-03-23 03:36:17
562
原创 游戏立项时期随笔记录(2)
demo外这部分策划给个粗放的设计，主要是UI和UE的演示，美术给点基本素材就能开动，战斗用空场景代替就可以。战斗这东西算是所有游戏的核心，有人说模拟经营没有战斗 - 其实模拟经营的战斗就是经营的模拟，只是表现方式不同。商业游戏开发团队成熟，资深的策划一开始就会给到成型的数值结构模板，基本不需要改动，程序根据表格来实现完成就可以。如果没验证过或者新人学起来不容易，用NGUI或者FGUI，这两者相对不需要做太多的优化工作。有时候粗放的设计都没有，直接找个老产品复刻大型，总之外壳这东西这样也能做就是了。
2025-03-22 06:52:02
1148
原创 吴恩达机器学习笔记复盘（九）逻辑回归模型概述
逻辑回归（Logistic Regression）是一种用于解决分类问题的统计学习方法，尤其适用于二分类任务。尽管名称中包含“回归”，但它实际上是一种分类模型。逻辑回归是一种经典的分类模型，其核心在于将线性回归与概率转换结合，适用于二分类和可解释性要求高的场景。尽管存在一定局限性，但其简单性和高效性使其成为实际应用中的常用工具。
2025-03-21 14:42:44
978
原创 数学复习(9)可导性
高中物理学的牛顿定律求的是平均速度。为了更方便的理解运动物体的瞬间速度、距离和时间的关系，启蒙了微积分思想。可以说微积分是研究物理的过程中设计出来的数学工具。设是我们关心的时刻，是之后的一段很短的时间，用表示汽车在始于时间、终止于时间的时间段上的平均速度。
2025-03-20 13:02:00
790
原创 吴恩达机器学习笔记复盘（八）多元线性回归的梯度下降
梯度下降是多元线性回归的主流优化方法，具有普适性和可扩展性，而标准方程法适用于特定场景。实际应用中需结合特征工程和参数调优提升模型性能。本篇不复盘参数调优。梯度下降是一种简单而有效的优化算法，通过不断更新参数来最小化代价函数。在多元线性回归中，我们可以使用梯度下降来寻找最优的权重和偏置。需要注意的是，学习率的选择对算法的收敛性和性能有重要影响，需要进行适当的调整。简要核心过程是以下部分使用向量符号将多元线性回归模型简化为其中是特征权重向量，是特征向量，是偏置项。梯度下降更新规则代价函数对。
2025-03-19 21:36:09
780
原创 吴恩达机器学习笔记复盘（七）多元线性回归模型
假设我们有个观测数据点，其中表示第个观测值的第个自变量，表示第个观测值的因变量。多参数线性回归模型的一般形式为：其中，是待估计的参数，称为截距项，称为回归系数，是随机误差项，通常假定独立同分布，且服从均值为，方差为的正态分布，即。这一节提前代入了很多后面的公式，只是为了有个大概印象，梯度函数，最小函数后面会进一步讲解。总的来说：模型由单特征的变为多特征形式，（为基本价格，表示对应特征对价格的影响）。一般地，若有个特征，模型为。然后将模型简化。将参数。
2025-03-18 14:55:41
565
原创 游戏立项时期随笔记录(1)
而不管项目成功与否，中后期的人员交替都是很正常的事，让新人便于查找功能位置，这是另外一个问题。注意，一个项目一般不会去直接自己从0-1去写一套框架，框架是需要实际项目去验证的。我自己的经历是，框架是之前项目的经验总和，或者使用稳定的开源框架，或者从成功上线过的游戏中拆分出框架。，确保前端主程序在开发初期 “走对路、少返工”（笑，不存在的，走对了路也会经常返工，demo期这很正常）。这部分并不是必须的，每个团队有自己的做法，有的团队干脆就是word说明，没技术文档。，为后续开发奠定基础。
2025-03-17 19:59:17
1150
原创 吴恩达机器学习笔记复盘（六）梯度下降算法
梯度下降（Gradient Descent）是一种常用的优化算法，广泛应用于机器学习、深度学习等领域，在这里是用于求J（w,b）局部最小值。我自己觉得这样说有点过于抽象。换个直观点的说法就是，一个人站在了一座小土包上，这个人要去找周围的最低点，求这个局部最低点的数学过程，就是这个梯度下降算法。
2025-03-16 22:12:06
1439
原创 数学复习（8）连续性
简单的概括，在一般数学书里，连续性和可导性都会放在一起。这两者其实是描述函数图像的两种平滑程度特征的数学表述。连续性是指连续函数图像可以一笔画成，而可导性是指可导函数图像有没有尖角。但是我自己总是忽略掉函数连续性的重要性，所以把这两部分分开了。这篇博客专门记录连续性设函数在点的某一邻域内有定义，如果，那么就称函数在点处连续。- 对于区间要证明函数f(x)在(a,b)内连续，需对任意，证明。即对于任意给定的正数，都能找到正数，使得当时，有。- 对于区间。
2025-03-15 17:29:05
755
原创 吴恩达机器学习笔记复盘（五）均方误差函数
只讲了线性回归的代价函数。均方误差（MSE）基于最小二乘法，通过计算预测值与真实值之间差值的平方的平均值来衡量模型的误差。
2025-03-15 14:03:47
693
原创 吴恩达机器学习笔记复盘（三）Jupyter NoteBook
Jupyter现在是数据科学、机器学习等领域中不可或缺的工具。笔者也一直使用这个工具。主要的免费在线网站列在下面，笔者自己常用的是天翼云和科赛网的工具站。天池的也很好，但只有三个月的免费时间。
2025-03-13 12:49:36
955
原创 数学复习（7）极限求解基本方法
有理函数图像会有垂直渐近线，有四类行为。通过查看f(x)在x = a两边的符号可分辨具体情形。，代入x = 1得-5/0，分析分子分母符号可知双侧极限不存在，单侧极限分别为。（p、q为多项式，a为有限数）形式的极限，首先尝试将x=a代入。，对分子分母因式分解后删除公因子。恒正，可知左右极限和双侧极限都为。- 包括二次多项式的分解。- 分析分子分母符号，由于。
2025-03-13 02:29:32
1102
原创 吴恩达机器学习笔记复盘（二）监督学习和无监督学习
监督学习和无监督学习。监督学习是机器学习中创造了 99% 经济价值的类型，它是学习输入到输出映射的算法，关键在于给学习算法提供包含正确答案（即给定输入 X 的正确标签 Y）的学习例子。分类算法是监督学习算法的一种。以乳腺癌检测为例，利用病人医疗记录，机器学习系统要判断肿块是良性（标记为 0）还是恶性（标记为 1），可将数据按肿瘤大小和标记（0 或 1）绘制图表。监督学习的两种主要类型是回归和分类，回归从无限多个可能输出数中预测数字（如预测房价），分类对有限的可能输出类别集合进行预测，
2025-03-12 11:39:30
967
原创 吴恩达机器学习笔记复盘（一）简介
课程不仅教授学习算法，还会提供应用学习算法的实用建议，因为掌握工具且知道如何有效使用很重要。通过实际案例说明，即便顶级公司的机器学习团队有时也会因方法不当而进展不顺，课程会传授开发实用有价值的机器学习系统的最佳实践，让学员了解熟练工程师构建系统的方式，希望学员学完后能具备构建系统的能力。机器学习主要有监督学习和无监督学习两种类型，监督学习在现实世界应用多且进步创新快，原因有三（后续视频会详细解释），还提到了强化学习，但最常用的是监督学习和无监督学习，课程会重点讨论它们。
2025-03-11 15:05:31
448
原创 数学复习（6）关于极限（二）
函数可以和它的水平渐近线相交，以f(x)=xsin(x)为例，sin(x)的值在−1和1之间振荡，f(x)的值在y=−x1和y=x1之间振荡，且f(x)与sin(x)有相同零点，尽管y=f(x)的图像与坐标轴多次相交，但x轴是f(x)的水平渐近线，该极限可通过三明治定理证明。如果对于所有非常大的（分别是正的或负的）x，都有g(x)≤f(x)≤h(x)，且limx→∞g(x)=limx→∞h(x)=L（当x→−∞时同理），那么limx→∞f(x)=L（或limx→−∞f(x)=L）。
2025-03-10 16:19:52
343
原创 提示工程在DeepSeek中的应用
提示工程随人工智能发展而演进，从早期依赖结构化编程和严格指令，到自然语言处理带来更灵活交互，如今已成为弥合人机理解差距的关键技能，其发展推动了各行业创新。人工智能本身对人类语言的理解不可能达到完全准确的，并且人提出的问题本身就有可能比较含糊。所以提示工程是设计、完善和优化输入指令，引导 AI 模型生成特定有用输出的实践。它不仅是提问，更是与具备推理能力的 AI 引擎（如DeepSeek-R1）有效沟通，涉及了解 AI 能力以及弥合人类意图与机器理解的差距。
2025-03-10 13:25:29
934
原创 DeepSeek-R1 模型的强化学习与知识蒸馏实践（内含训练概览图）
在人工智能领域，大型语言模型（LLM）的推理能力一直是研究的热点和难点。DeepSeek 团队推出的 DeepSeek-R1 模型，通过创新的强化学习和知识蒸馏技术，在提升模型推理能力方面取得了显著突破，为行业提供了新的思路和实践范例。
2025-03-08 13:00:27
917
原创 数学复习（4）三角学
基本定义（直角三角形视角）正弦（sinθ）= 对边 / 斜边余弦（cosθ）= 邻边 / 斜边正切（tanθ）= 对边 / 邻边余割（cscθ）= 1/sinθ正割（secθ）= 1/cosθ余切（cotθ）= 1/tanθ单位圆定义（扩展至任意角）其他函数：cscθ=1/y，secθ=1/x，cotθ=x/y定义域与值域函数定义域值域sinθ所有实数[−1,1]cosθ所有实数[−1,1]tanθθ=π/2+kπ（k 为整数）所有实数cscθθ=kπ。
2025-03-07 17:37:36
528
原创 DeepSeek-V3技术报告（内含训练概览图）
在 AI 技术飞速发展，开源闭源百花齐放。虽然闭源模型一直处于领先的位置，但是开源模型社区一直是推动技术普及与创新的关键力量。2025 年初期，DeepSeek 团队发布的 DeepSeek-V3 以卓越的性能和创新的技术，站立在普通用户的面前。而对于我这样的普通人的角度来看，通用人工智能（AGI）的大门前所未有的清晰。
2025-03-07 13:58:30
1074
原创 DeepSeek多模态之视觉语言模型 - DeepSeek-VL（附录训练概览）
DeepSeek-VL系列是深度求索开源的多模态大模型，有1.3B和7B两种规模，共4个版本。它们结合了视觉和语言处理能力，能处理高分辨率图像中的小物体，并且在预训练和微调阶段使用了多个数据集。训练分为三个阶段：视觉-语言适配器训练、联合预训练和监督微调。DeepSeek-VL2也是开源模型。VL2是后续版本，支持动态分辨率到1152x1152，采用MoE架构，增加了训练数据，具备梗图理解和科研图表解析能力，特别是Plot2Code功能可以生成Python代码。
2025-03-06 13:38:51
460
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人