- 博客(378)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 神经网络之经验风险最小化
概念定义优缺点经验风险最小化 (ERM)在训练集上最小化平均损失简单易行，但易过拟合结构风险最小化 (SRM)在 ERM 基础上加入正则项抑制过拟合，更具泛化能力。
2025-11-24 08:43:02
原创 神经网络之向量空间的正交坐标系的数量
在一个nnn维向量空间中，有无数个正交坐标系；它们之间通过正交矩阵连接，形成了一个连续的旋转宇宙。如果你固定空间的几何结构，旋转相机永远拍不完的角度，就是这些无穷多的正交基。要不要我给你展示一下二维空间中所有正交基的“连续变化动画”原理？可以看到VVV如何在单位圆上滑动，把基向量旋转成一整圈。
2025-11-07 08:24:16
394
1
原创 神经网络之矩阵可以让二维向量填充整个三维空间吗
最多只能把二维输入映射到一个二维子空间（一个平面）中，无法覆盖整个三维空间。它们构成输出空间的正交基，而矩阵的秩告诉我们有多少个这样的方向。所有可能的输出点 ((x_1, x_2, x_1+x_2))你可以让它漂浮在三维空间的任意角度，但它永远没有“厚度”，它确实“进入了三维空间”，但永远无法填满整个体积。它能让输入平面在三维空间里“倾斜、旋转、拉伸”，告诉我们，它能“铺开”输出空间的多少维度。想象输入空间是一块平面橡皮布（二维的）。的输出永远被限制在一个二维子空间中。正好描述了这个平面在三维空间里的。
2025-11-07 08:20:42
735
原创 神经网络之特征分解
当矩阵可被特征分解时，所有的线性组合都可以通过特征向量方向上的伸缩表示，从而把矩阵的作用“分解”成若干独立方向上的缩放。这意味着，线性变换 (A) 对向量 (v) 的作用仅仅是。是正交矩阵（列向量是单位正交的特征向量）。，不会改变方向（方向可能翻转，如果。的一个特征向量，对应特征值。得到对应的非零向量 (v)。个线性无关的特征向量。
2025-11-06 05:41:54
898
原创 神经网络之奇异值分解
对于任意实矩阵A∈Rm×nA∈Rm×nAUΣVTAUΣVTU∈Rm×mU∈Rm×m：左奇异向量矩阵（列正交）；V∈Rn×nV∈Rn×n：右奇异向量矩阵（列正交）；Σ∈Rm×nΣ∈Rm×n：对角矩阵，对角线非负，元素为奇异值。
2025-11-06 05:38:24
824
原创 神经网络之正交对角化
正交对角化（Orthogonal Diagonalization）指：对一个实对称矩阵A∈Rn×nA∈Rn×n，存在一个正交矩阵Q(Q)Q和一个对角矩阵Λ(\Lambda)ΛAQΛQ⊤AQΛQ⊤Q⊤QIQ⊤QI，列向量是单位向量且两两正交Λ(\Lambda)Λ是对角矩阵：对角线元素是 (A) 的特征值正交对角化把矩阵分解为旋转 + 拉伸 + 旋转的组合定义：实对称矩阵AQΛQ⊤AQΛQ⊤条件。
2025-11-05 09:05:30
902
原创 神经网络之特征值与特征向量
给定一个方阵A∈Rn×nA∈Rn×n，如果存在一个非零向量v≠0(v \neq 0)v0和一个标量λ(\lambda)λ，满足AvλvAvλvv(v)v称为矩阵A(A)A的特征向量λ(\lambda)λ称为矩阵A(A)A的特征值直观理解特征向量是经过矩阵变换A(A)A后，只被拉伸或缩放，而不改变方向的向量。特征值就是这个拉伸/缩放的倍数。
2025-11-05 09:02:21
1023
原创 神经网络之线性变换
设有一个从向量空间到向量空间的映射TRn→RmTRn→Rm当且仅当它满足以下两个条件时，称 (T) 为线性变换TxyTxTyTcxcTx∀c∈RTxyTxTyTcxcTx∀c∈R也就是说：线性变换保持加法和数乘结构，它不会破坏向量之间的线性关系。类型线性几何效果矩阵形式特征缩放✅放大/缩小diagkkdiag(k,k)diagkk改变长度，保持方向旋转✅。
2025-11-04 08:36:54
904
原创 神经网络之反射变换
反射变换（reflection transformation）是一种线性变换，它将空间中的点（或向量）相对于某个**平面（或直线）**进行镜像对称。在二维空间中，它表示相对于一条直线的镜像反射；在三维空间中，它表示相对于一个平面的镜像反射。n( n )n是单位法向量（表示反射平面的法线方向）；x∈Rnx∈Rn是任意向量。则反射变换T( T )TTxx−2n⋅xnTxx−2n⋅xn项目内容定义Txx−2n⋅xnT。
2025-11-04 08:32:35
982
原创 神经网络之正交矩阵
核心特征：转置等于逆矩阵Q−1Q⊤Q−1Q⊤；几何意义：保持长度和角度；行列式：+1 表示旋转，−1 表示反射；列向量：单位正交；常见正交矩阵：旋转矩阵、反射矩阵、置换矩阵、单位矩阵等。
2025-11-03 07:20:01
1050
原创 神经网络之向量降维
我们进行向量降维，是为了去冗余、降噪声、提取主要语义模式。而之所以能保留语义结构，是因为降维方法抓住了数据中方差最大、最稳定的变化方向这些方向恰好对应于语言的主要语义规律。
2025-11-03 07:17:14
451
原创 神经网络之协方差
协方差（Covariance）衡量。对随机变量X和YcovXYE[(X−EX])⋅Y−EY])]对样本数据((X1Y1XnYn))covXYn−11i1∑nXi−XˉYi−Yˉ⚡ 核心思想：测量两个变量“共同偏离均值的程度”。
2025-10-31 09:06:01
700
原创 神经网络之矩阵可逆
对于一个n×nn×n方阵A(A)A，如果存在同样大小的矩阵B(B)BABBAInABBAIn其中In(I_n)InA(A)A可逆InvertibleNonsingularInvertibleNonsingularBA−1BA−1为A(A)A的逆矩阵简单理解：可逆矩阵就是“可以被反转”的矩阵，类似于数的倒数。
2025-10-31 09:03:07
935
原创 神经网络之线性相关
设有两个向量（或变量）xx1x2xnyy1y2ynxx1x2xnyy1y2yn如果存在常数ab( a, b )ab，其中b≠0b0xabyxaby那么我们称x 与 y 线性相关（linearly dependent）。若不存在这样的关系，则称它们线性无关（linearly independent）。更一般地，对多个向量v1v2vkv1v2vk。
2025-10-30 08:18:00
995
原创 神经网络之从向量空间角度理解PPMI矩阵
层面共现矩阵PPMI矩阵向量含义共现次数语义关联强度空间结构频率主导，模糊语义主导，分簇几何表现向量方向杂乱，距离不代表语义向量方向反映语义类别功能词作用拉拢所有词，掩盖语义被压缩到原点整体效果“统计空间”“语义空间”PPMI 把“共现统计的云团”几何地重新拉伸，使向量间的空间距离更接近语义距离。
2025-10-29 08:47:03
1173
原创 神经网络之PPMI矩阵
PMI 衡量两个事件（这里是两个词）之间的关联程度PMIwiwjlogPwiwjPwiPwjPMIwiwjlogPwiPwjPwiwj如果两个词独立出现，则PwiwjPwiPwjPwiwjPwiPwj))，PMI = 0如果它们比独立出现更频繁地一起出现→ PMI > 0如果它们几乎从不一起出现 → PMI < 0项目共现矩阵。
2025-10-29 08:45:36
658
原创 神经网络之向量相似性
当我们用向量来表示词语、句子或图像时，向量之间的几何关系就代表了它们之间的语义关系。所以，“相似度”就是在数学上量化“语义相似”的方式。我们主要用几种度量来比较两个向量 (a⃗)( \vec{a} )(a) 和 (b⃗)( \vec{b} )(b)：定义：KaTeX parse error: Expected 'EOF', got '_' at position 14: \text{cosine_̲similarity} = \…其中：⋅b)：内积（点积）(∣∣a⃗∣∣)( ||\vec{a}|| )
2025-10-28 08:43:57
775
原创 神经网络之共现矩阵
概念内容目的把词变成数字向量，用于表达语义相似性依据分布式假设：“词的意义由上下文决定”矩阵含义行列都是词，数值是共现次数向量化方式每一行即一个词向量语义关系来源相似上下文 → 向量相似实现关键点设窗口 → 遍历语料 → 统计共现次数✅共现矩阵就是：“记录每个词与其他词在相邻上下文中共同出现次数的表格”，每一行可视为一个“语义向量”，语义相似的词 → 向量相似。
2025-10-28 08:39:35
440
原创 神经网络之窗口大小对词语义向量的影响
在基于上下文学习的模型（例如 Word2Vec 的 Skip-gram 或 CBOW）中，窗口大小（通常记为w）定义为模型在学习目标词（target word）时所考虑的上下文词的范围。例如，假设句子是：“猫 坐 在 垫子 上”当窗口大小 = 2 时，目标词 “在” 的上下文词是 “猫”, “坐”, “垫子”, “上”。即考虑“前两个词”和“后两个词”。维度小窗口大窗口语义类型句法、搭配概念、主题表示倾向精细、局部抽象、全局共现范围邻近词语义场向量关系功能相似。
2025-10-27 08:24:50
783
原创 神经网络之密集的词向量如何能够代表稀疏的词向量
层面原理说明几何层面稀疏空间的低维投影保留距离与方向（语义）线性代数层面稀疏矩阵的低秩分解X≈EWTX≈EWT概率统计层面共现概率建模P≈softmaxEPcontextword≈softmaxE))信息论层面压缩编码去掉冗余，保留语义信息密集词向量并不是直接替代稀疏词向量，而是它的“语义压缩映射”——一种低维、连续的、保留主要语义结构的表示。密集词向量 = 稀疏共现信息的低维压缩，使语义相似的词在几何上靠近。
2025-10-27 08:22:51
1057
原创 神经网络之方向和距离是如何承载语义的
在真实模型中，比如 word2vec 或 BERT 的 embedding，这种空间通常是。设想你有一个二维平面，横轴代表“性别”，纵轴代表“社会地位”。「男人」→「国王」的变化 = 「女人」→「王后」的变化。假设我们测量两点之间的欧氏距离（或余弦相似度）。方向不只是几何上的移动，而是“语义操作”。现在我们来看“方向”意味着什么。在词向量中我们通常用。，但几何意义仍然相似。
2025-10-25 07:18:25
779
原创 神经网络之语义空间
语义空间是一种抽象的数学空间在其中，每个词、短语或句子都对应一个向量（一个点）而语义关系通过这些向量的几何关系（距离、方向、角度等）来表达。简单来说：🌍 “语义空间是用几何结构表达意义的地方。词语的语义相似性 → 向量的接近程度；语义关系（如“性别”、“时态”、“程度”） → 空间的方向；语义类（如“动物”“情绪”“国家”） → 空间中的区域或簇。层面本质数学角度一个连续的向量空间，语义由向量的位置与方向表达语言学角度“意义在使用中”——语义由上下文统计模式决定哲学角度。
2025-10-25 07:16:47
791
原创 神经网络之词向量
稀疏”意味着大多数维度都是 0。在 NLP 早期阶段，词语是通过稀疏向量表示的。密集向量指的是每一维都有有意义的、连续的实数值（通常是浮点数），并且维度远小于词汇表大小。词密集向量示意（维度 = 4）猫狗苹果设词汇表为w1w2wVw1w2wVxone-hotwi∈RVxi1others0xone-hotwi∈RVxi1others0E∈RV×dv∗iE∗iE∈R。
2025-10-22 07:19:34
1087
原创 HarmonyOS之启动应用内的UIAbility组件
UIAbility 是一种前台组件，具有独立的生命周期，支持界面展示与交互，通常用于实现应用的页面跳转、功能模块隔离等。需求场景使用方法普通页面跳转跳转并返回数据指定页面跳转控制实例复用配置launchType。
2025-10-22 07:17:03
597
原创 神经网络之单词的语义表示
单词是语义的最小单位，而计算机理解自然语言的关键，就在于如何用数字化方式准确地表示这些单词的含义。从简单的独热编码到上下文感知的词向量模型，我们已经走了很远——但“理解语言”这件事，还远远没有结束。
2025-10-21 06:46:35
387
原创 神经网络之从自由度角度理解方差的无偏估计
我们现在从“自由度”的角度，深入解释为什么样本方差要除以 (n−1)( n - 1 )(n−1) 才能成为无偏估计（unbiased estimator），而不是 (n)( n )(n)。总体方差定义为：σ2=1N∑i=1N(xi−μ)2\sigma^2 = \frac{1}{N} \sum_{i=1}^N (x_i - \mu)^2σ2=N1i=1∑N(xi−μ)2但通常我们没有总体所有数据，只能从样本 (x1,x2,...,xn)( x_1, x_2, ..., x_n )(x1,x2,.
2025-10-20 06:21:36
636
原创 神经网络之样本方差的无偏估计
设 (X1,X2,…,Xn)( X_1, X_2, \dots, X_n )(X1,X2,…,Xn) 是从总体中独立随机抽取的 ( n ) 个样本，满足：定义：样本均值：Xˉ=1n∑i=1nXi\bar{X} = \frac{1}{n} \sum_{i=1}^n X_iXˉ=n1i=1∑nXi样本方差的无偏估计：S2=1n−1∑i=1n(Xi−Xˉ)2S^2 = \frac{1}{n - 1} \sum_{i=1}^n (X_i - \bar{X})^2S2=n−11i=1∑n(
2025-10-20 06:14:21
915
原创 神经网络之深入了解无偏估计
设总体参数为θ( \theta )θ，我们希望通过样本X1X2XnX1X2Xn来估计它。θgX1X2XnθgX1X2XnEθθEθθ那么我们称θθ是θ 的无偏估计量。✅关键词：期望值（expectation）= 真参数值这表明在重复抽样（重复从总体中抽取样本）情况下，这个估计量的平均值就是我们想估计的真实值θ( \theta )θ。重点内容无偏性定义EθθEθθ常见无偏估计。
2025-10-19 07:25:33
637
原创 神经网络之随机梯度下降
方面描述类型一阶优化算法（基于梯度）基本思想每次只用一个样本或一小批样本来更新参数优点计算快、内存少、可处理大数据缺点更新方向不稳定、收敛慢使用建议通常配合 Momentum 或 Adam 使用理论性质梯度方向是无偏估计，收敛到局部最优。
2025-10-19 07:18:50
877
原创 神经网络之计算图repeat节点
Repeat 节点是指同一个变量/张量在计算图中被重复用作多个操作的输入，这些操作彼此独立运行，但都依赖这个变量的值。换句话说，同一个值，被多次引用，每次引用都在构建不同的路径。项目描述repeat 节点一个变量/张量在计算图中被多次使用在计算图中的表现多条从变量发出的边反向传播规则所有路径上的梯度进行累加框架支持自动处理 repeat 节点的梯度合并与分支节点关系本质上相似，常常同时存在。
2025-10-17 08:36:23
795
原创 神经网络之计算图分支节点
分支节点是指在计算图中，某个中间变量的值被多个后续节点所“依赖”或“使用”的情况。也就是说，一个节点的输出是多个节点的输入，就像一条河流分叉，数据“流”向多个方向。特性描述多路径使用一个变量被多个操作所依赖梯度累加所有路径上传回的梯度需要加在一起计算图核心结构分支是计算图中非线性结构的核心自动处理在现代框架中已自动实现梯度累加。
2025-10-16 08:37:02
419
原创 神经网络之计算图
计算图是一种有向无环图（DAG, Directed Acyclic Graph），用于表示计算过程。图中的节点表示操作（函数或运算），边表示数据（张量）在操作之间的流动。优点描述高效支持大规模并行计算、自动微分灵活支持复杂网络结构（循环、残差等）可扩展各种深度学习框架都基于它构建自动化免去手动推导导数的烦恼。
2025-10-16 08:35:29
524
原创 HarmonyOS之Environment
实践点建议做法统一注册在生命周期中集中注册所有环境参数键名命名规范使用模块名前缀命名键名，如UI组件响应式绑定尽量使用实现低耦合组件刷新多模块数据隔离每个模块独立使用envProp，避免冲突响应式控制仅用于读不应试图通过 UI 修改系统环境属性结合业务状态构建混合存储模型环境参数配合存储用户个性化覆盖配置。
2025-10-15 08:27:43
1416
原创 神经网络之链式法则的推导
我们回到导数的定义：FxfgxFxfgx))F′xlimh→0fgxh−fgxhF′xh→0limhfgxh))−fgx))这里我们做一个技巧性的处理：设Δugxh−gxΔugxh−gx如果ggg在xxx点可导，那么Δu→0Δu→0当h→0h \to 0h→0。
2025-10-14 08:43:09
849
原创 Harmony之PersistentStorage
是 HarmonyOS（鸿蒙）中用于UI 状态持久化的轻量级本地存储机制。它与AppStorage绑定，可将指定的状态数据保存在设备磁盘中，实现应用重启后自动恢复状态。问题类型说明数据隔离多模块使用相同 Key，会生成多个文件互不共享数据丢失若错误删除某一模块数据文件，会导致值丢失维护困难多份数据需要手动同步或迁移逻辑，增加维护成本是 HarmonyOS 提供的 UI 状态持久化利器，适用于轻量、单模块状态保存；存储路径与调用模块强相关，跨模块使用需特别小心；
2025-10-14 08:40:12
514
原创 HarmonyOS之AppStorage
使用场景是否推荐使用 AppStorage推荐装饰器用户登录信息✅ 是UI 主题切换✅ 是设置页面（表单）✅ 是临时输入缓存❌ 否（建议用 State）频繁变动数据⚠️ 慎用（可能性能问题）跨模块通信❌ 建议用 Intent / Message用展示、修改；所有数据结构变动要整体替换引用；持久化配合实现跨启动保存；创建统一数据访问类进行封装，便于维护；注意类型一致性和数据体积大小；组件内短期状态仍推荐使用@State，避免污染全局；
2025-10-13 08:41:16
645
童继龙的ERP顾问感悟.pdf
2010-04-03
ES2015规范
2016-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人