- 博客(119)
- 收藏
- 关注
RSS订阅原创 【Python基础】内置函数字典的 dict.get() 方法、hasattr()、getattr()等用法解释
函数/方法作用主要用途.get()安全获取字典值避免KeyError，提供默认值hasattr()检查对象是否有属性动态属性检查getattr()获取对象属性安全属性访问，支持默认值setattr()设置对象属性动态设置属性类型检查考虑继承关系的类型判断callable()检查是否可调用判断对象是否为函数/方法。
2025-11-17 23:19:10
375
原创 【论文笔记】扩散模型——如何通俗理解传统概率模型的核心矛盾
简单模型≈小学生解题：能解但只能解简单题复杂模型≈数学家解题：能解所有题但过程复杂扩散模型的突破把"数学家直接证明黎曼猜想"变成"让小学生一步步完成1000个简单推导，最终证明黎曼猜想"通过分解困难任务为多个简单任务，扩散模型在保持强大表达能力的同时，让每个步骤都保持计算上的可处理性。
2025-10-30 14:41:51
618
原创 【人工智能数学基础】多元高斯分布
多元高斯分布（Multivariate Gaussian Distribution）是一元高斯分布在多维空间的自然推广。它描述的不是一个单一的随机变量，而是一组随机变量（一个随机向量）的联合分布，并且这组变量的任何线性组合都服从一元高斯分布。方面普通高斯分布（一元）多元高斯分布描述对象一个随机变量（标量）多个随机变量组成的向量参数2个：均值(μ)和方差(σ²)两个集合：均值向量(μ)和协方差矩阵(Σ均值一个数值 μ，表示分布的中心位置一个向量μ，表示在多维空间中分布的中心点方差/协方差。
2025-10-29 20:42:55
856
原创 【人工智能数学基础】如何理解方差与协方差？
VarXEX−EX2VarXE[(X−EX2其中EXE[X]EX是XXX的期望值（均值）。CovXYEX−EXY−EYCovXYE[(X−EX])Y−EY])]协方差矩阵Σ\SigmaΣ是一个p×pp×pp×pΣVarX1CovX1X2⋯CovX1XpCovX2X1VarX2⋯CovX2Xp⋮⋮⋱⋮CovXpX1。
2025-10-29 20:28:28
615
原创 【人工智能数学基础】什么是高斯分布/正态分布？
正态分布是概率论与统计学中最重要的连续概率分布。它描述了一个大量独立、随机变量之和的分布会趋近于的分布形态。因其曲线呈钟形，故又常被称为钟形曲线。方面核心要点别名高斯分布、钟形曲线核心定义描述大量独立随机变量之和的极限分布数学关键由均值(( \mu ))决定位置，标准差(( \sigma ))决定形状核心特性集中性、对称性、钟形、经验法则普遍性原因中心极限定理主要应用自然科学测量、社会科学指标、质量控制、金融建模、统计推断、机器学习等。
2025-10-29 14:46:06
1283
原创 【人工智能数学基础】概率密度函数
概率密度函数描述了一个连续型随机变量，落在某个特定值附近的可能性大小。记作fxf(x)fx。概率密度函数是连续随机变量的“身份证”，它完整地描述了该变量的概率分布规律。核心要义：PDF的函数值表示概率密度，本身没有直接的概率意义，其曲线下的面积才代表概率。作用：通过积分，我们可以求出变量落在任何一个区间内的概率。类比：就像一根密度不均匀的棍子，PDF描述了不同位置的“密度”，而我们要知道某一段的“质量”，就需要对密度进行积分。
2025-10-29 11:55:34
654
原创 【人工智能数学基础】条件概率全面深入解析：从基础到应用
条件概率是指在已知某个事件发生的条件下，另一个事件发生的概率。用数学语言表达：P(A∣B)=P(A∩B)P(B)其中P(B)>0P(A|B) = \frac{P(A \cap B)}{P(B)} \quad \text{其中} \quad P(B) > 0P(A∣B)=P(B)P(A∩B)其中P(B)>0“在获得新信息后，重新评估可能性”就像侦探破案：样本空间：所有可能结果的集合事件：样本空间的子集概率公理：交集：A∩BA \cap BA∩B（A和B同时发生）并集：A∪BA \cup BA∪B（A
2025-10-21 23:45:41
614
原创 【Linux学习】rsync数据传输从入门到精通：超详细教程
选项功能是否必要示例-a归档模式（递归、保留属性）✅ 必须-v详细输出✅ 建议-z压缩传输✅ 网络传输时建议--progress显示进度条✅ 大文件时建议--delete删除目标多余文件⚠️ 谨慎使用排除匹配文件✅ 灵活过滤--partial断点续传✅ 大文件建议-n或--dry-run模拟运行✅ 测试命令前必须自定义 SSH 端口✅ 非默认端口时必须场景推荐命令说明日常备份保留属性并删除多余文件网络传输压缩传输安全测试模拟运行前测试大文件续传支持断点续传精细过滤。
2025-10-20 21:45:16
660
原创 【Linux基础学习】Linux文件系统全解析：从用户视角看系统文件的分类与管理
用户个性化配置（如.bashrc.vimrc服务调优（如 Nginx、MySQL 性能参数）网络配置（如/etc/hosts、DNS 设置）类别典型位置修改建议备份重要性用户环境文件~/.bashrc~/.vimrc可自由定制中等，建议版本控制用户数据文件用户完全控制高，定期备份系统核心文件/bin//sbin//lib/绝对不要修改极高，系统备份系统配置文件/etc/下的大部分文件谨慎修改，先备份高，配置版本管理临时文件/tmp//var/tmp/可定期清理不需要备份。
2025-10-18 10:47:45
935
原创 【Linux基础学习】Linux Ubuntu 权限管理：从入门到精通
Ubuntu 的权限管理通过用户、组和权限的协同作用，构建了灵活且安全的控制体系。掌握chmodchown等工具的使用，理解权限分配逻辑，是系统管理员和开发者的必备技能。实际应用中需结合安全策略与业务需求，避免因权限配置不当导致的安全漏洞或功能异常。进阶学习建议学习 ACL（访问控制列表）实现更精细的权限管理。探索 SELinux/AppArmor 等强制访问控制（MAC）机制。通过合理配置权限，Ubuntu 可以在保障安全性的同时，充分发挥其灵活性与稳定性优势。
2025-10-18 10:12:19
2032
原创 【深度学习理论基础】什么是蒙特卡洛算法？有什么作用？
蒙特卡洛算法是一种“暴力美学”的计算哲学——当一个问题过于复杂，无法用解析或确定性方法求解时，我们就通过无数次“随机尝试”，从统计结果中寻找答案。它巧妙地将困难的数学问题转化为了相对简单的统计问题。
2025-10-16 00:00:00
1136
原创 【Python基础】Python路径操作全解析：os.path、glob与pathlib从入门到精通
新项目首选pathlib：它是Python 3.4+的标准库，提供了面向对象的路径处理方式，代码更简洁、可读性更好。避免硬编码路径分隔符：使用os.path.join()或pathlib的/运算符，避免使用硬编码的’/‘或’'。使用glob进行模式匹配：特别是当需要遍历特定模式的文件时，glob与pathlib结合使用效果最佳。处理路径安全：在处理用户输入的路径时，使用.resolve()确保路径的安全性，避免目录遍历攻击。考虑EAFP风格。
2025-10-14 22:04:20
1012
原创 【深度学习理论基础】马尔可夫链
状态空间所有可能状态的集合，通常记为Ss1s2s3snSs1s2s3...sn例如上面的S晴雨S = \{\text{晴}, \text{雨}\}S晴雨。状态可以是任何事物：网页、单词、股价的涨跌、疾病的不同阶段等。转移概率矩阵一个数学矩阵PPP，其中的每个元素PijP_{ij}Pij表示从状态iii转移到状态jjj的概率。
2025-10-13 21:51:41
1030
原创 【分布式训练】万字超详细解析单卡、多卡、分布式训练之间的区别与联系（附源码）
定义：仅使用一张显卡进行训练。适用场景：资源有限的小规模模型（如 ResNet）、快速验证模型效果。优点实现简单，无需处理多卡通信。显存占用集中，调试方便。缺点训练速度受限于单卡算力和显存。不适合大规模模型或大数据集。定义：使用多张显卡并行训练，分为两种方式：：主卡负责协调所有卡的计算和通信。：每个卡独立运行一个进程，通过 AllReduce 同步梯度。适用场景：中等规模模型（如 BERT）或需要加速训练的场景。优点提升训练速度（多卡并行）。
2025-10-12 15:24:32
846
原创 【分布式训练】分布式训练中的资源管理分类
模型类定义是共享的# 模型定义分布式训练的目的是高效快速的训练大模型/大数据，本文主要是总结了在大数据情境下的分布式训练。分布式训练只是在同样的数据/模型下让训练变得更快了。可以理解为原先是小明一个人（模型）在做十件事（数据）；现在是小明和小明的9个影子一起在做十件事，现在是每人做一件；结果都是十件事全部做完了，区别在于如果小明自己做的话可能需要十天，现在加上九个影子可能只需要2天（因为创建影子、影子之间的通信也需要时间）每个影子的必须要有做任务的能力——模型实例必须是独立创建的。
2025-10-10 15:48:49
1113
原创 【并行计算】Python concurrent ——高效灵活并行计算的利剑
当你向执行器提交一个任务时，submit()方法返回一个Future对象。这个对象代表了一个尚未完成的计算。Executor是一个抽象基类，定义了提交任务和获取结果的标准接口。和都实现了这个接口。陷阱名称典型错误/场景根本原因解决方案中使用不可 pickle 的对象抛出向进程池提交的任务中包含不可被 pickle 序列化的对象，如嵌套函数、lambda 表达式、带有不可序列化属性的类实例等（进程间通信依赖 pickle 传递数据）。1. 将嵌套函数、lambda 移至模块顶层定义；
2025-09-19 13:34:41
1132
原创 【并行计算】Joblib内存缓存操作：从入门到精通超详细教程
Joblib是Python的一个高效库，专为并行计算和内存缓存设计，特别适合科学计算和数据处理场景。高效并行计算：通过Parallel和delayed实现任务并行内存缓存：通过Memory类缓存计算结果，避免重复计算兼容性强：与Scikit-learn、NumPy等科学计算库无缝集成Memory自动缓存函数的计算结果根据输入参数判断是否需要重新计算减少重复计算，提高执行效率默认情况下，Memory使用函数参数的哈希值作为缓存键。# 自定义哈希函数# 不同输入但相同哈希值，会使用缓存。
2025-09-19 09:46:20
759
原创 【并行计算】Joblib 进行并行操作：从入门到精通的超详细教程
通过# 使用多线程# 使用多进程delayed：将函数调用延迟，生成任务队列Parallel：调度任务队列，执行并行计算。
2025-09-18 16:47:25
1607
原创 【并行计算】深入浅出理解多进程与多线程，玩转并行计算的核心
任务类型推荐方案原因CPU密集型多进程 (loky避免GIL，充分利用多核I/O密集型多线程 (threadingI/O等待时释放GIL，高效利用等待时间混合型分阶段处理I/O用多线程，CPU用多进程。
2025-09-18 16:18:43
862
原创 【并行计算】 CPU密集型任务与I/O密集型任务全面解析
定义：指主要耗费CPU资源进行计算的任务，CPU不断进行运算，几乎不等待外部输入。关键特征任务执行时CPU持续高负荷运行大部分时间在进行计算，很少等待外部资源任务完成时间主要取决于CPU的计算速度任务类型主要瓶颈优化重点Joblib配置建议CPU密集型任务CPU计算能力减少计算时间，利用多核并行n_jobs=-1（使用所有核心），（多进程）I/O密集型任务I/O设备速度（磁盘/网络）减少等待时间，提高并发处理能力n_jobs=32+（高并发），（多线程）混合型任务。
2025-09-18 15:33:29
1089
原创 【并行计算】什么是Joblib？如何用Joblib提高工作效率？
内存缓存：避免重复计算，特别适合存储耗时的函数结果并行计算：简化CPU密集型任务的并行执行它最初是scikit-learn项目的一部分，后来独立成为一个通用工具库，特别在科学计算和机器学习领域广泛应用。# 注册自定义压缩器))Joblib是一个强大而简单的库，特别适合科学计算和机器学习中的重复计算和并行处理需求。它的内存缓存功能可以显著减少重复计算时间，而并行计算功能则能有效利用多核CPU资源。虽然在某些复杂场景下可能不如专用框架强大，但其简洁的API和高效的性能使其成为日常数据处理任务的优秀选择。
2025-09-18 11:53:51
584
原创 【Numpy基础】NumPy 的 indices 与 Python 的 slice：功能区别与适用场景
Slice（切片）是 Python 中的内置类型，用于表示序列的切片操作。它通常用在索引中，用于选择序列的子集。# 基本切片操作print(arr[1:4]) # 输出 [1, 2, 3]# 使用 slice 对象print(arr[s]) # 输出 [1, 2, 3]print(arr[2:7:2]) # 输出 [2 4 6]是 NumPy 库中的一个函数，用于生成一组表示网格索引的数组。它返回一个数组，其中每个元素都是其所在位置的索引值。
2025-09-15 15:51:05
822
原创 【Python基础】为什么 Python 的切片语法使用元组而非列表？
实际上，这种语法在内部被转换为使用slice# 多维数组的切片操作result = arr[:, 2, 1:3] # 这里的切片参数实际上被组合为元组特性元组 (Tuple)列表 (List)可变性不可变可变内存效率更高较低创建速度更快较慢哈希能力可哈希（如元素可哈希）不可哈希语义固定结构、记录动态集合安全性参数不会被意外修改可能被修改。
2025-09-15 15:36:49
688
原创 【Transformer详解】Transformer中的Q、K、V矩阵：形状必须一致吗？
矩阵对必须一致的维度可以不同的维度Q和K最后一维（特征维度）d_k序列长度seq_lenK和V序列长度seq_len最后一维（特征维度）Q和V无强制要求所有维度都可以不同Q和K的**最后一维（特征维度）**必须相同，否则无法计算QKTQK^TQKT。K和V的序列长度必须相同，否则无法计算注意力权重与V的乘积。V的最后一维可以任意，它决定了注意力输出的特征维度。理解这些形状关系对于正确实现和调试Transformer模型至关重要。
2025-08-28 14:25:06
1316
原创 【Matplotlib学习】Matplotlib 中 x 轴和 y 轴的玩法大全：从基础到高级技巧
自定义刻度格式化函数return f'# 自定义刻度格式化函数 def custom_formatter(x , pos) : if x >= 1000 : return f' {
2025-08-27 13:58:54
660
原创 【Matplotlib学习】驾驭画布：Matplotlib 布局方式从入门到精通完全指南
方法适用场景灵活性易用性推荐度plt.plot()快速绘制单个图低极高⭐（仅用于探索）精确控制单个图位置，创建图中图中中⭐⭐（特殊需求）创建标准的多子图网格中高⭐⭐⭐⭐⭐（主力）GridSpec创建跨行/列的不规则复杂网格高中⭐⭐⭐⭐（高级）创建复杂布局（Matplotlib 3.3+）高高⭐⭐⭐⭐⭐（未来趋势）如何选择？只有一个图？使用或。有多个排列整齐的子图？永远首选。子图需要跨行或跨列？使用GridSpec或更直观的。需要在一个角落里放一个插入的小图？使用。
2025-08-27 11:51:18
875
原创 【Matplotlib学习】Matplotlib 多子图空间布局完全指南：从基础到高级技巧
手动定义每个轴的位置 [left, bottom, width, height]ax1 = fig.add_axes([0.1, 0.55, 0.35, 0.35]) # 左上ax2 = fig.add_axes([0.55, 0.55, 0.35, 0.35]) # 右上ax3 = fig.add_axes([0.1, 0.1, 0.8, 0.35]) # 底部# 圆形子图# 添加内容plt.show()调整方法调整对象关键参数说明适用场景子图间和图形边距padh_pad。
2025-08-27 11:06:02
1339
原创 Matplotlib 可视化大师系列（八）：综合篇 - 在一张图中组合多种图表类型
组合多种图表类型是数据可视化的高级技能，可以极大地增强你的数据叙事能力。使用多个Axes对象创建复杂的网格布局使用inset_axes添加细节视图使用**twinx()/twiny()**显示不同量纲的数据遵循设计原则创建专业级的组合图表避免常见陷阱，创建清晰有效的可视化记住，最好的组合图表不是简单地堆砌多种图表类型，而是有目的地选择和组织视觉元素，以最有效的方式传达数据故事。每种添加的图表都应该有明确的目的和价值。至此，我们已经完成了Matplotlib可视化大师系列的全部内容。
2025-08-22 14:47:43
1270
原创 Matplotlib 可视化大师系列（七）：专属篇 - 绘制误差线、等高线与更多特殊图表
误差线最佳实践明确误差类型：标准误差、标准差、置信区间等保持误差线简洁明了，避免过度装饰对于不对称误差，使用不同长度或样式的误差线等高线图最佳实践选择合适的等高线层级数量，太少会丢失细节，太多会显得混乱使用clabel()添加等高线数值标签考虑使用contourf()填充颜色提高可读性矢量场图最佳实践调整箭头密度和大小，避免过度拥挤使用颜色表示矢量大小，提供额外信息维度对于复杂场，考虑使用流线图(3D绘图注意事项Matplotlib的3D渲染性能有限，不适合大型数据集。
2025-08-22 14:43:28
843
原创 Matplotlib 可视化大师系列（六）：plt.imshow() - 绘制矩阵与图像的强大工具
创建一些特殊分布的数据Z = np.exp(-X**2 - Y**2) + 0.1 * np.exp(-(X-2)**2 - (Y-2)**2) # 两个高斯分布的和# 1. 线性尺度# 2. 对数尺度 - 适合显示指数变化的数据# 3. 幂律尺度# 4. 自定义数据范围plt.show()核心功能：将二维数组可视化为伪彩色图像关键参数cmap（颜色映射）,vminvmax（数据范围）,（插值）,norm（标准化）高级应用：热力图、科学数据可视化、矩阵分析最佳搭档（颜色条）,
2025-08-22 14:40:11
1160
原创 Matplotlib 可视化大师系列（五）：plt.pie() - 展示组成部分的饼图
环形图（Donut Chart）是饼图的一种变体，中间有一个空洞，通常用于显示多个系列或使视觉效果更轻盈。# 数据# 先画一个普通的饼图pctdistance=0.85, # 百分比放远一点wedgeprops=dict(width=0.4, edgecolor='w') # 关键：width设置环的宽度# 在中心画一个白色的圆，使其看起来像环形图# 另一种添加中心文本的方法plt.show()# 数据# 创建一个颜色映射# 自定义百分比显示函数# 同时显示百分比和实际值。
2025-08-22 14:37:53
718
原创 Matplotlib 可视化大师系列（四）：plt.hist() 与 plt.boxplot() - 洞察数据分布
plt.hist()和是探索数据分布不可或缺的工具。plt.hist()： 揭示整个分布的形状、中心和散布。关注密度和频率。核心参数binsdensitycumulative。： 总结分布的五个关键统计量，高效识别异常值和比较多个分布。核心参数whisnotch, 以及各种*props用于样式控制。掌握这两个函数，你就能从简单的数据描述（如均值、标准差）深入到理解数据的内在结构和特性，这是数据分析和机器学习模型构建的基础。在下一篇文章中，我们将探讨如何展示组成部分，使用plt.pie()来绘制饼图。
2025-08-22 14:35:34
915
原创 Matplotlib 可视化大师系列（三）：plt.bar() 与 plt.barh() - 清晰对比的柱状图
plt.bar()和plt.barh()是进行数据对比的利器。核心功能： 用矩形的高度/长度表示类别数值的大小。关键参数xy（位置），heightwidth（数值），bottomleft（堆叠），color（样式）。高级应用： 分组柱状图、堆叠柱状图。关键技巧： 添加数值标签、排序数据、保持零基线。掌握柱状图，意味着你能够清晰、准确地展示数据之间的比较关系，这是数据故事中不可或缺的一环。在下一篇文章中，我们将深入探讨数据的分布，使用plt.hist()和来揭示数据背后的统计特性。
2025-08-22 14:32:43
1208
原创 Matplotlib 可视化大师系列（二）：plt.scatter() - 探索变量关系的散点图
核心功能：展示两个连续变量间的关系，识别模式、聚类和异常值关键参数s(大小),c(颜色),marker(形状),alpha(透明度),cmap(颜色映射)高级应用：通过大小和颜色编码第三、第四个变量，处理大数据集最佳实践：使用透明度避免过度绘制，有意义地使用颜色，添加趋势线掌握散点图意味着你拥有了探索数据关系的第一件强大武器。它是任何数据分析项目的起点，能够为你提供初步的洞察，指导后续的深入分析。在下一篇文章中，我们将学习如何创建清晰的比较图表——柱状图。
2025-08-22 14:30:11
728
原创 Matplotlib 可视化大师系列（一）：plt.plot() - 绘制折线图的利刃
plt.plot()是 Matplotlib 绘图的基石。它看似简单，却蕴含着巨大的灵活性。核心功能： 给定 (x, y) 坐标，描点连线。两种样式控制（快捷）和**kwargs（精细、推荐）。关键步骤： 提供数据、设置样式、添加标签标题图例、显示图形。掌握了plt.plot()，你就已经打开了 Matplotlib 可视化世界的大门。在下一篇文章中，我们将探索另一个强大的工具——，看看如何用它来揭示变量之间的深层关系。
2025-08-22 14:27:09
1052
原创 【Numpy基础】全方位解析数组生成与复制机制
操作类型是否共享数据说明b = a赋值是b是a的别名，完全共享一切。视图是v是新对象，但数据与a共享。复制否c是新对象，拥有数据的独立副本。s = a[:]通常为视图是注意：NumPy 中的切片返回的是视图！复制否“花式索引”总是返回复制。复制否布尔索引也总是返回复制。视图是改变形状通常返回视图（如果内存连续）。t = a.T(转置)视图是转置返回视图。重要提醒Python 列表的切片list[:]是复制，但 NumPy 数组的切片arr[:]是视图！
2025-08-20 14:13:03
1004
原创 【PyTorch基础】高级切片与索引完全指南：从基础到复杂张量操作
tindex操作结果形状索引逻辑核心差异(2,2)固定行，按index取列仅在指定维度（列）使用索引t[index](2,2,2)按index取整行，保留结构只索引行，保留原始列维度(2,2)行和列都用index索引行索引和列索引一一对应通过这些对比可以看出，PyTorch的索引机制非常灵活，相同的索引张量在不同操作中会产生截然不同的结果，核心区别在于索引作用的维度和组合方式。基础切片：高效视图操作，无数据拷贝高级索引：灵活但产生数据拷贝组合索引：混合使用不同索引类型专用函数。
2025-08-19 15:17:30
1135
原创 【PyTorch基础】广播机制详解：高效张量运算的秘诀
PyTorch广播机制是高效处理不同形状张量运算的核心特性：✅核心优势：减少显式复制、简化代码、提高内存效率✅关键规则：维度对齐、大小兼容、自动扩展✅应用场景：标量运算、归一化、损失函数、注意力机制⚠️注意事项：形状兼容性、大张量性能、正确使用expand/repeat掌握广播机制不仅能让你写出更简洁的PyTorch代码，还能深入理解深度学习框架的设计哲学。下次面对形状不同的张量运算时，不妨让广播机制为你智能处理！希望这篇博客能帮助你全面理解PyTorch广播机制！
2025-08-19 11:31:28
1108
原创 【Python学习】Python文件路径处理：os.path.join vs f-string 深度解析
在Python开发中，正确处理文件路径是每个开发者必备的技能。和Pathlib提供的不仅仅是路径拼接，它们确保路径的正确性、安全性和可移植性。在大多数情况下，性能差异可以忽略不计。虽然简洁，但只应在明确知道目标平台且路径简单的情况下使用。更快，但这点微优化通常不值得牺牲代码的安全性和可移植性。：当处理文件路径时，始终使用专门设计的路径处理工具。📌 经验法则：如果路径包含变量或需要跨平台，永远选择。，并揭示它们的关键区别。
2025-08-18 11:42:01
820
原创 【深度学习基础】PyTorch Tensor生成方式及复制方法详解
内存共享与NumPy共享内存视图操作（如view()/切片）共享内存其他方法均创建独立副本梯度处理.clone()唯一保留梯度计算图copy_()会破坏目标Tensor的计算图创建新计算图使用场景需要梯度回传：使用.clone()高效数据覆盖：使用.copy_()完全独立拷贝：使用与NumPy交互：使用numpy()
2025-08-18 11:23:27
582
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人