- 博客(13)
- 收藏
- 关注
RSS订阅原创 大模型开发基础知识之自注意力机制和多头注意力机制及其代码实现
本文深入解析了深度学习中自注意力机制和多头注意力机制的原理与实现。自注意力机制通过查询、键和值向量计算序列元素间的依赖关系，解决了长距离依赖和并行计算问题。多头注意力则扩展为多个并行注意力头，提升了模型表达能力。文章详细介绍了两种机制的计算过程、优势，并提供了完整的PyTorch实现代码，包括自注意力模块、多头注意力模块以及掩码处理。这些机制是Transformer模型的核心组件，广泛应用于当前主流大语言模型中。理解注意力机制对于掌握大模型开发至关重要，本文从理论到实践的全面讲解为读者学习大模型技术奠定了基
2025-08-13 17:17:03
609
原创 深入理解卷积神经网络（CNN）与池化层
CNN是受生物学上感受野机制启发而提出的前馈神经网络，主要由卷积层、汇聚层（池化层）和全连接层交叉堆叠而成。局部连接：每个神经元只与输入数据的一个局部区域相连权重共享：同一卷积层中的所有神经元使用相同的权重向量池化操作：通过下采样减少特征图尺寸这些特性使CNN具有一定程度的平移、缩放和旋转不变性，同时大幅减少了参数数量。CNN通过卷积层有效提取局部特征，利用池化层降低计算复杂度并增强不变性。关键要点：卷积核大小、步长和填充需要合理设置最大池化更常用，但平均池化在某些场景更合适。
2025-07-21 16:58:52
383
原创 Pandas 数据分析入门指南：从基础到应用
Pandas是Python数据分析的核心库，提供Series和DataFrame两种核心数据结构。本文系统介绍了Pandas的基础操作：1) Series的创建与索引访问；2) DataFrame的构建与行列操作；3) 常用数据处理方法包括统计计算、索引重置、排序去重等。通过具体代码示例，展示了数据选取、修改、添加和删除等核心技巧，帮助读者快速掌握Pandas的数据处理能力，为数据分析工作奠定基础。
2025-07-15 19:59:35
950
原创 初识Torch
PyTorch是由MetaAI开发的开源深度学习框架，以其动态计算图和易用性著称。本文介绍了PyTorch的核心特点、安装方法（CPU/GPU版本）及验证方式，重点讲解了张量（Tensor）的创建与操作，包括从Python列表/NumPy数组初始化、形状改变和数学运算。文章详细阐述了自动微分（autograd）机制，通过示例展示标量和向量梯度计算，并提供一个完整的线性回归案例演示参数优化过程。最后总结了PyTorch在深度学习中的优势，包括GPU加速、自动微分以及与Python生态的无缝集成。
2025-07-14 19:53:52
833
原创 Pandas 数据分析库全面指南上
Pandas 是一个强大的开源 Python 数据分析库，构建在 NumPy 和 Matplotlib 基础上，提供高性能、易用的数据结构和数据分析工具。它支持从多种文件格式导入数据，广泛应用于学术、金融、统计等领域。
2025-04-02 22:26:18
448
原创 Matplotlib 数据可视化指南
Matplotlib 是 Python 中最流行的数据可视化库之一，它提供了丰富的绘图功能，可以创建各种静态、动态和交互式图表。Matplotlib 提供了强大的数据可视化功能，从简单的折线图到复杂的多子图布局都能轻松实现。掌握 Matplotlib 的基本用法后，可以结合 Pandas、NumPy 等库进行更高级的数据分析和可视化。
2025-03-30 18:08:16
318
原创 Python 函数
定义一个函数# 调用函数print(greet("Alice")) # 输出Hello, Alice!本文详细介绍了Python的基础语法，包括变量、运算符、表达式、语句和函数等内容。掌握这些基础知识是学习Python编程的第一步，希望本文能帮助你更好地理解和使用Python。
2025-03-15 19:25:09
461
原创 Python 列表，字典，元组，集合总结
列表是Python中最常用的数据结构之一，它是一个有序可变的序列，可以存储任意类型的元素。列表用方括号[]表示，元素之间用逗号分隔。元组是一个有序不可变的序列，用圆括号()表示。元组一旦创建，其内容不可修改。集合是一个无序不重复的元素集合，用花括号{}表示。集合中的元素必须是不可变类型（如整数、字符串、元组等）。字典是一个无序的键值对集合，用花括号{}表示。字典中的每个元素由一个键（Key）和一个值（Value）组成，键必须是不可变类型。列表适合存储有序且可能变化的数据。元组。
2025-03-12 22:55:12
2298
原创 python基础day1
专业Python IDE，支持调试、代码提示。：字母/数字/下划线，区分大小写，不使用保留字。：不可变，支持索引/切片，用于文件、网络传输。：人工智能、大数据、Web开发、脚本处理等。：轻量级编辑器，插件丰富，支持多语言。：索引、切片、拼接、格式化、常用方法（：语法简洁、跨平台、丰富的第三方库。：虚拟环境管理、包管理、跨平台支持。：不可变序列，用逗号和小括号定义。）、改（索引赋值）、查（切片）。：支持链式赋值、解包赋值。：保护数据安全，支持解包。'''注释内容'''"""注释内容"""
2025-03-08 18:25:58
489
原创 队列和树Python
队列是一种**先进先出（FIFO）**的线性数据结构，操作受限，仅允许在表的前端（front）删除元素（出队），在表的后端（rear）插入元素（入队）。树的定义：由节点（Node）和边（Edge）组成的层次结构，满足：每个节点有且仅有一个父节点（根节点除外）；子树互不相交。关键术语度：节点的子树个数（树的度为所有节点中最大的度）。叶子节点：度为 0 的节点。深度：树中节点的最大层次（根节点为第 1 层）。
2025-02-11 16:35:55
1596
原创 python 栈和链表
概念与特性后进先出（LIFO）：最后入栈的元素最先被移除。操作受限：所有操作（插入、删除）仅能在栈顶进行。核心操作：将元素压入栈顶。pop()：移除并返回栈顶元素。peek()：查看栈顶元素，不修改栈。isEmpty()：判断栈是否为空。clear()：清空栈。size()：返回栈中元素个数。实现方式数组实现：需处理栈满（isFull()）和栈空（isEmpty()）的异常。链表实现：无需固定容量，动态分配内存。代码示例（数组实现）应用场景函数调用栈：管理函数调用顺序。
2025-02-10 16:48:15
2073
原创 Pandas 学习总结（上半部分：基础与函数）
Pandas 是基于 NumPy 和 Matplotlib 构建的 Python 数据分析库，支持结构化数据的加载、清洗、操作、建模和可视化。支持从 CSV、Excel、JSON 等文件格式导入数据，广泛应用于金融、学术等领域。创建方式：空对象、列表嵌套列表/字典、字典嵌套列表、Series 组合。data = {"name": "张三", "age": 18}创建方式：空对象、列表、字典、标量、NumPy 数组。核心操作：列索引操作（增删改查）、行索引操作（s["name"] # 通过标签。
2025-02-07 18:24:49
367
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人