- 博客(6)
- 收藏
- 关注
RSS订阅原创 分词算法总结
本文介绍了三种常见的分词算法：1）WordPiece（BERT使用），基于频率统计保留高频词并拆分低频词；2）BPE（GPT系列使用），通过合并高频相邻符号对进行分词；3）SentencePiece（T5/ChatGLM等使用），适合中文等无空格语言。分词器将文本转换为Token ID序列，每个Token对应一个embedding向量输入Transformer网络。不同分词算法决定了模型理解语言的方式，Tokenization是将语言分解为模型可识别最小单位的关键过程。
2025-10-10 16:00:43
152
原创 大模型术语汇总（一）
指在超大规模数据集上预训练的深度神经网络模型，主要用于理解、生成、翻译和推理自然语言，通常基于 Transformer 架构，拥有数十亿到万亿级参数（billion～trillion parameters）。
2025-10-10 15:40:43
168
原创 深度学习如何加载自己的数据集？
导入必要的库from torch.utils.data import Dataset # 导入 PyTorch 中用于自定义数据集的基类from PIL import Image # 用于图像读取和处理import os # 处理文件路径import pandas as pd # 读取 CSV 表格文件构造函数__init__"""构造函数（初始化数据集）参数：csv_file: 包含图像文件名和标签的CSV文件路径（如 'labels.csv'）img_dir: 图像文件所在的文件夹路径。
2025-07-15 15:51:38
348
原创 C++引用
type是被引用的的类型，data是被引用的数据，name是引用的名称。引用必须在定义的同时进行初始化，在定义的时候要加“&“符号，在使用时不能添加”&“。
2023-07-15 18:27:39
138
1
原创 opencv基础操作
opencv使用imread()函数读取一张图片，第一个参数表示图片路径，第二个参数表示以何种方式读取图片，0表示灰度图，1表示彩色图，默认为1，读取失败返回None。
2023-04-05 16:46:38
302
1
原创 LeNet卷积神经网络
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、LeNet简介二、使用步骤1.模型搭建2.模型训练模型预测前言提示：这里可以添加本文要记录的大概内容：LeNet是由Yann LeCun在1988年提出的用于数字识别的模型，可以说是深度卷积神经网络的基石，接下来深入理解其结构，并且用pytorch框架实现对CIFAR10数据集进行训练和预测过程。提示：以下是本篇文章正文内容，下面案例可供参考一、LeNet简介输入：3232C1卷积层：6个55大小卷积核.
2022-04-07 17:53:02
1388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人