- 博客(4)
- 收藏
- 关注
RSS订阅原创 训练一个Tokenizer
文章摘要 本文介绍了使用BPE算法训练Subword Tokenizer的方法。BPE是一种基于统计的分词算法，通过合并高频字符对来生成子词词典，能有效处理未登录词并控制词表大小。文章详细说明了BPE的工作原理、实现步骤和优点，并提供了代码实现方案，包括导入所需模块、下载和处理训练数据集（使用出门问问序列猴子开源数据集）。预处理阶段将文本切分成固定长度块，对话数据则转换为统一Chat格式。整个流程包括数据清洗、结构对齐和Tokenizer训练准备。
2026-02-05 15:29:50
715
原创 动手实现一个LLaMA2大模型
LLaMA（Large Language Model Meta AI）是 Meta（原 Facebook）于 2023 年推出的开源自回归大语言模型系列，基于纯解码器 Transformer 架构优化，本文致力于学习构建LLaMA2语言模型，针对作者自己学习过程中的问题进行归纳总结。
2026-02-02 15:40:13
913
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人