- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Build a Large Language Model (From Scratch) 学习笔记（二）一
从本质上讲，嵌入是一种从离散对象（如单词、图像，甚至是完整的文档）到连续向量空间中的点的映射——嵌入的主要目的是将非数值数据转换为神经网络能够处理的格式。例如，在对多个独立的文档或书籍进行类似GPT的大语言模型（LLM）训练时，常见的做法是在每一个紧随前一个文本来源的文档或书籍之前插入一个词元，如下图所示。注释：词嵌入（word embeddings）是自然语言处理（NLP）中的一个关键概念，它指的是将词汇或短语从词汇表映射到一个连续的向量空间的技术，使得语义相似的词汇在向量空间中距离较近。
2025-02-24 21:30:00
825
原创 Build a Large Language Model (From Scratch) 学习笔记（二）
本章内容涵盖：为大语言模型训练准备文本;将文本拆分为单词和子词标记;字节对编码作为一种更高级的文本标记化方法;采用滑动窗口方法抽取训练样本;将标记转换为向量以输入到大语言模型中。原文目录如下本篇笔记篇幅受限，拆分为两部分内容，本文中包含2.1-2.4内容。在预训练阶段，LLM会逐个词地处理文本。通过使用包含数百万至数十亿参数的模型进行下一个词预测任务，可以训练出具有令人印象深刻能力的模型。然后，这些模型可以进一步微调，以遵循一般指令或执行特定的目标任务。
2025-02-24 21:15:00
1302
原创 Build a Large Language Model (From Scratch) 学习笔记（一）
Build a Large Language Model (From Scratch) 学习笔记
2024-12-06 19:43:01
1861
原创 从0开始做小程序开发-准备篇
微信小程序开发是指使用微信官方提供的开发工具和API，开发出符合微信小程序规范的应用程序。开发者可以使用HTML、CSS、JavaScript等前端技术进行开发，并通过微信小程序开发工具进行调试和发布。微信小程序开发可以通过微信开放平台进行注册和创建应用，开发者可以使用微信小程序开发工具进行项目的创建、代码编写、调试和发布。开发者还可以通过微信提供的云开发能力，实现数据存储和云函数等功能。微信小程序开发的应用场景非常广泛，可以用于电商、社交、教育、娱乐等各个领域。
2024-03-26 09:36:46
422
原创 基于spring boot的接口自动化工具（一）
在“Use Case Testing”中说测试用例的前10%到15% 可以发现75%到90%的重要缺陷。（ Ross Collard为美国著名的测试专家）。1级bug：（致命错误）1、常规操作引起的系统崩溃、死机、死循环报错，无法正常退出2、功能设计与需求严重不符，基本模块缺失，测试流程无法进行3、严重的数据计算错误4、用户数据丢失或破坏5、内存泄漏，系统无法登录6、其他导致功能无法测试的问题2级bug：（严重错误）
2024-02-29 17:09:03
944
原创 从0开始搭建自动化接口测试工具（问题记录篇）
一、spring boot启动报错：【Java】Unable to start ServletWebServerApplicationContext due to missing ServletWebServerFactory bean。三、spring boot启动报错：failed to determine a suitable driver class。解决方式：修改pom文件中yaml的依赖，先注释掉，问题解决。
2024-02-26 16:29:18
416
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人