- 博客(16)
- 收藏
- 关注
原创 三第二步制作分词器
我租的是单张 RTX 4090D 24G 显存的云服务器,撑死了跑 1B(10 亿)参数量以内的模型。新手不要碰7B/13B 的模型(这类模型从零预训练必须多卡集群,单卡直接显存爆炸)。
2026-05-06 11:23:05
195
原创 二第一步模型的选择及项目前期准备
,本质属于指令跟随型任务。就是你一次最多能给它发多少字,它能全记住不混乱,就选一个固定值:比如 2000 字、4000 字、8000 字,新手建议先定 4000 字。租用显卡后,将显卡型号、CPU、操作系统版本发给 AI 助手,询问需要安装的驱动、深度学习框架、依赖库。可选模型:Qwen2-1.5B-Instruct 或 Phi-3-mini-4K-Instruct。:得到一份完全清洗干净且格式规范的训练数据集,以及一个从零训练、能够无误将文字转数字的分词器。,以获得完全的自主权与极致专注的任务性能。
2026-05-06 10:39:51
339
原创 开发日志--从0搭建AI控制电脑--前言
项目需要在本地大模型的辅助下理解指令并执行操作,因此租用了。配置可自行选择,不必过于纠结都是小问题。:搭建初期,在做准备工作前,可选择。等环境搭建完毕后,再进行有卡开机。高点,这样可以加快训练速度。
2026-05-05 22:55:25
41
原创 MATLAB——线性核和高斯核训练SVM(数据集Iris和Diabetes)
这是一种常见、常用的核函数。线性核函数可以将非线性问题转换为线性问题。线性核函数的数学表达式为:这是一种将数据从原始空间映射到更高维空间的核函数。它衡量样本之间的“相似度”,使同类样本在新的空间中更好地聚在一起,从而更易于进行线性分类。假设我们有两个二维特征向量 𝑥1=[1,2]x1=[1,2] 和 𝑥2=[3,4]x2=[3,4],且 𝜎=1σ=1。它们的高斯核计算如下:首先,计算两个特征向量的欧氏距离的平方:然后,计算高斯核:举个例子我们有一串颜色为红色和蓝色的珠子,它们排成一条直线。
2024-05-18 23:43:51
728
原创 人工智能——为什么说多层感知器是一个巨大的突破
单层感知器为什么叫这个名字,是因为它只有一层处理单元,位于输出层。在单层感知器的结果中,输入层节点的任务是引入外部信息,但它本身并没有信息处理的能力。输出层节点既有信息处理能力,又负责向外部输出处理后的信息。有些人可能会认为,这明明有输入层和输出层两层,为啥还叫单层感知器。其原因是因为关键的处理操作仅发生在输出层这一层,所以叫“单层”感知器。不必较真~红圈为输入层,绿圈为输出层(并负责计算)。
2024-04-12 22:35:43
774
1
原创 深度学习——注意力是什么
Encoder-Decoder框架是一种常用的深度学习架构,它主要用来处理序列到序列的任务,列如机器翻译、文本摘要、语音识别等。编码器(Encoder)和解码器(Decoder),注意 每个部分都是一个独立的神经网络。
2024-04-01 21:08:22
982
原创 数据库原理(自学用
仓库,是我们平常用来储存东西的一个空间。 数据库,延伸一下含义就是存放数据的空间,并按照 数据结构来组织,储存和管理数据的仓库。 其发展史分为三个阶段: 1.手工管理 2.文件管理 3.数据库系统 1.手工管理阶段 硬件:没有直接存取存储设备 软件:没有系统软件对数据进行管理 不保存大量的数据 一组数据对应着一个程序 2.文件系统管理数据阶段 硬件:有了大容...
2021-08-25 22:13:35
123
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅