
Python数据分析
文章平均质量分 78
谦虚且进步
自学Python小白
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大模型微调LoRA训练与原理
可以看到大模型的权重是d×d的维度,而LoRA使用(d,r)*(r,d)两个矩阵进行相乘就可以得到d×d,然后两个特征进行相加即可,其中r是超参数,表示左边蓝色W矩阵的秩。很明显最常见的就是Q,V,K这3个矩阵了。很明显,LoRA适用于模型中网络层体量很大的部分,比如Q,K,V这3个矩阵,即将每个字母的embeding映射到512维空间中是搓搓有余的,实际上可能映射到384维可能就是刚刚好的状态,LoRA就适用于这种映射维度过高的低秩矩阵,使用矩阵相乘的形式显著的降低模型参数数量,而且保持性能不变。原创 2023-12-29 15:32:54 · 1516 阅读 · 0 评论 -
GNN图神经网络入门
GNN图神经网络入门原创 2023-10-26 14:43:51 · 204 阅读 · 0 评论 -
变分自编码器VAE代码
VAE变分自编码器原创 2023-07-27 20:02:35 · 861 阅读 · 0 评论 -
隐马尔可夫HMM算法
马尔可夫过程原创 2023-07-26 22:52:16 · 400 阅读 · 0 评论 -
k-medoid(k中心点)聚类算法-Python实现
k-medoid(k中心点)聚类算法-Python实现原创 2023-02-19 16:32:16 · 2541 阅读 · 1 评论 -
matplotlib入门
matplotlib入门原创 2022-10-01 22:31:49 · 1379 阅读 · 1 评论 -
python之Numpy(三)
numpy原创 2022-08-04 16:09:14 · 846 阅读 · 0 评论 -
python之Numpy(二)
numpy原创 2022-08-03 22:27:32 · 977 阅读 · 0 评论 -
python之Numpy(一)
Python值numpy详解原创 2022-08-02 23:53:34 · 1838 阅读 · 0 评论