<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qfikh的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qfikh</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qfikh]]></copyright><item><title><![CDATA[大模型微调方法汇总]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/138821660</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/138821660</guid><author>qfikh</author><pubDate>Mon, 13 May 2024 22:04:36 +0800</pubDate><description><![CDATA[*量化是一种减少模型精度要求的技术，它将权重的值从浮点数转换为更低位的表示，从而减少模型的存储和计算需求**。- **原理**：P-tuning v2 是一种基于prompt的微调方法，它通过在模型的输入中添加一个可训练的prompt向量来调整模型的行为。-  用随机高斯分布初始化A，用全零矩阵初始化B。矩阵B的全零初始化，使得在训练最开始的一段时间，右路的结果会接近于0，这样模块的输出就基本上来自于左路，也就是大模型原有参数的计算结果，这使得模型优化的初始点就和原始的大模型保持一致。]]></description><category></category></item><item><title><![CDATA[微调llama 3 — PEFT微调和全量微调]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/138795488</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/138795488</guid><author>qfikh</author><pubDate>Mon, 13 May 2024 17:26:38 +0800</pubDate><description><![CDATA[Ref: 微调llama 3 — PEFT微调和全量微调_llama3 微调原理-优快云博客1、QLoRA 是量化的 LoRA 与 LLMs 的结合。要使用这种方法对 Llama 3 8B 进行微调，我们需要安装2、然后导入需要的pkgs3、如果你拥有较新的GPU，就可以使用数据类型以获得更好的训练稳定性，并使用来减少处理长序列时的内存消耗。下面的代码会自动检测GPU是否兼容、：4、然后，我们需要初始化并配置Tokenizer。通常，LLMs在预训练时不包含pad_token。然而，在微调过程中，由于我们]]></description><category></category></item><item><title><![CDATA[知识图谱-实体链接]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/137397731</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/137397731</guid><author>qfikh</author><pubDate>Fri, 05 Apr 2024 17:33:44 +0800</pubDate><description><![CDATA[百度 2019中文短文本的实体链指 第一名解决方案。]]></description><category></category></item><item><title><![CDATA[知识图谱概述]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/134100507</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/134100507</guid><author>qfikh</author><pubDate>Mon, 30 Oct 2023 11:00:19 +0800</pubDate><description><![CDATA[知识图谱是一种结构化的知识表示方式，将实体、属性和关系以图形的形式进行表达和组织。它通过对知识进行结构化建模，将不同实体之间的关系进行编码形成一个图结构的知识网络。知识图谱的目标是将人类的知识整合到一个统一的框架中，以便机器可以理解和推理这些知识。实体、关系，schema 就是不同实体之间的共计有哪些关系。]]></description><category></category></item><item><title><![CDATA[吴恩达《面向开发者的提示词工程》]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/132655841</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/132655841</guid><author>qfikh</author><pubDate>Sun, 03 Sep 2023 23:48:16 +0800</pubDate><description><![CDATA[(三) 文本总结(summarizing) - 知乎总结或概括是LLM中的一个较为成熟的应用，可以将其结合到应用程序中，充分发挥其功能。]]></description><category></category></item><item><title><![CDATA[ChatGLM-6B+LangChain与训练及模型微调教程]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/132647128</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/132647128</guid><author>qfikh</author><pubDate>Sun, 03 Sep 2023 21:12:27 +0800</pubDate><description><![CDATA[Ref:  讲解视频吴恩达教授讲的【LangChain+ChatGLM-6B】LLM应用开发实践。]]></description><category></category></item><item><title><![CDATA[Self-Attention模型(李宏毅)]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/129237797</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/129237797</guid><author>qfikh</author><pubDate>Mon, 27 Feb 2023 11:11:05 +0800</pubDate><description><![CDATA[李宏毅关于self-attention]]></description><category></category></item><item><title><![CDATA[2021-04-04]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/115427606</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/115427606</guid><author>qfikh</author><pubDate>Sun, 04 Apr 2021 12:59:11 +0800</pubDate><description><![CDATA[参考https://blog.youkuaiyun.com/ignoreyou/article/details/85132738 这篇文章给自己的黑苹果安装上深度学习环境。稍有修改



环境
软件环境：
macOS Sierra 10.13.6
GPU Driver: WebDriver-387.10.10.10.40.108
CUDA Driver: cudadriver_396.148_macos
CudaToolkit: cuda_9.2.148_mac
CUDNN: cudnn-9.2-osx-x64...]]></description><category></category></item><item><title><![CDATA[Python魔法方法总结及注意事项]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/106319676</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/106319676</guid><author>qfikh</author><pubDate>Sun, 24 May 2020 19:41:46 +0800</pubDate><description><![CDATA[1、何为魔法方法：

　　Python中，一定要区分开函数和方法的含义；

　　1.函数：类外部定义的，跟类没有直接关系的；形式： def func(*argv):

　　2.方法：class内部定义的函数（对象的方法也可以认为是属性）；分为两种：

　　　　① python自动产生的（魔法方法）：一般形式为 __func__()，python会在对应的时机自动调用该函数；

　　　　② 人为自定义的方法：一般和普通函数没有区别，只是定义在了class中而已

　　3.方法与函数的区别：

　　　　方...]]></description><category></category></item><item><title><![CDATA[机器学习之特征选择方法]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/106069454</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/106069454</guid><author>qfikh</author><pubDate>Tue, 12 May 2020 09:49:16 +0800</pubDate><description><![CDATA[《机器学习》将特征选择分为了三种方法：分别是过滤式（filter） 、包裹式（wrapper）和嵌入式（embedded）。下面依据sklearn中的特征选择文档来叙述特征选择的几个方法。

过滤式（filter）

这类方法先对数据机进行特征选择，然后再训练学习器，特征选择的过程与后续学习器无关。

1.移除低方差的特征：通过计算样本在不同特征上取值的方差来对特征经过过滤。

通过 sel = VarianceThreshold(threshold=(.8 * (1 - .8))) 设置一个阈值，

2.]]></description><category></category></item><item><title><![CDATA[深度学习中的多任务学习-multi-learning总结]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/106058852</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/106058852</guid><author>qfikh</author><pubDate>Mon, 11 May 2020 17:37:04 +0800</pubDate><description><![CDATA[多任务学习(Multi-task learning)的两种模式

深度学习中两种多任务学习模式：隐层参数的硬共享与软共享。

隐层参数硬共享，指的是多个任务之间共享网络的同几层隐藏层，只不过在网络的靠近输出部分开始分叉去做不同的任务。
	隐层参数软共享，不同的任务使用不同的网络，但是不同任务的网络参数，采用距离(L1,L2)等作为约束，鼓励参数相似化。
Hard 参数共享

共享 Hard 参数是神经网络 MTL 最常用的方法，可以追溯到 [2]。在实际应用中，通常通过在所有任务之间共享隐藏层，同时保...]]></description><category></category></item><item><title><![CDATA[深度学习训练时网络不收敛的原因分析总结]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/106016787</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/106016787</guid><author>qfikh</author><pubDate>Sat, 09 May 2020 13:05:56 +0800</pubDate><description><![CDATA[很多同学会发现，为什么我训练网络的时候loss一直居高不下或者准确度时高时低，震荡趋势，一会到11，一会又0.1，不收敛。 又不知如何解决，博主总结了自己训练经验和看到的一些方法。

首先你要保证训练的次数够多，不要以为一百两百次就会一直loss下降或者准确率一直提高，会有一点震荡的。只要总体收敛就行。若训练次数够多（一般上千次，上万次，或者几十个epoch）没收敛，则试试下面方法：

1. 数据侧：

数据归一化
神经网络中对数据进行归一化是不可忽略的步骤，网络能不能正常工作，还得看你有没有做归一化，一般]]></description><category></category></item><item><title><![CDATA[python稀疏格式储存coo_matrix/csr_matrix/csc_matrix]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/105894144</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/105894144</guid><author>qfikh</author><pubDate>Sat, 02 May 2020 19:33:42 +0800</pubDate><description><![CDATA[概述

在用python进行科学运算时，常常需要把一个稀疏的np.array压缩，这时候就用到scipy库中的sparse.csr_matrix(csr:Compressed Sparse Row marix) 和sparse.csc_matric(csc:Compressed Sparse Column marix)

scipy.sparse.csr_matrix


#  示例解读
&gt;...]]></description><category></category></item><item><title><![CDATA[从FM推演各深度学习CTR预估模型（附代码）]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/105789372</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/105789372</guid><author>qfikh</author><pubDate>Mon, 27 Apr 2020 14:50:07 +0800</pubDate><description><![CDATA[Ref：链接











FM 的tensorflow 实现


class FM(Model):
    def __init__(self, input_dim=None, output_dim=1, factor_order=10, init_path=None, opt_algo='gd', learning_rate=1e-2,
                 l2...]]></description><category></category></item><item><title><![CDATA[评估指标汇总]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/105724471</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/105724471</guid><author>qfikh</author><pubDate>Fri, 24 Apr 2020 10:00:25 +0800</pubDate><description><![CDATA[Ref:https://zhuanlan.zhihu.com/p/52930683






]]></description><category></category></item><item><title><![CDATA[fasttext 与 word2vec、doc2vec 的区别]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/105649650</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/105649650</guid><author>qfikh</author><pubDate>Tue, 21 Apr 2020 08:09:13 +0800</pubDate><description><![CDATA[相似：

图模型结构很像，都是采用embedding向量的形式，得到word的隐向量表达。
	都采用很多相似的优化方法，比如使用Hierarchical softmax优化训练和预测中的打分速度。
不同点：

1.word2vec是一个无监督算法，而fasttext是一个有监督算法。
	2.模型的输入层：word2vec的输入层是上下文单词；而fasttext 对应的...]]></description><category></category></item><item><title><![CDATA[一台ubuntu服务器部署多台tomcat ,并实现外网访问:]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/85165457</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/85165457</guid><author>qfikh</author><pubDate>Tue, 14 Apr 2020 13:24:11 +0800</pubDate><description><![CDATA[一开始部署多个tomcat ,参考https://blog.youkuaiyun.com/qq839177306/article/details/78471058,发现这篇博客写的不对,,谨慎一点说就是:至少我没有成功实现. ,按照上面链接操作可能面临的问题:

(1) 启动tomcat2时,发现真实启动的是tomcat1

(2) 启动tomcat2时,回报Cannot find //bin/setcl...]]></description><category></category></item><item><title><![CDATA[优化方法入门]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/104141595</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/104141595</guid><author>qfikh</author><pubDate>Tue, 14 Apr 2020 13:23:58 +0800</pubDate><description><![CDATA[Ref：

https://blog.youkuaiyun.com/weixin_42398658/article/details/84502215

https://blog.youkuaiyun.com/weixin_42398658/article/details/84525917

SGD ：参数=旧参数 - 学习率*梯度

（1）改变梯度：动量SGD：

（2）改变学习率：AdaGrad --&gt;引入衰...]]></description><category></category></item><item><title><![CDATA[GBDT、XGBoost、LightGBM汇]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/104523063</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/104523063</guid><author>qfikh</author><pubDate>Tue, 14 Apr 2020 13:23:41 +0800</pubDate><description><![CDATA[Ref：深入理解XGBoost

本文是在原文基础上进行修补。



XGBoost原理推倒：

（1）目标函数：



（2）第一项泰勒展开：



（3）第二项-定义树的复杂度：



（4）最终的目标函数：





（5）一棵树的生成细节：

（5.1）首先列采样，随机选出K列特征作为划分特征；

（5.2）然后这K列进行并行运算，针对每列特征将数据生序排列，保存为block结构

...]]></description><category></category></item><item><title><![CDATA[损失函数介绍]]></title><link>https://blog.youkuaiyun.com/qfikh/article/details/104941436</link><guid>https://blog.youkuaiyun.com/qfikh/article/details/104941436</guid><author>qfikh</author><pubDate>Tue, 14 Apr 2020 13:23:19 +0800</pubDate><description><![CDATA[几种常见的损失函数https://www.cnblogs.com/lliuye/p/9549881.html





一. MSE： 线性回归问题



log损失与交叉熵的等价性https://blog.youkuaiyun.com/google19890102/article/details/79496256

二.Log loss：

在二分类问题中logistic loss和交叉熵...]]></description><category></category></item></channel></rss>