ly_twt的博客

类用于实现 LoRA 适配器。self.w_qkv = w_qkv # 原始的 qkv 线性层self.w_a_q = w_a_q # LoRA 适配器的 A 矩阵(query)self.w_b_q = w_b_q # LoRA 适配器的 B 矩阵(query)self.w_a_v = w_a_v # LoRA 适配器的 A 矩阵(value)self.w_b_v = w_b_v # LoRA 适配器的 B 矩阵(value)# 原始 qkv 投影。

（4）点开Meta Llama 2：中的Meta Llama 2 repository。这个URL就是下图中mask掉的URL，把URL复制粘贴到终端中，1、首先，需要有Hugging Face账户，没有的话注册一个。（3）申请后，会得到如下界面，邮箱也会收到邮件。（5）下载这个llama repository。（1）搜索所需的LLaMa2-7b模型。2、申请下载LLaMa2的权限。除了以下红框内的，其他随便填。

（2）在左侧栏中找到Access Tokens，然后点击Create new token。自定义个Token name，然后直接Create token即可，其他不用选。（1）点击右上角用户图标，找到Settings。1、注册Hugging Face账号。