<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[c___c18的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/c___c18</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; c___c18]]></copyright><item><title><![CDATA[HuggingFace——模型下载指南]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/156984983</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/156984983</guid><author>c___c18</author><pubDate>Thu, 15 Jan 2026 14:15:55 +0800</pubDate><description><![CDATA[本文介绍了如何使用HF-Mirror镜像站点下载HuggingFace模型。主要内容包括：1）安装huggingface-cli命令行工具；2）设置环境变量指向镜像站点；3）使用下载命令及参数说明，如排除不需要的文件类型。文章还提到下载速度会随时间下降，并讨论了与ModelScope的兼容性问题。该镜像为国内开发者提供了稳定快速的模型下载途径。]]></description><category></category></item><item><title><![CDATA[浅析原型学习（Prototype Learning）及代码实现|Prototypical Verbalizer for Prompt-based Few-shot Tuning]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/144067481</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/144067481</guid><author>c___c18</author><pubDate>Tue, 26 Nov 2024 20:31:23 +0800</pubDate><description><![CDATA[看了一些博客的内容而本次是基于和这两篇论文来讨论的。接下来将从代码和论文本身的角度来阐述。]]></description><category></category></item><item><title><![CDATA[监督对比学习代码实现与分析（Supervised Contrastive Learning in NLP）]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/144056112</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/144056112</guid><author>c___c18</author><pubDate>Tue, 26 Nov 2024 12:54:16 +0800</pubDate><description><![CDATA[SimCSE: Simple Contrastive Learning of Sentence Embeddings
Supervised contrastive learning
Learning Implicit Sentiment in Aspect-based Sentiment Analysis with Supervised Contrastive Pre-Training
Decoupled Contrastive Learning for Long-Tailed Recognition]]></description><category></category></item><item><title><![CDATA[向量各种积的定义与说明]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/144030104</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/144030104</guid><author>c___c18</author><pubDate>Mon, 25 Nov 2024 16:05:45 +0800</pubDate><description><![CDATA[那么假设有两个向量：
a=[a1a2a3];b=[b1b2b3]
a=\left[\begin{array}{c}
a_1  \\
a_2  \\
a_3
\end{array}\right]; 
b= \left[\begin{array}{c}
b_1  \\
b_2  \\
b_3
\end{array}\right]
a=​a1​a2​a3​​​;b=​b1​b2​b3​​​欧几里得空间（Euclidean space）是内积空间（inner product space）的一个特例。在实数域且有限维]]></description><category></category></item><item><title><![CDATA[线性代数空间理解]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/144030054</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/144030054</guid><author>c___c18</author><pubDate>Mon, 25 Nov 2024 16:04:51 +0800</pubDate><description><![CDATA[学习线性代数已经很久，但是在使用过程中仍然还是不明所以，比如不知道特征向量和特征值的含义、矩阵的相乘是什么意思、如何理解矩阵的秩……。随着遇到的次数越来越多，因此我决定需要对线性代数的本质做一次深刻的探讨了。本次主要是参考了和其他若干博客来对此展开笔记的记录。需要说明的是，这里的是记录线性代数的本质，因此关于如何计算的方法或者内容则相对较少。]]></description><category></category></item><item><title><![CDATA[BCE Loss和CE Loss求导对比]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/144029964</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/144029964</guid><author>c___c18</author><pubDate>Mon, 25 Nov 2024 16:03:16 +0800</pubDate><description><![CDATA[交叉熵损失函数（CrossEntropyLoss）作为分类问题常见的损失函数，自己并为对其具体的细节展开理解。同时二元交叉熵损失函数（BCELoss）是交叉熵损失函数的特例，因此同样需要对二元交叉熵损失函数作出进一步的理解。此时就可以看出，BCE其实是考虑了标签为0的信息情况（虽然CE Loss使用了softmax，但是我还是感觉不如BCE Loss更能直观考虑标签为0的信息）。的分类能力，自然其他类别的预测得分就会下降，因此就不必担心假阴性的问题。的导数为（也就是sigmoid函数的导数）]]></description><category></category></item><item><title><![CDATA[LangChain之关于RetrievalQA input_variables 的定义与使用]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/134270727</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/134270727</guid><author>c___c18</author><pubDate>Tue, 07 Nov 2023 19:57:28 +0800</pubDate><description><![CDATA[最近在使用LangChain来做一个LLMs和KBs结合的小Demo玩玩，也就是RAG（etrievalugmentedeneration）。这部分的内容其实在的官网已经给出了流程图。我这里就直接偷懒了，准备对进行复刻练习，那么接下来就是照着葫芦画瓢就行。那么我卡在了Retrieve这一步。我对和这三个地方的input_key不明白为啥一定要这样设置。虽然我也看了LangChain的。但是我并未得到详细的答案，那么只能一行行看源码是到底怎么设置的了。]]></description><category></category></item><item><title><![CDATA[LangChain之CharacterTextSplitter的split_text和split_documents]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/134147973</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/134147973</guid><author>c___c18</author><pubDate>Tue, 31 Oct 2023 20:26:24 +0800</pubDate><description><![CDATA[从说法上，我实在是看不出来有什么关系，然后我就没当回事，就按照字面意思就开整了（OS：当时我就想着，这两个方法应该我用一个就好，处理的是文本，那么就梭哈写出了下面的ChineseTextSplitter类）我本来是用一个csv文件来做demo的，那么就参考别人的代码，开始了照虎画猫的拙劣表演。我心想为啥有两个方法，我就无意中点开了。总结一句话就是，能力不足，基础不牢，只懂梭哈，傻乐吃瓜。至此初步了解了两个方法之间的关系，以及类之间的继承。，里面有几个方法，大体上感觉问题不大，这把稳了。]]></description><category></category></item><item><title><![CDATA[浅析GPT2中的autoregressive和BERT的autoencoding源码实现]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/131291445</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/131291445</guid><author>c___c18</author><pubDate>Mon, 19 Jun 2023 17:01:39 +0800</pubDate><description><![CDATA[经常使用BERT来做研究，因此对Encoder的架构较为熟悉，但是从来没有了解过GPT这样的Decoder架构，尤其对自回归的形式不知道源码是如何实现的。为了方便对比和讨论，接来下所探讨的源码都是基于HuggingFace这个框架的。]]></description><category></category></item><item><title><![CDATA[past_key_values在P-TuningV2中的巧用]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/131291371</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/131291371</guid><author>c___c18</author><pubDate>Mon, 19 Jun 2023 16:58:51 +0800</pubDate><description><![CDATA[目前HuggingFace发布了关于微调LLMs的方法包——此外也列出了该包对不同的任务中，不同方法和模型的支持情况（我只列出了关于NLP的，还有的）：但是还没有P-Tuning v2:的方法，因此我就看源码是怎么处理的。在研究和阅读其他人blog期间，发现有些人对P-Tuning描述不准确。因此需要注意甄别（主要是P-Tuning和Prompt-Tuning的方法提出时间就差了一个月，并且在方法上有一定的相似性，都是在Embedding中使用了continuous prompt）]]></description><category></category></item><item><title><![CDATA[对比学习做了什么？]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/131154322</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/131154322</guid><author>c___c18</author><pubDate>Sun, 11 Jun 2023 16:06:50 +0800</pubDate><description><![CDATA[首先搬出论文的出处：【文章一】ICML’20【文章二】CVPR’21先说一下为什么要读这两篇论文呢？其实是来自一个偶然的机会，自己看到了对比学习(Contrastive Learning)这个东西，还是从ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer这篇文章入坑的(当然作为对比学习的入门，感觉还是SimCLR这个论文比较直白)。]]></description><category></category></item><item><title><![CDATA[Self-Attention 自注意力机制]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/131154289</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/131154289</guid><author>c___c18</author><pubDate>Sun, 11 Jun 2023 16:05:39 +0800</pubDate><description><![CDATA[下图中简单介绍了RNN和self-attention的机制区别，首先是第一个区别就是，在下图中最后面的黄色的输出值在RNN中很难去考虑第一个的RNN的输入(当然双向的RNN也是可以实现的，或者改进的RNN，如LSTM)，而在self-attention中是很容易去实现的。下面这张图片表示了在不同数据集上的效果图，发现，在数据集不大的情况下，CNN的效果是优于self- attention的，反之CNN的效果会差一些。如上图所示，就是在计算完成qi的时候，再去对应相乘两个不同的矩阵，这样就得到了新的向量。]]></description><category></category></item><item><title><![CDATA[初探图神经网络——GNN]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/131154270</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/131154270</guid><author>c___c18</author><pubDate>Sun, 11 Jun 2023 16:01:58 +0800</pubDate><description><![CDATA[图表示实体节点之间的关系，如下图所示：其中U表示的是整张图。]]></description><category></category></item><item><title><![CDATA[数据分布——长尾分布的处理]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/131154250</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/131154250</guid><author>c___c18</author><pubDate>Sun, 11 Jun 2023 16:00:29 +0800</pubDate><description><![CDATA[长尾分布在分类任务中会提到这个名,这是因为长尾分布这个现象问题会导致在训练过程中会出现出错率高的问题，影响了实验结果。这里要说的是，长尾分布是一种现象，有的地方说是一种理论或定律，我感觉这样说不太确切，因为长尾分布并非是一种普遍现象，不能将所有的数据分布或者现象都强加于长尾分布这个概念上。]]></description><category></category></item><item><title><![CDATA[初探 transformer]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/131154180</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/131154180</guid><author>c___c18</author><pubDate>Sun, 11 Jun 2023 15:59:09 +0800</pubDate><description><![CDATA[Transformer就是一种seq2seq模型。Begin是用于判断输入的开始的，这样可以便于定位。接下来我们来看输出的结果是什么：根据不同的语言，输出的结果就是一个字点集向量(如果是中文，我们可以输出2000个常用词；如果是英文，那么输出的结果既可以是26个英文字母，也可以是常见的词汇；因此要因情况而定)。]]></description><category></category></item><item><title><![CDATA[sequence2sequence]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/131154205</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/131154205</guid><author>c___c18</author><pubDate>Sun, 11 Jun 2023 15:58:19 +0800</pubDate><description><![CDATA[所谓的Seq2seq模型从字面上理解很简单，就是由一个序列到另一个序列的过程(比如翻译、语音等方面的应用)：那么既然是序列模型，就需要搭建一个RNN模型(神经单元可以是GRU模型或者是LSTM模型)下面两篇文章提出了这样的seq2seq的模型设计，引入了encode和decode机制。]]></description><category></category></item><item><title><![CDATA[初探BERT&Pre-train&Self-supervise]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/131154079</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/131154079</guid><author>c___c18</author><pubDate>Sun, 11 Jun 2023 15:52:31 +0800</pubDate><description><![CDATA[好了，言归正传，BERT的出现真的是在NLP领域掀起了一阵不小的轰动，从BERT文章的Abstract部分就可以看出，BERT是结合了GPT和ELMo两个模型的框架特点——是一个深层次的以Transformer为Backbone的双向架构。这样的设计的方法可以在预训练之后的BERT模型之上添加一个额外的输出层便可以实现各种下游任务(其实这个地方就是微调，跟GPT一样，只需要改上层结构就可以了)。]]></description><category></category></item><item><title><![CDATA[HuggingFace——Accelerate的使用]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/127616417</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/127616417</guid><author>c___c18</author><pubDate>Mon, 31 Oct 2022 15:24:42 +0800</pubDate><description><![CDATA[HuggingFace----Accelerate的使用]]></description><category></category></item><item><title><![CDATA[HuggingFace——Trainer的简单使用]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/127601097</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/127601097</guid><author>c___c18</author><pubDate>Sun, 30 Oct 2022 16:24:24 +0800</pubDate><description><![CDATA[HuggingFace——Trainer的简单使用]]></description><category></category></item><item><title><![CDATA[PyTorch 单机多GPU 训练方法与原理整理]]></title><link>https://blog.youkuaiyun.com/c___c18/article/details/127599990</link><guid>https://blog.youkuaiyun.com/c___c18/article/details/127599990</guid><author>c___c18</author><pubDate>Sun, 30 Oct 2022 15:17:26 +0800</pubDate><description><![CDATA[这里整理一些PyTorch单机多核训练的方法和简单原理。]]></description><category></category></item></channel></rss>