<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[idiotyi的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/idiotyi</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; idiotyi]]></copyright><item><title><![CDATA[【大模型】Mamba模型架构]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/146074250</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/146074250</guid><author>idiotyi</author><pubDate>Tue, 06 May 2025 10:38:01 +0800</pubDate><description><![CDATA[Mamba = 有选择处理信息 + 硬件感知算法 + 更简单的SSM架构。]]></description><category></category></item><item><title><![CDATA[【大模型】deepseek]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/145960047</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/145960047</guid><author>idiotyi</author><pubDate>Sun, 02 Mar 2025 17:23:53 +0800</pubDate><description><![CDATA[DeepSeek系列模型包括DeepSeek LLM、DeepSeek-VL等，DeepSeek-R1和DeepSeek-R1-Zero是在DeepSeek-V3-Base的基础上训练得到的基准模型。]]></description><category></category></item><item><title><![CDATA[【文献阅读】Transfer Learning For Text Classification Via Model Risk Analysis]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/142742392</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/142742392</guid><author>idiotyi</author><pubDate>Mon, 07 Oct 2024 23:19:18 +0800</pubDate><description><![CDATA[本文是以文本分类的迁移学习任务为例，对风险分析模型的整体框架流程做梳理。]]></description><category></category></item><item><title><![CDATA[【Linux服务器】git和github交互使用]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/142586373</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/142586373</guid><author>idiotyi</author><pubDate>Fri, 27 Sep 2024 10:29:54 +0800</pubDate><description><![CDATA[有时候pycharm连接不上github，还是得命令行操作。]]></description><category></category></item><item><title><![CDATA[【文献阅读】AdaLora: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141936786</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141936786</guid><author>idiotyi</author><pubDate>Thu, 05 Sep 2024 18:40:03 +0800</pubDate><description><![CDATA[矩阵分解为什么可以加速推理假设原始权重矩阵W∈Rm∗nW∈Rm∗n，矩阵乘法中时间复杂度为mn，变形为WBAB∈Rm∗rA∈Rr∗nWBAB∈Rm∗rA∈Rr∗n，则时间复杂度变为mr+r*n。]]></description><category></category></item><item><title><![CDATA[【文献阅读】VAE：Variational Autoencoder]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141889114</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141889114</guid><author>idiotyi</author><pubDate>Wed, 04 Sep 2024 16:48:11 +0800</pubDate><description><![CDATA[生成模型。]]></description><category></category></item><item><title><![CDATA[【大模型】Agent基础知识]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141780750</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141780750</guid><author>idiotyi</author><pubDate>Sun, 01 Sep 2024 11:30:57 +0800</pubDate><description><![CDATA[微调（Fine-tuning）智能体模型（Agent）是一种常见的方法，用于在特定任务或特定数据集上优化预训练模型的性能。各种智能体可以结合使用。]]></description><category></category></item><item><title><![CDATA[【大模型】Reflextion解读]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141715750</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141715750</guid><author>idiotyi</author><pubDate>Sat, 31 Aug 2024 17:24:19 +0800</pubDate><description><![CDATA[一种大模型强化学习技术，将传统的梯度更新时的参数信号替换成上下文的语言总结，过程和人类反思相似。区别与RLHF，Reflextion是agent自我反思，RLHF是人类反馈。]]></description><category></category></item><item><title><![CDATA[【大模型】LangChain基础学习]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141719591</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141719591</guid><author>idiotyi</author><pubDate>Sat, 31 Aug 2024 16:51:30 +0800</pubDate><description><![CDATA[LangChain是一个用于构建端到端语言模型应用的框架。]]></description><category></category></item><item><title><![CDATA[【大模型】GPT系列模型基础]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141678980</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141678980</guid><author>idiotyi</author><pubDate>Thu, 29 Aug 2024 20:00:37 +0800</pubDate><description><![CDATA[GPT整体上与transformer结构相似，但只用了decoder部分。]]></description><category></category></item><item><title><![CDATA[【大模型】chatglm系列模型基础]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141673077</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141673077</guid><author>idiotyi</author><pubDate>Thu, 29 Aug 2024 14:44:12 +0800</pubDate><description><![CDATA[2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测2，GLM-130B 是亚洲唯一入选的大模型。GLM-130B 在准确性和恶意性指标上与 GPT-3 175B持平。chatglm1，2，3代在模型架构上基本一样，本文主要讲解模型结构。]]></description><category></category></item><item><title><![CDATA[【大模型】llama系列模型基础]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141641350</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141641350</guid><author>idiotyi</author><pubDate>Wed, 28 Aug 2024 22:18:28 +0800</pubDate><description><![CDATA[llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。]]></description><category></category></item><item><title><![CDATA[【大模型】triton inference server]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141368821</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141368821</guid><author>idiotyi</author><pubDate>Tue, 20 Aug 2024 21:48:56 +0800</pubDate><description><![CDATA[triton inference server常用于大模型部署，可以采用http或GRPC调用，支持大部分的 backend，单GPU、多GPU都可以支持，CPU也支持。本文主要是使用triton inference server部署大模型的简单流程示例。]]></description><category></category></item><item><title><![CDATA[【大模型】llama-factory基础学习]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/141028477</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/141028477</guid><author>idiotyi</author><pubDate>Thu, 08 Aug 2024 16:22:08 +0800</pubDate><description><![CDATA[llama-factory支持json格式文件，自定义数据集中每条数据格式如下：“prompt”: “介绍一下苹果”,“response”: “苹果公司（Apple Inc.），是一家美国跨国科技公司，总部位于加利福尼亚州库比蒂诺。"demo": {demo是映射后使用的数据集别名，file_name是数据集路径，file_sha1不是必需的，但是可以缓存预处理后的数据集，避免二次训练时重新预处理，sha1的生成可以通过终端运行shasum -a 1 filename（linux命令）]]></description><category></category></item><item><title><![CDATA[【大模型】提示工程基础学习]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/140263181</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/140263181</guid><author>idiotyi</author><pubDate>Tue, 09 Jul 2024 11:27:52 +0800</pubDate><description><![CDATA[即自动地为通过输出示例指定的任务生成指令：通过直接推理或基于语义相似性的递归过程生成几个候选指令，用目标模型执行它们，并根据计算出的评估分数选择最合适的指令。RAG 会接受输入并检索出一组相关/支撑的文档，并给出文档的来源（例如维基百科）。这些文档作为上下文和输入的原始提示词组合，送给文本生成器得到最终的输出。接下来是第二阶段的答案推断，它利用生成的理性信息。通过构建特定的提示语句，引导模型从已有的知识库中提取、整合并生成新的、有用的知识内容。手动添加的方式效果更好，但零样本的CoT更方便。]]></description><category></category></item><item><title><![CDATA[【大模型】Vllm基础学习]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/139991011</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/139991011</guid><author>idiotyi</author><pubDate>Wed, 26 Jun 2024 16:21:21 +0800</pubDate><description><![CDATA[vllm是一个大语言模型高速推理框架，旨在提高大模型的服务效率。优势是内存管理，实现的核心是pageattetion算法。仅在gpu上加速，不在cpu加速。]]></description><category></category></item><item><title><![CDATA[【Linux】pycharm&git相关操作]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/139655240</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/139655240</guid><author>idiotyi</author><pubDate>Sun, 16 Jun 2024 12:57:03 +0800</pubDate><description><![CDATA[在个人的github页面上点击【settings】->【developer settings】->【personal access tokens】-> 【tokens】->【generate new tokens】【vcs】-> 【checkout from version control】->【git】，输入http远程仓库地址，地址可以在github界面获取。pycharm界面【settings】 -> 【version control】 -> 【github】，使用github的账号密码登录。]]></description><category></category></item><item><title><![CDATA[【文献阅读】LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/139494234</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/139494234</guid><author>idiotyi</author><pubDate>Fri, 07 Jun 2024 10:27:59 +0800</pubDate><description><![CDATA[adapter-based的方法通常是利用一个MLP或者一个prefix-based方法，导致模型不允许长序列的输入。不同于adapter-based的方法，LORA是针对原始模型训练的。LORA微调时，我们可以通过设置r来达到恢复全量微调的效果。因为LORA在适应过程中不要求对权重矩阵的累积梯度更新具有完整的秩。这个缩放可以减小当r改变时，我们重新微调参数的需要。对于不同的下游任务，只用计算BA和其变化量的差值就可以了。对于A采用一个随机的高斯初始化，对于B采用0初始化。]]></description><category></category></item><item><title><![CDATA[【大数据与云计算】虚拟机安装Linux]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/137727020</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/137727020</guid><author>idiotyi</author><pubDate>Sat, 13 Apr 2024 23:36:35 +0800</pubDate><description><![CDATA[使用Linux系统对大数据学习必不可少，本文主要介绍虚拟机安装linux的流程。]]></description><category></category></item><item><title><![CDATA[【springboot开发】Gradle VS Maven]]></title><link>https://blog.youkuaiyun.com/idiotyi/article/details/137590243</link><guid>https://blog.youkuaiyun.com/idiotyi/article/details/137590243</guid><author>idiotyi</author><pubDate>Wed, 10 Apr 2024 11:53:04 +0800</pubDate><description><![CDATA[AntMavenGradlegradle使用了Groovy作为配置文件，相较于maven的pom文件更加灵活Gradle和Maven都支持并行的项目构建和依赖解析。但是gradle的三个特点让gradle可以跑的比maven快上一点：增量构建构建缓存Gradle守护进程Gradle非常灵活，并且基于脚本。自定义构建将很容易在Gradle上完成。Gradle功能更强大。但是，有时候一个中小型的项目不需要它提供的大多数功能，则Maven可能就是最佳选择。]]></description><category></category></item></channel></rss>