<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[dooooos的修炼之地]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dooooos</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dooooos]]></copyright><item><title><![CDATA[书生浦语大模型实战营-课程笔记（6）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136180704</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136180704</guid><author>dooooos</author><pubDate>Tue, 20 Feb 2024 00:26:56 +0800</pubDate><description><![CDATA[opencompass的整体流程。这个飞书状态上报功能后续可以试试。模型评测的意义与方式。有点类似论文里大家用来比较性能的公开数据集。评测用于减少社会风险这个角度确实没想到过，学到了。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程作业（6）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136180686</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136180686</guid><author>dooooos</author><pubDate>Tue, 20 Feb 2024 00:21:41 +0800</pubDate><description><![CDATA[这次作业比较简单，用现成的模型和测试集跑一下推理就行了。主要熟悉一下OpenCompass用于评测模型性能。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程作业（5）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136180674</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136180674</guid><author>dooooos</author><pubDate>Tue, 20 Feb 2024 00:19:37 +0800</pubDate><description><![CDATA[之前作业里尝试过web_demo的部署方式了，这次直接简单点用了命令行本地对话。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程笔记（5）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136180650</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136180650</guid><author>dooooos</author><pubDate>Tue, 20 Feb 2024 00:18:29 +0800</pubDate><description><![CDATA[移动端竟然也可以部署LLM。之前以为只能在服务端部署，移动端作为客户端发起请求来调用大模型。LLM部署特点，内存开销大，TOKEN数量不确定。LMDeploy用于模型量化。量化主要作用：降低现存开销。模型量化：降低内存消耗。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程作业（4）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136144093</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136144093</guid><author>dooooos</author><pubDate>Sun, 18 Feb 2024 00:28:29 +0800</pubDate><description><![CDATA[作业教程里的文件路径好像有点小问题，遇到了点坑。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程笔记（4）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136130301</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136130301</guid><author>dooooos</author><pubDate>Sat, 17 Feb 2024 16:20:26 +0800</pubDate><description><![CDATA[2.训练时数据为一问一答的形式（input和output）微调分为两种，增量预训练和指令跟随。只需要output的数据进行训练。操作部分的笔记参考git上的文档。1.只对答案计算Loss。xtuner:微调框架。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程笔记（3）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136123998</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136123998</guid><author>dooooos</author><pubDate>Thu, 15 Feb 2024 22:10:25 +0800</pubDate><description><![CDATA[区别在于生成了这个prompt，猜测是用数据库里最接近的向量来辅助模型找出答案。涉及了文本相似度匹配，是不是和传统的问答系统（直接匹配数据库）有点类似？本节课主要是跟着教程做的，操作的东西放到作业里记录了。RAG=外挂知识库？优点是成本低，不用重新训练。langchain的介绍，用来构建LLM应用。这里主要记录一些视频里讲的非操作性的东西。RAG的一个整体流程。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程作业（3）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136123941</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136123941</guid><author>dooooos</author><pubDate>Thu, 15 Feb 2024 22:04:25 +0800</pubDate><description><![CDATA[不知道为啥我这里是白色的，看视频是黑色的。但猜测应该是gradio框架设置的问题，导致前端显示不太一样，反正不影响模型，问题不大。下载sentence_transformer的代码运行情况。sentence_transformer用于embedding（转向量）本地构建持久化向量数据库。就是把txt和md文件抽取出纯文本，分割成定长（500）后转换成向量，保存到本地，称为知识库构建。把InternLM 接入 LangChain，然后构建检索问答链。最后用Gradio做成一个网页的demo。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程作业（2）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136117119</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136117119</guid><author>dooooos</author><pubDate>Wed, 14 Feb 2024 23:12:35 +0800</pubDate><description><![CDATA[hugging face下载模型（过年在家实在没电脑用，只好用开发机了抱歉。生成了一个DOTA2的小故事。玩黑鸟使人目光呆滞.jpg。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程笔记（2）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136117077</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136117077</guid><author>dooooos</author><pubDate>Wed, 14 Feb 2024 23:10:19 +0800</pubDate><description><![CDATA[web_demo启动方式（主要不是直接用python运行，需要streamlit run）InternLm是训练框架，Lagent是智能体框架。Lagent是智能体框架，相当于LLM的应用。这个预训练需要这么多算力，大模型确实花钱。介绍了一下InternLm的总体情况。hugging face下载模型的代码。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营-课程笔记（1）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/136117010</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/136117010</guid><author>dooooos</author><pubDate>Wed, 14 Feb 2024 23:03:57 +0800</pubDate><description><![CDATA[模型应用过程，大致还是了解的。和之前实习做CV项目的时候比起来，多了智能体这个环节。8G内存就能做微调。比想象中算力需求低了一点点，但还是得靠企业才能玩。评测单独拿出来讲了，感觉很重要？我理解就类似于以前论文里的公开数据集？类似上张图，智能体不太清楚。感觉是偏应用而不是模型的东西？数据集类型很多，有文本/图片/视频。所以大模型=多模态？安全性单独列了出来，确实现在算法公平性这块越发严格。所以智能体其实是在LLM外面套了一层用来应用。这个部署做性能优化感觉很厉害。这个和CV做的好像差不多。]]></description><category></category></item><item><title><![CDATA[Linux常用命令]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/109469340</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/109469340</guid><author>dooooos</author><pubDate>Mon, 28 Dec 2020 21:40:11 +0800</pubDate><description><![CDATA[1.返回上级目录

cd..

2.创建文件夹

mkdir [选项] DirName



3.创建软连接

ln -s file1 file1new
]]></description><category></category></item><item><title><![CDATA[Linux wipe工具]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/111866250</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/111866250</guid><author>dooooos</author><pubDate>Mon, 28 Dec 2020 14:52:04 +0800</pubDate><description><![CDATA[1.wipe是一种小命令，能够安全删除磁性媒介上的文件，该命令能够在各种unix平台进行汇编，包括Linux 2.*、(Open+Net+Free)BSD、 aix 4.1、 SunOS 5.5.1以及Solaris 2.6等。从磁性媒介上恢复已经被擦除的数据要比人们想象的容易得多，一种称为“Magnetic Force Microscopy (MFM)”的技术能够恢复写入磁盘的最后2层或者3层的数据。而wipe命令能够向已删除的文件反复写入特殊图案，使用fsync() call和/或 O_SYNC bit]]></description><category></category></item><item><title><![CDATA[Linux Shred命令]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/111859793</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/111859793</guid><author>dooooos</author><pubDate>Mon, 28 Dec 2020 14:07:28 +0800</pubDate><description><![CDATA[我们大多数时候总是使用 rm 命令来删除文件。但是文件去哪儿了呢？真相是 rm 命令所做的事情并不是像你所想像的那样，它仅仅删除了文件系统和硬盘上的数据的硬链接。硬盘上的数据依旧存在，直到被另一个应用重写覆盖。对于非常敏感的数据来说，这会带来一个很大的安全隐患。shred 命令是 rm 命令的升级版。当你使用 shred 命令删除一个文件之后，文件中的数据会被多次随机覆写。甚至有一个选项可以在随机覆写之后对所有的数据进行清零。
参数
-f, --force 必要时修改权限以使目标可写
-n, --iter.]]></description><category></category></item><item><title><![CDATA[Java LC刷题注意点]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/109154212</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/109154212</guid><author>dooooos</author><pubDate>Mon, 19 Oct 2020 09:07:54 +0800</pubDate><description><![CDATA[以前一般用C++刷题，现在转JAVA了。
仅以此文记录一些语法上的差别
1.Java里的布尔值 boolean
2.Java中定义栈
Stack st1 = new Stack();

]]></description><category></category></item><item><title><![CDATA[ML笔记（一）]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/108353233</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/108353233</guid><author>dooooos</author><pubDate>Mon, 19 Oct 2020 09:05:56 +0800</pubDate><description><![CDATA[线性回归的代价函数永远是凸函数
即只有全局最优，无局部最优




]]></description><category></category></item><item><title><![CDATA[操作系统复习（八）[王道]]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/105827208</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/105827208</guid><author>dooooos</author><pubDate>Wed, 29 Apr 2020 15:08:47 +0800</pubDate><description><![CDATA[第5章 输入/输出（I/O）管理
1.I/O控制方式

程序直接控制方式
中断驱动方式：I/O控制器与存储器之间的数据传输必须经过CPU，仍会消耗较多的CPU时间。
DMA方式：
通道控制方式

2.I/O子系统


...]]></description><category></category></item><item><title><![CDATA[操作系统复习（七）[王道]]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/105779168</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/105779168</guid><author>dooooos</author><pubDate>Tue, 28 Apr 2020 00:25:25 +0800</pubDate><description><![CDATA[第四章.文件管理
1.文件逻辑结构
（1）无结构文件（流式文件）
（2）有结构文件（记录式文件）
1.顺序文件
2.索引文件



文件控制块（FCB）：包含文件基本信息（文件名，物理位置），存取控制信息（存取权限），使用信息（建立时间，修改时间）
文件目录：FCB的有序集合



索引结点：有的系统采用文件名与文件描述信息分开的方式，文件描述信息单独形成一个称为索引结点的数据结构。简称i结点
4...]]></description><category></category></item><item><title><![CDATA[操作系统复习（六）[王道]]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/105750995</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/105750995</guid><author>dooooos</author><pubDate>Sun, 26 Apr 2020 21:00:02 +0800</pubDate><description><![CDATA[第3章.内存管理
1.程序装入内存的过程
（1）编译：有源代码-&gt;目标模块
（2）链接：将目标模块与库函数相链接,形成完整装入模块
静态链接:程序运行前进行链接,以后不再拆开
装入时动态链接:将目标模块装入内存时,边装入边链接
运行时动态链接:运行时,装入需要的目标模块

（3）装入:由装入程序将装入模块装入内存运行
  绝对装入:程序中的逻辑地址与实际内存地址完全相同.只适用于单道程序环境...]]></description><category></category></item><item><title><![CDATA[操作系统复习（五）[王道]]]></title><link>https://blog.youkuaiyun.com/dooooos/article/details/105716658</link><guid>https://blog.youkuaiyun.com/dooooos/article/details/105716658</guid><author>dooooos</author><pubDate>Sat, 25 Apr 2020 14:55:50 +0800</pubDate><description><![CDATA[第二章.操作系统
2.2处理机调度
1.调度层次
（1）高级调度（作业调度）：从外存的后备队列挑选作业，为它分配内存、建立进程。作业调度是外存与内存之间的调度。
（2）中级调度（内存调度）：将不能运行的进程调至外存（即挂起），这时进程进入挂起态。当内存有空闲时，由中级调度决定将外存上的哪些进程调入内存，放入就绪队列（唤醒）。
（3）低级调度（进程调度）：负责从就绪队列选进程，将CPU分配给它。
2...]]></description><category></category></item></channel></rss>