<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[guofei_fly的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/guofei_fly</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; guofei_fly]]></copyright><item><title><![CDATA[【InternLM】基于弱智吧数据的微调数据构造实验]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/138290815</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/138290815</guid><author>guofei_fly</author><pubDate>Sun, 28 Apr 2024 22:12:36 +0800</pubDate><description><![CDATA[如果“兑”的结果是将一种液体与另一种液体混合，并且混合后的液体中水分的含量低于原来的液体，那么我们可以推断出“兑”的结果是得到了“稀水”。2.]]></description><category></category></item><item><title><![CDATA[【InternLM】大模型的评测——OpenCompass]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/138115067</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/138115067</guid><author>guofei_fly</author><pubDate>Tue, 23 Apr 2024 14:04:20 +0800</pubDate><description><![CDATA[大模型开源开放评测体系 “司南” (OpenCompass2.0)由上海人工智能实验室科学家团队发布，用于为大语言模型、多模态模型等提供一站式评测服务。其主要特点如下：开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。]]></description><category></category></item><item><title><![CDATA[【InternLM】Lagent智能体应用搭建]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/138064647</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/138064647</guid><author>guofei_fly</author><pubDate>Tue, 23 Apr 2024 10:27:22 +0800</pubDate><description><![CDATA[继承 BaseAction 类;实现简单工具的 run 方法；或者实现工具包内每个子工具的功能;简单工具的 run 方法可选被 tool_api 装饰；工具包内每个子工具的功能都需要被 tool_api 装饰参照官方示例进行部署，实现一个调用和风天气 API 的工具以完成实时天气查询的功能。问题1：请帮我查询今天上海的天气问题2：请帮我查询4月23日到4月25日上海的天气情况API似乎不支持这种天气范围的查询AgentLego 在这方面提供了较为详尽的文档，文档地址为。]]></description><category></category></item><item><title><![CDATA[【InternLM】XTuner微调LLM]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/137822380</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/137822380</guid><author>guofei_fly</author><pubDate>Mon, 22 Apr 2024 09:05:07 +0800</pubDate><description><![CDATA[LLM大模型的参数量以B（10亿）为单位，动辄迁百亿、千亿。如何在已经训练好的、性能优异的底座模型基础上，通过微调的方式，来实现对模型的性能优化、知识注入、领域迁移和风格对齐等调整，是一件非常有使用场景的工作。Xtuner是上海人工智能实验室推出的用于LLM微调的一站式工具，其：1）模型方面：支持InternLM、Qwen、Baichuan、ChatGLM等国内主流开源大模型，以及Llama、Mixtral和Gemma等国外优秀开源大模型；]]></description><category></category></item><item><title><![CDATA[【InternLM】LMDeploy部署实践]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/137625429</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/137625429</guid><author>guofei_fly</author><pubDate>Tue, 16 Apr 2024 09:03:28 +0800</pubDate><description><![CDATA[LMDeploy高效的推理速度。通过引入持久批处理(即连续批处理)、阻塞 KV 缓存、动态拆分与融合、张量并行、高性能 CUDA 内核等关键特性，提供了比 vLLM 高1.8倍的请求吞吐量；vLLM是一款开源的被广泛使用的大模型推理库，其支持大量的Hugging Face模型， LMDeploy广泛将vLLM作为对比对象)高效的量化策略。LMDeploy支持权重和KV量化，INT4量化的推理速度是FP16的2.4被。量化效果已经得到了OpenCompass评估的验证。方便的分布式部署。]]></description><category></category></item><item><title><![CDATA[【InternLM】茴香豆：搭建你的RAG智能助理]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/137456365</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/137456365</guid><author>guofei_fly</author><pubDate>Wed, 10 Apr 2024 10:42:50 +0800</pubDate><description><![CDATA[是 InternLM开源的基于 LLM的群聊知识助手，其提供了一整套前后端 web、android、算法源码，支持工业级商用。其最低运行运行成本低至 1.5G 显存，无需训练适用各行业。]]></description><category></category></item><item><title><![CDATA[【InternLM】轻松玩转书生·浦语大模型趣味 Demo]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/137275406</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/137275406</guid><author>guofei_fly</author><pubDate>Tue, 02 Apr 2024 23:14:33 +0800</pubDate><description><![CDATA[该chat-model是利用《西游记》剧本中所有关于猪八戒的台词和语句，以及Chat-GPT-3.5生成的相关问题结果，基于InternLM2-chat-1.8b进行全量微调得到的模仿猪八戒语气的聊天语言模型。在第一期实战营中，部分学员运用 InternLM2-Chat-1.8B 模型进行微调训练，产生了一些效果不错的role play模型，本期给出的示例是。是上海人工智能实验室提供的18亿参数“小体量”语言模型，共有三组模型（base model、经过STF的模型和经过指令对其的chat model）]]></description><category></category></item><item><title><![CDATA[【InternLM】书生·浦语大模型全链路开源开放体系]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/137126741</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/137126741</guid><author>guofei_fly</author><pubDate>Fri, 29 Mar 2024 10:14:13 +0800</pubDate><description><![CDATA[介绍了“书生·浦语”大规模语言模型的开源生态系统，涵盖InternLM2模型、数据源、训练、调优、部署、评估和应用。InternLM2模型：目前开源的有InternLM2-7B和InternLM2-20B，支持20w token的上下文窗口；在推理、数学和代码等任务上的评测比肩ChatGPT；优秀的对话和创作体验；支持多种工具多轮调用。数据：在发布了6000+数据集，为中国大模型语料数据联盟开源数据服务指定平台，最新发布了万卷-CC的1T token的高质量英文网络文本数据集。]]></description><category></category></item><item><title><![CDATA[【OpenMMLab】模型训练常见策略]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/128887182</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/128887182</guid><author>guofei_fly</author><pubDate>Sat, 04 Feb 2023 23:55:51 +0800</pubDate><description><![CDATA[深度学习模型训练常见策略]]></description><category></category></item><item><title><![CDATA[【OpenMMLab】图片分类发展简史]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/128877481</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/128877481</guid><author>guofei_fly</author><pubDate>Fri, 03 Feb 2023 23:49:36 +0800</pubDate><description><![CDATA[图片分类发展历史]]></description><category></category></item><item><title><![CDATA[【OpenMMLab】框架算法体系]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/128842827</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/128842827</guid><author>guofei_fly</author><pubDate>Thu, 02 Feb 2023 00:51:21 +0800</pubDate><description><![CDATA[简单介绍openmmlab框架]]></description><category></category></item><item><title><![CDATA[【论文解析】从头开始打造Transformer]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/108683306</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/108683306</guid><author>guofei_fly</author><pubDate>Sat, 19 Sep 2020 17:27:56 +0800</pubDate><description><![CDATA[在谷歌大作Attention is all you need中提出了一种基于seq2seq架构的self-attention特征抽取机制，兼具CNN的并行化优点和RNN的长距离依赖特点，成为后续以MLM为主要任务的Bert、Roberta、albert预训练模型（利用Transformer中的Encode block）以及以AR-ML为主要任务GPT系列模型（利用Transformer中的Decode block）的主要模块，并在各类任务上取得了前所未有的成功。
本博客在Transformer浅析一文中已经]]></description><category></category></item><item><title><![CDATA[【NLP工具】和文本处理相关的Linux命令小结]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/108672695</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/108672695</guid><author>guofei_fly</author><pubDate>Sat, 19 Sep 2020 13:18:11 +0800</pubDate><description><![CDATA[1. cat/head/tail
显示文件开头或结尾的若干行
cat -n 5 1.txt   # 显示前5行
cat -n -5 1.txt   # 显示非前5行的其它行

head -n 5 1.txt   # 显示前5行

tail -n 5 1.txt   # 显示末尾5行

2. grep
用于文本内容查找，可在一个或多个文件中搜索并返回符合指定字符串模板的行。
grep的命令行格式为grep [选项] pattern file，其中pattern即是字符串模板（支持正则表达式）,file是路径或]]></description><category></category></item><item><title><![CDATA[[Pytorch] spatial dropout的实现]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/108561847</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/108561847</guid><author>guofei_fly</author><pubDate>Sun, 13 Sep 2020 14:04:52 +0800</pubDate><description><![CDATA[dropout是神经网络中一种常用的正则化技术，其通过随机失活神经元元素，降低单元之间的相互依赖关系，从而降低过拟合的风险。实验表明，在Embedding层和CNN层后直接使用常规的dropout策略，效果并不显著，其原因可能：完全随机的dropout的无序性有损于神经元间的空间关联性，从而降低其捕捉特征的能力。因此学者们提出了一种在某些轴上完全dropout的策略，即spatial dropout。
以Embedding层（张量维度为batch*timesteps*embedding）后的dropout为]]></description><category></category></item><item><title><![CDATA[【NLP工具】Vim常用命令小结]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/108372653</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/108372653</guid><author>guofei_fly</author><pubDate>Sun, 06 Sep 2020 13:07:59 +0800</pubDate><description><![CDATA[Vim是解决文本快速处理（尤其是服务器端）的神器，本文简单总结下常用的命令。
0. 配置文件
1. 基本概念和功能
1.1 模式
1.2 界面设置
:set number   显示各行行号,  set nonumber取消该功能
:set list   显示制表符和行末,  set nolist取消该功能
:set fileencoding  查看当前文件编码
:e ++enc=gb18003  强制采用某种编码重新打开本文档（临时的）
2. 光标移动
2.1 行内移动
-&gt;  右箭头，向右逐字符移动]]></description><category></category></item><item><title><![CDATA[【python基础】python中下划线的应用场景]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/108134628</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/108134628</guid><author>guofei_fly</author><pubDate>Thu, 20 Aug 2020 21:36:48 +0800</pubDate><description><![CDATA[python中普遍在变量或方法命名时使用单下划线_或双下划线__的定义方式，本文介绍五种下划线模式。
1. 前单下划线_var
这是PEP8的一种规定：即用来表示内部变量或方法。仅用作提醒，并不影响其调用。
但注意作为外部模块被导入时，若采用通配符（即from xxx import *），前单下划线的变量或方法无法被导入，除非该外部模块中定义了包含该变量或方法的__all__列表。
2. 后单下划线var_
用来定义变量名或函数名时，防止与内置关键字冲突，如定义变量class_。
3. 前双下划线__var]]></description><category></category></item><item><title><![CDATA[【python进阶】模仿scikit-learn打造fit和transform流水线]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/107952858</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/107952858</guid><author>guofei_fly</author><pubDate>Wed, 12 Aug 2020 11:51:03 +0800</pubDate><description><![CDATA[scikit-learn中为各preprocessor、classsifier和estimatior涉及了统一的fit、transform和fit_transform接口，方便了用户的理解和调用。本文模拟其设计理念，设计了一套fit和transform流水线。
import typing
import abc
import functools
import numpy as np


def transform_validate(func: typing.Callable):
    @functools.]]></description><category></category></item><item><title><![CDATA[【python基础】h5py库的基本使用]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/107856693</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/107856693</guid><author>guofei_fly</author><pubDate>Sat, 08 Aug 2020 17:21:20 +0800</pubDate><description><![CDATA[一个HDF5文件是一种存放两类对象的容器：dataset和group. Dataset是类似于数组的数据集，而group是类似文件夹一样的容器，存放dataset和其他group。在使用h5py的时候需要牢记一句话：groups类比词典，dataset类比Numpy中的数组。

...]]></description><category></category></item><item><title><![CDATA[利用深度学习进行生存分析——DeepSuv模型小结]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/107867903</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/107867903</guid><author>guofei_fly</author><pubDate>Sat, 08 Aug 2020 14:07:30 +0800</pubDate><description><![CDATA[局部似然（partial likelihood）：L=\prod\limits_{i:E_i=1}\frac{\exp^{\hat h_\theta(x_i)}}{\sum\limits_{j\in R(T_i)}\exp^{\hat h_\theta(x_j)}}
其中i,j均为样本编号，E=1表示终止事件（死亡、复发）发生；R(T_i)表示满足T_j&gt;T_i条件，对应的损失函数（定义为neg log partial likelihood loss）：l=-\log L=-\sum\limits_{]]></description><category></category></item><item><title><![CDATA[【python基础】装饰器@property]]></title><link>https://blog.youkuaiyun.com/guofei_fly/article/details/107827316</link><guid>https://blog.youkuaiyun.com/guofei_fly/article/details/107827316</guid><author>guofei_fly</author><pubDate>Thu, 06 Aug 2020 19:58:01 +0800</pubDate><description><![CDATA[在装饰器详解中介绍了装饰器的基本用法，而python语言中内置了一些装饰器，本文介绍在类的方法定义中常用的装饰器: @property

]]></description><category></category></item></channel></rss>