<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[burstone的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/burstone</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; burstone]]></copyright><item><title><![CDATA[open manus实战：生成一个贪吃蛇游戏]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/152668014</link><guid>https://blog.youkuaiyun.com/burstone/article/details/152668014</guid><author>burstone</author><pubDate>Tue, 07 Oct 2025 22:31:38 +0800</pubDate><description><![CDATA[*OpenManus** 是一个开源的 AI 代理框架和智能助手平台，专注于提供强大的自动化和智能任务处理能力。openmanus简要介绍如下：1. 智能代理系统- **模块化代理架构** - 可扩展的代理基础框架- **多代理协作** - 支持多个 AI 代理协同工作- **任务分解** - 复杂任务的自动分解和执行2. 多模型支持- **统一 LLM 接口** - 支持多种大语言模型- **模型抽象层** - 方便切换不同的 AI 提供商。]]></description><category></category></item><item><title><![CDATA[大语言模型（3）--GPT-2]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/144317685</link><guid>https://blog.youkuaiyun.com/burstone/article/details/144317685</guid><author>burstone</author><pubDate>Sat, 07 Dec 2024 21:54:31 +0800</pubDate><description><![CDATA[GPT-2（《Language Models are Unsupervised Multitask Learners》）是继GPT-1之后的第二个开源版本（考虑到技术滥用的担心只发布了mini版本），它的训练语料与参数比GPT-1多了一个数量级。正如题目，它是一个无监督、无领域知识调优的模型，然而在阅读理解、摘要生成、翻译、问答等方面可以超过多个领域下调优的已知模型。]]></description><category></category></item><item><title><![CDATA[大语言模型（2）--GPT-1]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/144302158</link><guid>https://blog.youkuaiyun.com/burstone/article/details/144302158</guid><author>burstone</author><pubDate>Fri, 06 Dec 2024 23:15:28 +0800</pubDate><description><![CDATA[GPT-1是由OpenAI在2018年推出的第一代生成式预训练模型（《Improving Language Understanding by Generative Pre-Training》），它采用了无监督预训练和有监督微调相结合的方法，以增强模型的通用任务求解能力。在此之前，NLP领域的深度模型主要采用监督学习，从大量手动标记的数据中进行学习。这种对监督学习的依赖限制了它们对未充分注释的数据集的使用，训练超大模型的成本过高且耗时。]]></description><category></category></item><item><title><![CDATA[大语言模型（1）--LLaMA]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/144162781</link><guid>https://blog.youkuaiyun.com/burstone/article/details/144162781</guid><author>burstone</author><pubDate>Sat, 30 Nov 2024 23:01:43 +0800</pubDate><description><![CDATA[LLaMA（Large Language Model Meta AI）是由Meta AI于2023年2月发布的大语言系列模型，它应该是近两年来影响力最大的自然语言处理大模型。在它的带动下，雨后春笋般地涌现出来不同语言、不同领域下的各种大模型。值得注意的是，最早Meta在非商业许可的情况下发布了LLaMA的模型权重，仅供研究人员参考和使用。直到2023年7月，Meta推出LLaMA2，它是可用于商业应用的开源AI模型。]]></description><category></category></item><item><title><![CDATA[多模态大模型（5）--LLaVA]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143998990</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143998990</guid><author>burstone</author><pubDate>Sat, 23 Nov 2024 21:06:26 +0800</pubDate><description><![CDATA[人类通过如视觉、语言、听觉等多种渠道与世界互动，每个单独的渠道在表示和传达某些概念时都有其独特的优势，人工智能（AI）的一个核心愿景是开发一个能够有效遵循多模态视觉和语言指令的通用助手，与人类意图一致，可以完成各种现实世界任务。本文介绍另外一篇基于BLIP的多模态大模型LLaVA（Large Language and Vision Assistant），这是一个端到端训练的大型多模态模型，同时，首次引入仅使用语言训练的GPT-4，生成多模态语言-图像，通过指令调优构建通用视觉-语言模型。下面详细解读。]]></description><category></category></item><item><title><![CDATA[多模态大模型（4）--InstructBLIP]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143957315</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143957315</guid><author>burstone</author><pubDate>Thu, 21 Nov 2024 23:16:21 +0800</pubDate><description><![CDATA[最新的大模型、AIGC、自动对话等系列技术介绍，持续更新中。]]></description><category></category></item><item><title><![CDATA[多模态大模型（3）--BLIP-2]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143897958</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143897958</guid><author>burstone</author><pubDate>Tue, 19 Nov 2024 23:11:11 +0800</pubDate><description><![CDATA[大模型如火如荼，研究者们已经不再满足于基本文本的大语言模型（LLM, Large Language Model），AI领域的热点正逐步向多模态转移，具备多模态能力的多模态大型语言模型（MM（Multi-Modal）-LLM）就成了一个备受关注的研究主题。]]></description><category></category></item><item><title><![CDATA[多模态大模型（2）--BLIP]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143782646</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143782646</guid><author>burstone</author><pubDate>Thu, 14 Nov 2024 22:40:34 +0800</pubDate><description><![CDATA[大模型如火如荼，研究者们已经不再满足于基本文本的大语言模型（LLM, Large Language Model），AI领域的热点正逐步向多模态转移，具备多模态能力的多模态大型语言模型（MM（Multi-Modal）-LLM）就成了一个备受关注的研究主题。BLIP（Bootstrapping Language-Image Pretraining）是由Salesforce在2022年提出的多模态预训练模型，它旨在统一视觉语言任务的理解与生成能力，并通过对噪声数据的处理来提高模型性能。]]></description><category></category></item><item><title><![CDATA[多模态大模型（1）--CLIP]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143754714</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143754714</guid><author>burstone</author><pubDate>Wed, 13 Nov 2024 23:04:38 +0800</pubDate><description><![CDATA[CLIP的创新之处在于，它能够将图像和文本映射到一个共享的向量空间中，从而使得模型能够理解图像和文本之间的语义关系。这种共享的向量空间使得CLIP在图像和文本之间实现了无监督的联合学习，从而可以用于各种视觉和语言任务。]]></description><category></category></item><item><title><![CDATA[推荐系统评价指标（2）：MAP与NDCG]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143697772</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143697772</guid><author>burstone</author><pubDate>Mon, 11 Nov 2024 23:13:08 +0800</pubDate><description><![CDATA[定义：AP（Average Precision），它衡量的是推荐系统对于单个用户的排序质量，AP表示了对一个给定的用户，其推荐列表中相关项目的平均精度。例如，对于一个用户，其真实的兴趣列表中有3个项目，推荐系统为该用户推荐了6个项目：[1, 0, 1, 0, 1, 0]，其中三个1表示用户感兴趣的。可见，AP考虑了推荐列表中项目的位置，因此它是一个“顺序敏感”的指标，即推荐列表中相关项目的位置越靠前，其对AP的贡献越大。通常地，AP值越大，说明推荐系统对于该用户的相关项目排序越靠前，推荐效果越好。]]></description><category></category></item><item><title><![CDATA[推荐系统的评价指标（1）：准确率与召回率]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143666876</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143666876</guid><author>burstone</author><pubDate>Sun, 10 Nov 2024 21:13:07 +0800</pubDate><description><![CDATA[推荐系统的评价指标是用来衡量推荐系统性能的重要工具，它们可以帮助我们了解推荐系统的效果，并指导系统的优化和改进。一些常用的推荐系统评价指标包括准确率、召回率、MAP、NDCG等。]]></description><category></category></item><item><title><![CDATA[快速傅里叶变换（FFT）基础（附python实现）]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143634983</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143634983</guid><author>burstone</author><pubDate>Fri, 08 Nov 2024 21:11:29 +0800</pubDate><description><![CDATA[对于非专业人士，傅里叶变换一直是一个神秘的武器，它可以分析出不同频域的信息，从时域转换到频域，揭示了信号的频率成分，对于数字信号处理（DSP）、图像、语音等数据来说，傅里叶变换是最为基础，同时非常重要的分析工具。在处理真实世界的问题中，快速傅里叶变换（Fast Fourier Transform，FFT）是一种高效的算法，用于计算离散傅里叶变换（Discrete Fourier Transform，DFT）及其逆变换。]]></description><category></category></item><item><title><![CDATA[Transformer大模型加速简介(3)-InFormer]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143496311</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143496311</guid><author>burstone</author><pubDate>Mon, 04 Nov 2024 23:04:19 +0800</pubDate><description><![CDATA[通过上述这些方法，Informer模型不仅提高了长序列时间序列预测的效率，还保持了模型的预测能力，使其在实际应用中，因其在处理长序列时间序列预测问题中的高效性能，被应用于很有众多的领域：（1）金融方面：预测股票价格和市场趋势。Informer模型提出了一个生成式解码器，与概念上简单的逐步解码（step-by-step）不同，生成式解码器可以在一个前向操作中预测长序列输出，而不是逐步预测。因而，通过这种方式，Informer模型能够有效地处理长序列时间序列数据，同时保持较高的预测性能和较低的计算复杂度。]]></description><category></category></item><item><title><![CDATA[pairwise算法之rank svm]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143420067</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143420067</guid><author>burstone</author><pubDate>Thu, 31 Oct 2024 23:25:04 +0800</pubDate><description><![CDATA[比如，最常见的分类算法使用了point-wise，即一条样本对应一个label(0/1)，根据多条正负样本，使用交叉熵（cross entropy）等方法构建损失函数，来训练模型。在实际应用中，Rank SVM模型会处理更复杂的数据集，包含更多的特征和样本，以实现更准确的排序。其实，在针对实际问题的求解过程中，经常会在point-wise基础上引入一些pairwise的loss，实现两种方法的优缺互补，并且对数据分布进行更为细致的建模。● 缺点：只考虑了样本对的相对顺序，而忽略了整个列表的全局顺序信息。]]></description><category></category></item><item><title><![CDATA[大模型的表征学习方法简介]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143316049</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143316049</guid><author>burstone</author><pubDate>Mon, 28 Oct 2024 23:10:06 +0800</pubDate><description><![CDATA[比如，针对文本中的词、图像中的不同颜色、纹理或者卷积等，以及视频、声音等流式数据中的不同切片或者使用滤波器等处理后的各种特征进行学习，这样所有模态就可以向量化，进而feed到一个模型进行训练学习了。通过这些表征学习方法从不同维度（有无监督、自监督、基于图与掩码等）进行学习，大模型从而能够学习到更丰富、更鲁棒的特征表示，提高模型的性能和泛化能力。一般地，在大模型的训练过程中，都会加入对不同模态的表征学习，这样可以针对不同训练任务、不同模态进行向量化。]]></description><category></category></item><item><title><![CDATA[大模型中的归一化方法简介]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143259832</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143259832</guid><author>burstone</author><pubDate>Sat, 26 Oct 2024 21:18:15 +0800</pubDate><description><![CDATA[目前的大模型逐步在往多模态方向发展，底层处理了不同类型的数据（文本、图像、视频），因而，对模型的鲁棒性、性能等要求越来越高。在Transformer等各种不同的大模型中，归一化（Normalization）是提高模型训练稳定性和性能的关键技术，它在深度学习中对于提高模型的泛化能力起着至关重要的作用。本文简单介绍了归一化方法的作用，以及一些常见的归一化方法。值得一提的是，一些归一化方法（像RMSNorm），不仅使得模型有更好的效果，而且可以节省计算量因而，经常用于transformer等模型的加速。]]></description><category></category></item><item><title><![CDATA[Transformer大模型加速简介(2)-Linformer]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143221816</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143221816</guid><author>burstone</author><pubDate>Thu, 24 Oct 2024 23:03:23 +0800</pubDate><description><![CDATA[Transformer模型，即《Attention is All your Need》这一大作自从被提出以来，已经成为自然语言处理（NLP）和计算机视觉等领域的核心架构（详见 https://blog.youkuaiyun.com/burstone/article/details/143135395）。然而，由于其对计算和存储的高要求，对于长序列的处理存在很大的性能开销。]]></description><category></category></item><item><title><![CDATA[Transformer大模型加速简介(1)-稀疏注意力机制]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143194192</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143194192</guid><author>burstone</author><pubDate>Wed, 23 Oct 2024 21:39:40 +0800</pubDate><description><![CDATA[Transformer模型，即《Attention is All your Need》这一大作自从被提出以来，已经成为自然语言处理（NLP）和计算机视觉等领域的核心架构（详见 https://blog.youkuaiyun.com/burstone/article/details/143135395）。然而，由于其对计算和存储的高要求，比如计算attention，其时间复杂度是N^2（其中N为序列的长度）；]]></description><category></category></item><item><title><![CDATA[生成对抗网络模型GAN简介]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143170137</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143170137</guid><author>burstone</author><pubDate>Tue, 22 Oct 2024 22:25:14 +0800</pubDate><description><![CDATA[自从IBM的深蓝系统1975年在国际象棋、Google的AlphaGo在2016年在国际围棋领域分别击败了人类顶级棋手之后，深度神经网络开始名声大振。本文介绍一种博弈的模型，它也蕴含了一种不断对抗、进化的机制：生成对抗网络（Generative Adversarial Networks，简称GANs），它是由Ian Goodfellow等人在2014年提出的一种深度学习模型，生成器（Generator）和判别器（Discriminator）——实现了数据的生成与判别，为人工智能领域带来了全新的突破。]]></description><category></category></item><item><title><![CDATA[encoder-decoder大模型简介]]></title><link>https://blog.youkuaiyun.com/burstone/article/details/143135395</link><guid>https://blog.youkuaiyun.com/burstone/article/details/143135395</guid><author>burstone</author><pubDate>Mon, 21 Oct 2024 22:45:41 +0800</pubDate><description><![CDATA[大模型”这个术语出现在公众面前时，其实学术界最火的有transfromer模型，就是那篇Google的8位科学家发表在NIPS会议上的论文《Attention is All your Need》，它打开了序列建模的新世界，自然语言领域、序列建模等多个技术方向基于这个架构出现了大量的创新工作。这个transformer是基于encoder-decoder架构，这个领域有非常多的工作，下面针对一些基础知识点进行介绍。]]></description><category></category></item></channel></rss>