普通网友-优快云博客

原创 AGI大模型｜前端页面如何支持多模态大模型的流式返回？一文弄懂！

在用户体验至上的时代，应用的响应速度至关重要。大语言模型在生成响应时可能会有显著延迟，传统的HTTP请求响应模型在面对实时数据更新时往往显得力不从心，为了改善用户体验，流式返回（Streaming）成为了一种高效的解决方案。一起来看看如何在前端页面中实现流式返回，并支持多模态大模型的输出。

2024-08-26 10:00:59 1305 1

原创一种评估大模型的方式，让幻觉、上下文长度现出原形

我们的一个项目需要开发Android APP，团队中除了我没人会Android（我也是10年前左右开发过一段时间），但是团队其他成员有 uni-app 和前端的开发经验。为了快速出DEMO，因此我们先尝试使用 uni-app 来开发，要用到Android原生功能的地方，使用 uni_modules 插件来写。uni_modules 插件使用的是 uni-typescript(uts) 语言，uts 采用了与 typescript 基本一致的语法规范，但为了跨端，uts进行了一些约束和特定平台的增补。

2024-08-26 09:57:15 515

原创大模型算法工程师经典面试题————LLM大语言模型之Tokenization分词方法（WordPiece，BPE，BBPE)原理

Tokenization（分词）在自然语言处理(NLP)的任务中是最基本的一步，把文本内容处理为最小基本单元即token(标记，令牌，词元，没有准确的翻译)用于后续的处理，如何把文本处理成token呢？有一系列的方法，基本思想是构建一个词表通过词表一一映射进行分词，但如何构建合适的词表呢？在英文语系中，word（词）级别分词实现很简单，因为有天然的分隔符。

2024-08-24 10:19:07 1216

原创一文讲明白，大模型显存占用计算方法（单卡状态）

顾名思义，混合精度训练就是将多种不同的精度数据混合在一起训练，《 MIXED PRECISION TRAINING 》这篇论文里将FP16和FP32混合，优化器用的是Adam，如下图所示：MIXED PRECISION TRAINING论文里的训练流程图按照训练运行的逻辑来讲：Step1:优化器会先备份一份FP32精度的模型权重，初始化好FP32精度的一阶和二阶动量（用于更新权重）。Step2:开辟一块新的存储空间，将FP32精度的模型权重转换为FP16精度的模型权重。

2024-08-24 10:05:25 2509

原创开源神器！向量、张量、全文搜索一网打尽，打造最强 RAG！

开源 AI 原生数据库 Infinity 0.2 release 正式发布，提供了 2 种新数据类型：稀疏向量 Sparse Vector 和张量 Tensor，在此前的全文搜索和向量搜索之外， Infinity 提供了更多的召回手段，如下图所示，用户可以采用任意 N 路召回（N ≥ 2）进行混合搜索，这是目前功能最强大的 RAG 专用数据库。为什么需要混合搜索（多路召回）？我们知道，仅仅依靠向量搜索（默认情况下，它用来特指稠密向量）并不总能提供令人满意的结果。

2024-08-23 10:45:10 1339 1

原创一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操

RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单【版面分析——富文本txt读取】

2024-08-23 10:26:16 1525

原创高维多变量下的Transformer时序预测建模方法

今天给大家介绍一篇CIKM 2024中的时间序列预测工作，这篇文章针对高维多变量时序预测问题，提出了一种基于Transformer的建模方法。现在的时间序列预测主要研究点都是如何扩长能够建模的历史长度和未来长度，也就是时间维度上的扩展。比较少的工作研究如何建模变量维度上的扩展。在多变量时间序列建模中，现在的方法主要集中在channel-independ和channel-depend两种方式上。后者虽然能考虑到变量间的关系，理论上界更高，但是实际应用中效果往往会比channel-independ方法效果差。

2024-08-22 10:20:59 1327

原创还在辛辛苦苦提取特征？Embedding帮你自动来

随着计算能力的提升，复杂网络表示学习(Network Representation)在社会学、通信网络、生命科学等多个领域都起着重要的作用，它也是拍拍贷与浙江大学通力合作的众多研究项目中的一员。在拍拍贷的反欺诈系统中，利用表示学习里的Embedding方法，我们可以根据社交关系网络为用户自动生成特征。它已经在拍拍贷识别不良借入用户，提高模型效率，节约变量成本中逐渐起到了关键的作用。面对用户的社交关系网络，如何为每个用户自动生成有效特征呢？

2024-08-21 10:52:44 961

原创详解Graph Embedding经典方法：算法原理、代码实现与应用样例

1阶相似度用于描述图中成对顶点之间的局部相似度，形式化描述为若之间存在直连边，则边权即为两个顶点的相似度，若不存在直连边，则1阶相似度为0。如上图，6和7之间存在直连边，且边权较大，则认为两者相似且1阶相似度较高，而5和6之间不存在直连边，则两者间1阶相似度为0。

2024-08-21 10:50:16 1313

原创使用本地 LLM 构建 Llama 3.1 8b Streamlit 聊天应用程序：使用 Ollama 的分

大型语言模型（LLMs）彻底改变了人工智能领域，提供了令人印象深刻的语言理解和生成能力。本文将指导您构建一个使用本地LLM的Streamlit聊天应用程序，特别是来自Meta的Llama 3.1 8b模型，通过Ollama库进行集成。

2024-08-20 10:34:23 2131

原创基于大模型 Prompt + LangChain 架构的 AI 翻译系统全流程解析

基于大模型和LangChain的文档翻译技术方案，通过模块化设计、灵活的Prompt模板、TranslationChain和自动化处理，实现了高效、准确的跨语言文档翻译。该方案不仅适用于企业内部文件翻译、学术论文翻译等大批量文档处理场景，还支持多种文件格式的动态转换，适应不同的文档处理需求。通过Gradio图形化界面的设计，进一步提升了用户体验，使得文档翻译过程更加直观、便捷。

2024-08-19 11:46:54 1329

原创自主智能体的未来：LangChain Agents如何实现复杂任务自动化

AI Agents通过结合LLM、规划、记忆和工具，形成了一个强大的生态系统。LangChain Agents在这个系统中，通过动态决策和执行，实现了复杂应用的自动化和智能化处理。理解和掌握这些原理和方法，将有助于开发者构建更高效和智能的应用系统。。

2024-08-19 10:43:58 1414

原创大语言模型（LLMs）训练技巧

优化器存储一个float32的模型副本，则会消耗4X的显存，同时存储两个状态参数，分别消耗4X和4X的显存，则总共需要16X的显存。但是随着模型的训练，梯度值太小小，超出float16表示的精度，导致权重都不再更新，模型难以收敛。因此，任意给定的GPU都会有两部分的通信，一个是与包含所有相同层的GPU(数据并行)，另一个与不同层的GPU(流水线并行)。对于模型计算的中间结果（activation，优化器状态等），暂时放到内存（CPU）中，计算需要的时候再放回显存（GPU）中，需要占用传输带宽；

2024-08-17 10:15:00 1703

原创 LLMs 能否胜任「数据标注」？机遇与挑战并存

目前，LLMs 在机器翻译、文本生成、多轮问答等任务上已表现得非常出色了。人们开始思考它们是否也可以用于数据标注工作。数据标注是训练和评估各种机器学习模型的基础，一直是一项昂贵且耗时的工作。是否能够借助 LLMs 的强大能力来为数据标注流程降本增效呢？本文深入探讨了这一问题。本文作者从业界最新研究入手，全面评估了 LLMs 在数据标注领域的应用前景。

2024-08-16 10:49:31 1213

原创在私有化过程中不要忽视LLMs的双重逻辑能力：医学领域的数据密集型分析

大量的研究致力于通过喂养特定领域的数据，将通用领域的 Large Language Models (LLMs) 私有化为特定领域的 LLMs。然而，这些私有化努力常常忽略了一个关键方面：双重逻辑能力，这是 LLMs 的核心推理能力。LLMs 的双重逻辑能力确保了当面对关于同一事实的正反两种陈述时，它们能够保持一致的态度。我们的研究专注于在医学领域私有化过程中 LLMs 的双重逻辑能力如何受到影响。我们进行了几项实验，通过检查对关于同一事实的成对问题的回答中态度的一致性来分析 LLMs 的双重逻辑能力。

2024-08-16 10:46:23 914

原创 Transformer在遥感上效果差？这完全是在胡扯！

【Transformer+遥感】是当前的研究热点，旨在通过Transformer模型强大的全局特征学习能力，提升遥感图像处理的性能。该研究方向通过引入Transformer架构，解决了传统卷积神经网络在遥感图像语义分割、变化检测等任务中对全局信息捕捉不足的问题。相关研究工作通过设计创新的模型和模块，如双解码器结构、输入变换模块等，增强了Transformer在处理高分辨率遥感图像时的特征提取和细节保持能力。

2024-08-15 10:34:18 788

原创双配置视觉 Transformer 在多模态中的突破！

本研究已提交至首届下一代疼痛评估多模态感知挑战赛（A1APAIN）。所提出的多模态框架利用面部视频和功能性近红外光谱（fNIRS），并提出了一种模态无关的方法，无需特定领域的模型。采用双重ViT配置，并采用波形表示fNIRS以及从两种模态提取的嵌入，证明了所提出方法的有效性，在多层次疼痛评估任务中达到了的准确率。国际疼痛研究协会（IASP）将“疼痛”定义为“与实际或潜在的组织损伤相关的不愉快的感觉和情感体验，或以这种损伤来描述”[1]，这标志着对定义的最新更新。

2024-08-15 10:32:12 1333

原创使用RAG技术构建企业级文档问答系统：检索优化Embedding微调

根据。

2024-08-14 10:35:52 1094

原创使用RAG技术构建企业级文档问答系统之基础流程

本文是本系列（使用RAG技术构建企业级文档问答系统）的第二篇，将介绍检索增强生成（Retrieval Augmented Generation，简称RAG）最基础流程。所谓检索增强生成，是大语言模型兴起之后发展迅速的一个应用领域，简单说就是，这项技术，可以根据用户输入的问题，从文档（如PDF、Word、PPT、TXT、网页等）中自动检索跟问题相关的文本片段（或称为知识片段、上下文），然后将一段指令、用户输入的问题、文本片段拼装成一个Prompt（也就是大语言模型的输入），让大语言模型生成一个回答。

2024-08-14 10:22:00 1530

原创分享Embedding 模型微调的实现

1. 当前比较主流的Embedding开源模型有哪些？答：1. m3e(Moka Massive Mixed Embedding) 2. BAAI/bge-large-zh-v1.5。更多的开源模型评测榜单可见：\2. 模型的作用？答：通过词，句子或者上下文的向量生成，从而来实现更高效的语义检索，语言理解的相关任务。\3. 模型是如何捕获语义信息的？答：在训练的过程中，模型学习用来反映语义相似性的方式将向量分配给单词或序列。简言之，通过分析数据中的词共现模式来实现。

2024-08-14 10:13:12 1168

原创这么多的多模态大模型，能力究竟如何？

近日，上海人工智能实验室（上海AI实验室）与北京航空航天大学、复旦大学、南京大学、新加坡国立大学、悉尼大学及香港中文大学（深圳）等多所高校联合发布多模态大模型（MLLMs）应用层级评测报告（以下简称“报告”），，为多模态大模型能力提升及应用级探索提供客观指标参考，填补了当前该领域空白。

2024-08-13 10:37:51 1020

原创多模态大模型主流架构模式的演化历程

近年来,随着深度学习技术的飞速发展,多模态学习逐渐成为人工智能领域的研究热点。与单一模态不同,多模态学习旨在利用不同模态数据(如文本、图像、音频等)之间的互补信息,构建更加全面、准确的智能模型。多模态融合是实现多模态学习的关键,其目标是在特征或决策层面实现不同模态表示的有效整合。然而,设计高效的多模态融合架构仍面临诸多挑战,如模态间的异构性、语义鸿沟、数据预处理与对齐等。针对这些挑战,学术界提出了多种多模态模型架构,并在图像描述、视频问答、语音识别等任务上取得了瞩目成果。但不同架构在融合方式、融合阶段等方面

2024-08-13 10:36:10 1595

原创使用Hugging Face构建大型语言模型应用

摘要可以分为两种形式：抽取式摘要（extractive）：从文本中选择代表性的摘录作为摘要。生成式摘要（abstractive）：通过生成新的文本来形成摘要。在本文中，我们将使用生成式摘要模型。背景阅读：Hugging Face的摘要任务页面列出了支持摘要的模型架构。摘要章节提供了详细的操作指南。在本节中，我们将使用以下内容：数据集：xsum数据集，该数据集提供了一系列BBC新闻文章和相应的摘要。模型：t5-small模型，该模型具有6000万个参数（对于PyTorch而言是242MB）。

2024-08-12 11:14:55 1270

原创掌握 RAG：使用 Langchain 和 Ollama 创建本地智能应用程序

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

2024-08-12 10:43:50 693

原创企业落地大模型的路径选择：微调、RAG、提示词工程

与传统应用不同，模型的输出是不确定的，即使多次问它一样的问题，给出的结果也可能不一样。这种特性对于日常应用业务 OK，但是如果要在企业内用来处理具体业务问题，就必须提高这个稳定性，否则影响生产经营，例如产线操作人员通过模型获取操作步骤或者参数，如果步骤或者数据不对可能会导致产品出现质量问题等等。模型一旦训练好，就无法再补充数据，因此模型不会了解你自己组织内部的年假规定，注意事项。如何让大模型掌握这些数据是另外一个需要解决的问题。

2024-08-12 10:38:31 1326

原创如何使用Hugging Face微调大语言模型（LLMs）

而且无需进行额外的训练。但是，如果你想为你的应用定制模型，可能需要在你的数据集上对模型进行微调，以获得比直接使用或训练更小型模型更高质量的结果。本文将介绍如何使用Hugging Face的。

2024-08-10 10:00:02 1517

原创一文详解大语言模型的流行架构与训练技术

这篇博客全面介绍了大型语言模型（LLMs）的构建流程，从流行架构的选择到实际建模的每个关键步骤。文章首先探讨了LLMs的模型架构，然后详细阐述了数据准备过程，包括数据的收集、清洗和去重，接着是关于如何进行有效标记化的讨论。在模型构建方面，博客详细解释了采用自监督学习方法的预训练过程，以及对模型进行指令微调和对齐的重要性。每个环节都被细致地讲解，使读者能够深入理解LLMs的构建和优化过程。这篇博客为那些对LLMs工作方式感兴趣的读者提供了一个指导。

2024-08-10 09:47:28 764

原创 AI编码无需人类插手！Claude工程师摔断右手，竟一周狂肝3000行代码

你可能会共享屏幕，让AI跟随并给出建议和意见，或者AI共享它的屏幕，而你在它操作时给予指导。巧合的是，Cognition AI的总裁Russell Kaplan昨天也发表了长推，预测在AI越来越擅长写代码的时代，软件工程行业将如何发展。作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。诸如Zed、Cursor和各种VSCode扩展这样的IDE，深入地整合了大模型，拥有更完美的上下文，还能处理更大块的代码生成。

2024-08-08 10:47:46 714

原创万字长文之提示学习和微调大模型（Prompt Learning & Prompt Tuning）

Self-Attention 和 Transformer 自从问世就成为了自然语言处理领域的新星。得益于全局的注意力机制和并行化的训练，基于 Transformer 的自然语言模型能够方便的编码长距离依赖关系，同时在大规模自然语言数据集上并行训练成为可能。但由于自然语言任务种类繁多，且任务之间的差别不太大，所以为每个任务单独微调一份大模型很不划算。关于Self-Attention 和 Transformer的详细介绍可以参考以下文章：爱吃牛油果的璐璐：transformer的全面解析。

2024-08-08 10:38:19 1330

原创大模型对任务型对话的作用

大模型的多轮，我们一般想到的方案都是比较大胆地把历史记录都交给大模型让大模型来做生成，这个在比较自由、开放的聊天中，肯定是有效的，但是在实际场景中，我们往往希望模型能够在一定程度控制对话的流程，我是在找类似的文章的。这篇文章应该是我最近找的比较贴切的一篇了，所以做了精读，任务型对话是各种多轮对话里最要求主动控制对话流程的一类，因此这篇文章里面的研究应该对我想研究的部分应该也有不少用的。

2024-08-07 11:18:49 1351

原创做情绪识别，有必要用LLM吗？

LLM时代，模型即产品，模型即应用，LLM本身强大的能力如需赋能传统子任务,除了使用更加优良的模型基座以外，本质上是在Prompt和demonstration上面找创新。可以认为，GNN-based、Recurrent-Attenton-based方法是在为所需评测的数据集进行单独的优化的和设计。如果假定一定存在一个完美的ERC分类器，那么传统的基于RoBERTa的方法与使用LLM进行fintune的方法进行比较。

2024-08-07 11:03:56 1226

原创 Ollama完整教程：本地LLM管理、WebUI对话、Python/Java客户端API应用

老牛同学在前面有关大模型应用的文章中，多次使用了等），但对这个非常方便管理本地大模型的软件的介绍却很少。

2024-08-06 09:36:51 11982

原创基于 Qwen2 大模型微调技术详细教程（LoRA 参数高效微调和 SwanLab 可视化监控）

我之前曾把大模型比作成一位无所不能无所不知且不知疲惫的“大师”。我们在日常工作、学习中等一些通用知识方面的问题，通常情况下，我们均可通过 Prompt 提示词就能从“大师”那里得到期望的结果。这个时候，我们可以通过标记好的结构化数据，让“大师”进一步学习（即：微调），通过调整“大师”的知识（即：调整大模型参数），达到处理特定任务的能力。(Low-Rank Adaptation)是一种高效的大模型微调技术，它是通过在预训练模型的关键层（如全连接层和自注意力层）之间添加低秩矩阵来完成微调。

2024-08-06 09:29:38 2642 4

原创模型规模并非越大越好？组合式AI加速领域大模型应用落地

2023 年，国内涌现出两百多个大模型，被称为大模型元年，一时间掀起“百模大战”。大模型的火爆也打开了生成式 AI 的市场，除文本外，语音、视频等多模态交互能力已逐渐成为 AI 厂商竞争的关键。“中关村科金从发展初期就具有清晰的定位：做领域大模型而不是基础大模型，融合多种技术能力，推动组合式 AI 在企业场景的‘最后一公里’落地。我们的领域大模型具备广泛的兼容性，可以灵活适配不同的基础大模型。这其中的关键在于高质量领域数据的积累和高效微调技术，基础大模型可以灵活替换。

2024-08-05 09:37:44 1091

原创大模型二次开发基本思路

(Continue PreTraining)增量预训练在大模型整个流程中，增量预训练是属于后期预训练（Post-pretraining）的范畴。Post-pretraining（后期预训练）是一种在模型的初始预训练和最终微调之间进行的训练方法。这种方法通常用于进一步适应模型以处理特定类型的数据或任务。以下是详细介绍，参考了之前对SFT和RLHF的描述方式：1、后期预训练（Post-pretraining）

2024-08-03 09:30:00 1917

原创一个有经验的程序员如何10分钟利用大模型做开发！！！

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。以上，大模型已经按提示要求，完成了JSON格式规范的定义，其实它还把规范的必填、可选、描述、每个结构的示例都输出了，只是这里没有粘贴上来。

2024-08-02 09:55:44 529

空空如也

空空如也