FrenzyTechAI的博客

在探讨KV Cache 量化技术之前，我们先来深入理解LLM推理过程中的一个关键性能瓶颈。当前，在部署大语言模型时普遍面临着一个棘手的挑战：即便是配备16GB显存的GPU，在处理长文本时也经常会遇到OOM（Out of Memory）问题。这一问题的根源在于注意力机制的工作原理。在 Transformer 架构中，模型需要在推理过程中持续缓存注意力计算的中间状态（即Key和Value），这些状态被存储在KV Cache中。

对于长期从事 Python 开发的工程师来说，我相信许多人都曾被数据验证和类型转换的繁琐所困扰。当我们处理接口数据时，需要面对各种复杂的数据格式，稍有不慎，就可能引发难以察觉的 Bug。Pydantic是Python界赫赫有名的数据验证库，目前已经斩获了超过21.4k的star，而Pydantic作为基础类库，提供了强大的数据验证和序列化功能，基本上成为了Python项目开发中处理数据验证的标配，相信对于Pydantic类库应该大家都很熟知了。最初使用Pydantic的时候，就发现它的类型声明设计很优雅。

LazyGraphRAG是一种革新性的图形增强检索方法，采用"延迟处理"策略，通过动态调整搜索范围和推迟LLM使用，实现了成本与性能的最优平衡。这种创新方法不仅降低了部署门槛，还显著提升了查询效率。

包阅AI 的核心竞争力在于其强大的内容解析和知识还原能力。实现高质量的摘要总结是 RAG 技术落地的关键挑战之一，而这恰恰是包阅AI的强项。它能够精准解析多种复杂且多样化的文档格式，包括PDF、Word、PPT、图片、网页链接甚至视频音频等，无论内容结构多么复杂、排版多么混乱，包阅AI 都能准确识别并提取关键信息，快速还原文档的核心知识，避免了信息偏差带来的误导，为后续的摘要总结、问答对话等功能打下坚实的基础。

显性知识可以告诉我们如何调用语音识别API、如何控制智能设备接口，但如何设计更人性化的语音交互流程、如何根据用户的使用习惯进行个性化推荐、如何保障用户的数据安全和隐私，这些都需要程序员在大量的实践中不断摸索、总结，最终形成自己独特的“know-how”。面对 AI 带来的挑战，程序员需要不断学习新的技术，更要注重积累实践经验，培养自己的洞察力和判断力，积极探索新的知识管理模式，构建一个鼓励学习、分享和创新的团队文化，才能在与 AI 的协作中发挥更大的价值，在 AI 时代继续保持竞争力。

RAGFlow v0.9 的发布，标志着知识图谱增强型 RAG 系统 (RAG 2.0) 的全新时代正式开启。GraphRAG 作为其中的先行者，展现了 LLM 驱动下的知识图谱构建技术所蕴含的巨大潜力。它不仅为 RAG 系统注入了更强大的语义理解和知识推理能力，也为智能问答、语义搜索、知识发现等领域的应用打开了新的大门。GraphRAG 之所以能够取得成功，很大程度上得益于它对传统知识图谱构建流程的简化，使其更容易在实际工程中落地。

MindSearch 是一款极具潜力的开源 AI 搜索引擎，它模拟了人类的思维过程，实现了深度知识探索，为用户带来了更精准、更全面的搜索体验。相信在未来，MindSearch 将会在 AI 搜索领域发挥更大的作用，引领搜索引擎进入一个全新的智能化时代。

整体对比下来，真正让我觉得有一定帮助的，感觉还不错的就是 Google 发布的 Gemini Pro，经过一年时间的锤炼，相比较去年推出的 Bard、PaLM 2能力确实提升很大，在某些方面一度超越了 GPT-4o，除了 Pro 版本还有 Flash 版本，虽然 Flash 对标 GPT-4o-mini 主打快速响应，但我感觉这两个模型输出的结果质量还是有比较大的差异，这半年多我主要还是使用。同时还根据你的笔记内容，自动生成一系列的问题，提供你更深入地理解和反思，有助于使用者的学习和研究。

LongRAG 框架创新性地解决了传统检索增强生成（RAG）框架中检索器负担过重的问题，通过引入“长检索单元”、“长检索器”和“长阅读器”，将完整的维基百科文章处理成 4K Token 的单元，将语料库大小缩减了 97% 以上，从而显著提升了检索效率和整体性能。LongRAG 的优势主要体现在：在 NQ 和 HotpotQA 数据集上，LongRAG 无需复杂排序机制即可分别实现 71% 的 Recall@1 和 72% 的 Recall@2，远超传统的短文本检索方法。

Vanna，是一款革命性的AI SQL智能体，可以将复杂的SQL查询简化为日常语义对话。在生成式AI的助力下，Vanna 让数据库查询变得前所未有的简单和直观。它是基于 OpenAI 和 Google 提供的大语言模型（LLM）。Vanna 通过预训练模型，结合你的数据库进行微调，可以快速帮你量身打造一个定制化的AI助手。Vanna 是一个获得 MIT 许可的开源 Python RAG（检索增强生成）框架，用于 SQL 生成和相关功能。GitHub 已经高达7200 颗星。

在对 RAGFlow 的探索中，我们可以清晰地看到其在RAG（Retrieval-Augmented Generation）领域中的重要地位和显著优势。RAGFlow作为一款下一代开源RAG引擎，不仅在问答对话方面表现出色，还具备高级内容生成的能力，例如长文生成等。这使得RAGFlow能够为用户提供更为全面和深入的服务，满足不同场景下的需求，尤其在企业级应用中发挥着重要作用。

虽然大型语言模型 (LLM) 近年来取得了非常显著的进展，也在各种自然语言处理任务中展现出强大的能力。然而，LLM 的在实际的应用落地层面也面临着一些实际挑战，其中之一就是效率和成本问题，导致了在垂直行业实际落地的应用非常少。因为现有的 LLM 通常需要大量的计算资源和内存，这限制了它们在实际应用中的部署。特别是在处理长文本输入时，LLM 的效率问题尤为突出。这是因为 LLM 需要存储和处理大量的中间结果，而长文本输入会导致中间结果的数量急剧增加。

那么，GIL 究竟是什么呢？GIL，即全局解释器锁，虽然不是 Python 特有的，但它是在 CPython 解释器的开发过程中引入的一个概念。简单来说，GIL 就像是一个保护机制，确保在任何时刻只有一个线程能够执行 Python 代码，以维护代码的线程安全。但 GIL 也有它的不足之处它限制了 Python 在多核 CPU 上的并行处理能力，因为不论有多少个线程，一次只能在一个核心上运行，这大大降低了程序的运行效率。

LlamaParse是由 LlamaIndex 创建的一项技术，专门用于高效地解析和表示PDF文件，以便通过 LlamaIndex 框架进行高效检索和上下文增强，特别适用于复杂的PDF文档。它基于RAG（Rule-based Approach with Grammar）技术，能够准确地提取文本、图像、表格等元素，同时保持良好的性能。这项技术的设计初衷是为了处理那些包含嵌入式对象（如表格和图形）的复杂文档，这类文档的处理在以往往往是个挑战。

RAG和特定领域微调的结合，为提升大型语言模型的外部知识和领域专长提供了一种强大的解决方案。通过发挥这两种方法的优势，研究人员已经开发出了使大语言模型能够基于事实信息进行推理、适应专业领域，并生成更可解释和可信输出的方法。随着RAG和微调之间的联合作用不断被探索，我们可以预期未来的语言模型将不仅拥有广泛的知识，还能展现出深入的领域专长、推理能力和坚实的事实基础——这是迈向更知识渊博和可靠的AI系统的重要一步。

语言模型在翻译、总结和推理方面表现出色。但它们的潜力远不止于此。让大语言模型 (LLM) 具备代理性是充分挖掘其推理潜力的一种方法。AI 智能体就是被赋予适当工具和指令的 LLM，能够自动完成网页浏览、网络抓取、执行 SQL 查询、文件操作等任务。利用 LLM 的推理能力，这些智能体能够根据当前需求选择合适的工具。而且，我们还可以将多个智能体组合起来，共同完成更复杂的任务。当我们谈论如何构建 AI Agents时，首先想到的工具就是 LangChain。

我们讨论了开发 RAG 应用时的 12 个痛点（论文中的 7 个加上另外 5 个），并为它们每一个都提供了相应的解决方案。请看下图，这是根据原论文《Seven Failure Points When Engineering a Retrieval Augmented Generation System》中的图表修改而来的。我们把所有 12 个 RAG 痛点及其解决方案汇总到一张表中，现在我们得到了：虽然这份列表并未涵盖所有内容，但它旨在揭示在设计和实施RAG系统过程中所面临的复杂挑战。

微调LLM时，了解你的使用场景和要解决的问题至关重要。这将帮助你选择合适的模型，或者帮助你创建一个数据集来微调你的模型。如果你还没有定义你的使用场景，你可能需要重新思考。并非所有的使用场景都需要微调，建议在微调你自己的模型之前，先评估和尝试已经微调过的模型或基于API的模型。例如，我们将使用以下使用场景：我们想要微调一个模型，它可以基于自然语言指令生成SQL查询，然后可以集成到我们的BI工具中。目标是减少创建SQL查询所需的时间，并使非技术用户更容易创建SQL查询。

在探索大语言模型（LLM）应用的新架构时，知名投资公司向量数据库是预处理流程中系统层面上最关键的部分。它能够高效地存储、比较和检索高达数十亿个嵌入（也就是向量）。那么，为什么要如此强调向量数据库的重要性呢？这是因为计算机虽然功能强大，但并不擅长直接理解文本、图像、音频等人类友好的数据格式。通过将这些数据转换成数值型的“向量”，我们能够让计算机更高效地处理它们。而普通的数据库并不是为了处理这样的向量而设计的，尽管现在随着生成式 AI 技术的普及，它们开始逐渐支持向量操作。

大语言模型（Large Language Models，LLMs）已经成为我们生活和工作中不可或缺的一部分，它们以惊人的多功能性和智能，转变了我们与信息的互动方式。然而，尽管拥有令人瞩目的能力，这些模型仍存在缺陷。它们可能产生误导性的“幻觉”（hallucinations），依赖潜在的过时信息，处理特定知识时效率不高，专业领域的深度不够，推理能力也有所欠缺。在真实世界的应用中，数据需要持续更新以反映最新进展，并且生成的内容必须是透明并可追溯的，这对于管理成本和保护数据隐私至关重要。因此，仅依赖这些“

向量化（Vectorization）是一种执行数组操作的技术，它通过 NumPy 库加以实现。这个技术背后的原理是，它能够一次性对数组或序列中的所有元素进行操作处理，而不像‘for’循环那样逐行进行。在不使用循环的情况下，向量化可以加快 Python 代码的速度。利用这样的方法可以有效地减少代码运行所需的时间。我们可以在 Python 中使用向量化来完成很多事情，例如缩放器乘法或点积乘法。今天我们将探讨几个可以用向量化来替代 Python 循环的实例。这将帮助你在编程时节省宝贵时间，并提高编码技巧。

检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。通过从更多数据源添加背景信息，以及通过训练来补充 LLM 的原始知识库，检索增强生成能够提高搜索体验的相关性。这能够改善大型语言模型的输出，但又无需重新训练模型。

本文我们主要探讨了知识检索增强（Retrieval-Augmented Generation, RAG）技术的关键评估方法和行业应用，以及几种现有的技术栈选择及其优缺点。首先，关于RAG的效果评估，我们提到了两种主要的评估方式：独立评估和端到端评估。独立评估包括检索评估和生成评估，重点在于分别量化检索结果的质量和生成问题的能力。端到端评估则结合了无标签和有标签的评估指标，以及人工或GPT模型的评估方法，以获得更全面的效果评价。

继OpenAI和Google的产品发布会之后，大模型的能力进化速度之快令人惊叹，然而，对于很多个人和企业而言，为了数据安全不得不考虑私有化部署方案，从GPT-4发布以来，国内外的大模型就拉开了很明显的差距，能够实现的此路径无非就只剩下国内的开源大模型可以选择了。而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地知识库。

Gemini 是一个多模式模型系列，在图像、音频、视频和文本领域展示了真正强大的功能。其中功能最强大的模型在 32 个基准测试中的 30 个中提升了最先进水平，其中包括 12 个流行文本和推理基准测试中的 10 个、9 个图像理解基准测试中的 9 个、6 个视频理解基准测试中的 6 个以及 5 个语音基准测试中的 5 个识别和语音翻译基准。Gemini Ultra 是第一个在 57 个科目的 MMLU 上达到人类专家表现且得分高于 90% 的模型。

今天我们深入探讨了企业在知识库场景下运用大型模型的实践策略。我们首先分析了大型模型在企业实际应用中所面临的挑战，包括算力、调度和数据等方面的问题。随后，我们提出了一系列解决方案，包括构建高效管理和自适应扩展的算力资源体系，开发或引进先进的调度系统，以及建立完善的数据处理流程。最后，我们强调了企业在实施大型模型实践策略时，必须关注数据安全、隐私和合规问题，以确保实践方案的可行性和可持续性。

Grok 是根据科幻经典《银河系漫游指南》中的好奇人工智能进行建模的。它旨在成为一个机智、幽默、知识渊博的 AI 助手，可以就广泛的话题进行自然对话。在 Twitter 上分享的演示中，Grok 显示出它可以理解幽默并以自己的笑话和有趣的俏皮话回应。这种能够开玩笑的能力使得与其他更机械化的聊天机器人相比，与 Grok 聊天更加有趣和吸引人。Grok 的支柱是 Grok-1，xAI 的最新大型语言模型。Grok-1 拥有 632 亿个参数，比 GPT-3.5 多了一倍。

前面在介绍本地部署免费开源的知识库方案时，已经简单介绍过 Danswer《Danswer 快速指南：不到15分钟打造您的企业级开源知识问答系统》，它支持即插即用不同的 LLM 模型，可以很方便的将本地知识文档通过不同的连接器接入到 Danswer，然后实现本地基于知识库的语义检索。它是完全开源的（MIT 许可证）并且免费使用。本文主要介绍了如何在Google Colab上托管Llama 2模型，并将其接入Danswer。

对于大模型在一些安全级别较高的领域，比如在金融服务领域实施人工智能解决方案时，面临的最大挑战之一是数据隐私、安全性和监管合规性。因为担心数据泄露的问题，很多银行或机构都会回避利用人工智能的优势潜力，尤其是对于GPT-4这样的模型，在国内应用基本上是不太现实的问题。为了克服这一挑战并充分利用人工智能的力量，一个可行的办法是针对特定任务进行人工智能或大型语言模型(LLM)的微调，以确保数据安全地保存在您的私有服务器或虚拟私有云中。

在前面的文章中，我们介绍过《GPT-LLM-Trainer：如何使用自己的数据轻松快速地微调和训练LLM》，主要介绍了使用工具简化模型训练的所有复杂步骤，全程只需输入任务描述，系统就会从头开始生成数据集，将其转换为你想要的任何格式，并为你进行模型微调。你可以在Google Colab上轻松的训练大型语言模型。GPT-LLM-Trainer 模型训练器利用GPT-4模型来简化整个过程。有没有更简单的方法来微调LLM模型？如果你不会编码或者只是一名经验丰富的软件工程师，如何快速加入呢？

在之前的文章中，我们研究了如何使用LangChain结合大型语言模型（LLM）API来构建用户友好且直观的聊天机器人。现在，我们将探索一个新的Python包来进一步简化LangChain的实现。只需3-4行代码，我们就可以轻松地与任何外部数据进行通信！这个神奇的包叫Embedchain！⭐这些库各有优点。我认为LangChain的性能更好，并且具备更多功能。另一方面，Embedchain则更容易使用，并且免费提供开源的语言模型。总之，这两个库都旨在为您创建专属的语言模型。

随着大型语言模型在自然语言处理领域取得了惊人的进步。相信深度使用过大模型产品的朋友都会发现一个问题，就是有时候在上下文内容比较多，对话比较长，或者是模型本身知识不了解的情况下与GPT模型对话，模型反馈出来的结果都是看似合理却不是我们需要的答案，实际上就是大模型出现了“幻觉”，即生成不真实的信息或虚构的回答。这对模型的可信度产生了负面影响。验证链技术为减少模型中的幻觉提供了一种有效方法。它要求模型在生成每个断言时,同时提供一个证据链以支持该断言。这强制模型生成更加符合事实和逻辑的输出，减少臆造信息的概率。

自从ChatGPT问世以来，全球各地的企业都迫切希望利用大型语言模型（LLMs）来提升他们的产品和运营。虽然LLMs具有巨大的潜力，但存在一个问题：即使是最强大的预训练LLM也可能无法直接满足你的特定需求。定制输出：你可能需要一个具有独特结构或风格的应用程序，例如可以评分并提供简洁反馈点评文章质量的工具。缺少上下文：预训练LLM可能对于你应用程序中重要文件一无所知，例如针对某系列产品进行技术咨询的聊天机器人。如果这些产品的使用手册并未包含在LLM的训练数据中，那么它的准确性可能会受到影响。专业词汇。

随着 GPT-3、PaLM 和 Anthropic 的 Claude 等大型语言模型 (LLM) 的出现引发了自然语言在人工智能领域的一场革命。这些模型可以理解复杂的语言、推理概念并生成连贯的文本。这使得各种应用程序都能够使用对话界面。然而，绝大多数企业数据都存储在结构化 SQL 数据库中，例如 PostgreSQL、MySQL 和 TiDB。通过自然对话无缝访问和分析这些数据仍然具有挑战性。最近新的研究提出了增强LLM与 SQL 数据库集成的技术，重点是跨领域和跨组合泛化。

情绪分析在数字世界中被广泛应用，用于评估消费者对产品或品牌的情绪。然而，在线下环境中，用户与品牌和产品进行互动的场所（如零售店、展示厅）仍然面临着自动测量用户反应的挑战。使用人工智能进行面部表情情绪检测可以成为衡量消费者对内容和品牌参与度的可行替代方案。ParallelDots结合了心理学、人类表情和人工智能，开发出一种能够自动识别个人脸上不同情绪的面部情绪检测算法。该算法能够实时识别七种不同类型的情绪状态。

对于编程初学者或者没有太多时间深入学习开发的人来说,GPT Engineer这个新型人工智能工具具有非常大的吸引力。它可以根据简单的自然语言提示,自动生成完整的应用程序代码,极大地简化了软件开发过程。GPT Engineer通过大规模预训练语言模型获得了强大的代码生成能力。它可以解析提示中的需求,根据指定的编程语言选择合适的框架,并生成遵循最佳实践的、可直接使用的代码。这使得软件开发无需手动编写重复代码,整个过程可以在几分钟内完成。

OnPrem.LLM是一个简单的 Python 库，用于使用非公开数据运行本地大型语言模型。它默认使用的 7B 参数模型，你也可以通过提供使用默认的 13B 模型。你还可以提供不同模型的 URL。OnPrem.LLM 主要受到privateGPT项目的启发，旨在帮助将本地 LLM 集成到实际应用程序中。"""

随着大语言模型（LLM）的快速发展，国内外越来越多的大模型蜂拥而至，真可谓是百花齐放，相当热闹的掀起了一次百模大战，甚至是千模大战。然而，面对这么多的大模型，个个都声称占据排行榜第一，到底实际效果如何，最终还得需要花大量时间去进行验证，有没有比较简单快速的方式来实现模型的快速体验呢。目前关于这方面比较成熟的方案包括 Streamlit、Gradio 等Web UI框架，基本上想要实现 ChatGPT/Claude 类似的聊天机器人或者文档机器人，只需要很少量的代码就可以实现。

今年7月，OpenAI发布了一个强大的插件，名为Code Interpreter（代码解释器），它可以根据用户的自然语言需求生成并执行代码解决方案，帮助完成各种任务，如数据分析、图表创建和文件编辑等。尽管OpenAI的GPT-4代码解释器改变了游戏规则，但它也有一些特定的限制。OpenAI的解决方案是托管的，它在受控的远程环境中运行，限制了开发人员对本地设置的控制。这导致了一些明显的限制，比如无法访问互联网、有限的预安装软件包、最大上传大小为100MB以及运行时间限制为120秒。

是一个自动创作小说的AI，它可以在几分钟内根据用户提供的初始提示和章节数生成一整本奇幻小说，并自动打包为电子书格式。该项目利用 GPT-4、Stable Diffusion API 和 Anthropic API 等一系列大模型调用组成的链来生成原创奇幻小说。此外，它还可以根据这本书创建一个原创封面，并将整本作品一次性转换为PDF或电子书格式，并且制作成本低廉，制作一本15章的小说仅需4美元成本，并且该工具是开源的，可以免费使用。这是否意味着小说家将被人工智能取代？