- 博客(185)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 自然语言处理:第一百零四章 生产环境vLLM 部署 DeepSeek，如何调优，看这里
vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（VeryLargeLanguageModelServing）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显著优化显存利用率，是当前开源社区中吞吐量最高的LLM推理引擎之一。高吞吐量：采用先进的服务器吞吐量技术。内存管理：通过PagedAttention高效管理注意力键和值内存。请求批处理。
2025-04-02 16:00:00
1605
原创 自然语言处理:第一百零三章 私有化部署DeepSeek等大模型的性能估计
如果你也在这波DeepSeek R1私有化部署的浪潮里，你的老板可能会让你预估下部署一个XX版本的模型需要什么样的硬件资源，TPS是多少。为此，你也许会上网搜索各种测试，你可能会看到这样的图：这些测评基本上都是机构或者网友基于自己的机器测出来的值，有没有什么方法能够让我们快速估计出一个值作为整体的考量，即使它没有那么精准？今天，我会带大家一起梳理一下。
2025-04-02 10:00:00
1432
原创 自然语言处理:第一百零二章 如何去掉DeepSeek R1思考过程
本人项目地址大全：Victor94-king/NLP__ManVictor: 优快云 of ManVictor写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!大多数情况下，我们希望AI能直接给出答案，而不是在输出中展示“思考过程”。DeepSeek-R1会在回答前生成一个 标签，表示其推理过程。如果这个过程过长，用户可能会感到冗余，甚至影响使用体验。那么， 能否去掉De
2025-03-26 17:09:12
643
1
原创 自然语言处理:第一百零一章 十大DeepSeek免费使用平台
硅基流动是一家AI模型服务商，提供了R1、V3满血版以及DS多尺寸模型，还包括GLM、Qwen、Hunyuan、Yi、FLUX、Llama、SD等知名模型。华为云、阿里云、京东云、腾讯云、火山引擎、华为昇腾社区、联通云、百度智能云等云厂商都已接入DeepSeek，并提供了一定的免费体验额度。选择Siliconflow API后，把硅基流动的API密钥粘贴进去，选择模型deepseek-aiDeepSeek-R1，点保存，然后就可以了。下拉勾选模型，找到Siliconflow API（硅基流动的英文名）。
2025-03-26 08:55:40
690
原创 自然语言处理:第一百章 大模型领域常用百词解释
一种技术，通过训练一个小模型（学生模型）来模仿大模型（教师模型）的行为，以达到减少计算复杂度和资源消耗的目的。能力密度定义为目标模型的有效参数大小与实际参数大小的比率，旨在衡量模型的实际效能与其理论最大效能之间的差距。它能够处理大量的语言数据并生成高质量的文本，通过大规模的数据集训练来学习语言的复杂模式。：指机器学习模型在不同群体之间的表现是否公正。：去除神经网络中冗余的权重或神经元，包括非结构化剪枝（逐个权重）和结构化剪枝（如整个通道、滤波器或层），以达到压缩模型的目的，简化模型结构，便于硬件实现。
2025-03-19 16:00:00
829
原创 自然语言处理:第九十九章 私有化RAG封神组合：Dify+RagFlow知识库
我的解决方案是修改ragflow的默认端口，可以参考我的ragflow配置（如下：在docker-compose.yml里面把ragflow映射到主机的端口改掉，改成容器的80端口映射到主机的8000端口，433端口映射到主机的4333端口）PS：由于我的dify和ragflow都部署在同一个主机的docker中，所以dify可以通过主机的内网ip访问ragflow的知识库。首先我们需要解决一个问题，就是在本地的ragflow和dify的页面默认的访问端口是有冲突的（用的都是80和443端口）。
2025-03-19 10:00:00
902
原创 自然语言处理:第九十七章 知识蒸馏发展
在人工智能（AI）领域，随着大型语言模型（LLMs）的兴起，大型语言模型（LLMs）展现出了令人惊叹的能力，从智能聊天到复杂的文本生成，从精准的图像识别到高效的数据分析，它们正深刻地改变着人们的生活和工作方式。然而，这些强大模型的背后也存在诸多问题，如高昂的计算成本、有限的可访问性、数据隐私风险等。在这样的背景下，知识蒸馏（
2025-03-12 10:30:00
781
原创 自然语言处理:第九十六章 AI智能客服解决方案
模型训练：rag、提示词工程和微调是模型训练迭代的主流方式，根据训练时间、成本和场景选择，通俗的来说，rag能快速在大量的行业知识和特定场景信息里去查找相关内容 ，提示词是让智能客服更好的理解“需求”，把话说的更能让“机器人”理解，微调以预训练大模型为基础，用特定领域或场景数据再训练，让模型更贴合特定场景。基于前文的场景分析和客服业务流程分析，即从宏观角度，与直接聚焦在客服业务，可以充分分析人工智能对客服业务的需求支撑，下图蓝色的标记为主要的人工智能设计的范围，根据实际业务需求进行优化，下图仅为示例。
2025-03-07 15:00:00
1177
原创 自然语言处理:第九十五章 为什么有KV Cache而没有Q Cache?
KV Cache 在已经成为了 LLM 推理系统中必须要用到的一个优化技术。KV Cache 的想法很简单，即。
2025-03-07 10:12:53
542
原创 自然语言处理:第九十四章 PPO&GRPO详解
在强化学习（RL）中，如果我们只知道“做对了能拿多少分”，那往往还不够，因为**单纯追求高分**可能带来种种副作用，比如过度搜索、模型不稳定、甚至“走捷径”而偏离合理范围。为了解决这些问题，人们在 RL 中设计了许多机制——Critic（价值函数）、Clip 操作、Reference Model、以及最近流行的 GRPO（Group Relative Policy Optimization）等。为了把这些概念讲得更生动，我们不妨打个比方： **把 RL 模型的训练过程想象成小学里的考试场景** 。
2025-02-26 15:30:00
751
原创 自然语言处理:第九十三章 大模型解码参数详解beam search/top-k/top-p/温度系数(转载
本人项目地址大全：Victor94-king/NLP__ManVictor: 优快云 of ManVictor写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!我们都知道GPT在推理时是每步根据当前的序列预测下一个token。假设我们输入 “I am a”，GPT会对这个序列进行编码得到embedding，并预测下一个单词的概率。这里我们引出两个基本的问题：首先回答第一个
2025-02-26 10:00:00
1061
原创 自然语言处理:第九十二章 chatBI 经验(转载)
随着大语言模型（LLMs）为基础的人工智能技术持续发展，它可以为商业智能（BI）领域带来哪些新的机遇？首先，让我们简要回顾一下BI领域所经历的几个关键阶段：① 第一阶段（报表式BI产品）： 用户提出数据需求，再由数据研发取数后通过图表组件渲染实现可视化，这是一种按需开发方式。虽然这类产品能够满足用户的基本数据查询需求，但它们开发成本较高，且静态报表的应用场景有限，缺乏灵活性，导致边际效益较低。② 第二阶段（自助式BI产品）：在这一阶段，BI产品在宽数据集上支持用户通过拖拉拽的方式自助搭建报表。
2025-02-17 19:00:00
1508
原创 自然语言处理:第九十章 如何使用Jina API进行语义切分
从下图可以看出，使用Jina Segment API，最终的问答结果，相比Baseline还是有一定差距的，从概述中《汉书》的切分效果也可以看出，Jina会把标题和正文切割开，而在RAG场景中，标题的作用一般是非常大的，我们在。Jina Segment API提供语义切分能力，更重要的是，它是免费的，不过国内用户需要注意自己的网络是否能够访问。下图是官方网站提供的对《汉书》的切分效果，可以看出，对于文言文，也可以有比较好的切分结果。的实验中也验证了这一点。
2025-02-17 14:11:32
330
原创 Pandas 10 大数据清洗技巧！
缺失数据在数据分析中很常见。重复数据可能影响分析结果。确保数据类型正确很重要。处理多个数据源时常用。提供强大的处理功能。异常值可能影响分析结果。数据分析的强大工具。
2025-01-22 16:00:00
308
原创 Pandas 常用的 35 个经典操作
pivot_table = pd.pivot_table(df, values=‘年龄’, index=‘名字’, columns=‘性别’, aggfunc=‘mean’)data2 = {‘名字’: [‘孙悟空’, ‘猪八戒’], ‘年龄’: [500, 400], ‘性别’: [‘男’, ‘男’]}df3 = pd.DataFrame({‘名字’: [‘白龙马’], ‘年龄’: [300], ‘性别’: [‘男’]})df[‘姓名’] = [‘张三丰’, ‘李四光’, ‘王五岳’, ‘赵六令’]
2025-01-22 10:00:00
1032
原创 自然语言处理:第八十九章 如何提升Function Calling准确性
❝Hammer模型提出了一种创新的Function Calling模型训练方法，其中核心思想之一是通过函数和参数命名的调整来增强模型的鲁棒性，减少因命名模糊性或不一致性引发的错误。
2025-01-16 15:00:00
793
原创 自然语言处理:第八十八章 如何生成Function Calling微调数据？
img为了确保生成的函数调用符合API的预定义格式，需要定义一个严格的Schema。Schema规定了每个API的参数类型、结构以及可能的取值范围。微调过程中，模型需要学会在调用API时严格遵循这些Schema。searchRestaurants(location="北京", type="意大利餐馆", rating=4.5, price_range="适中")
2025-01-16 09:12:13
922
原创 自然语言处理:第八十七章 微软开源MarkitDown，RAG文档解析就这么解决了~
使用 pip: pip install markitdown。或者，从源代码安装它：pip install -e .RAG有这么一个说法：“垃圾进，垃圾出”，文档解析与处理以获取高质量数据至关重要。，一款将各种文件转换为 Markdown 的实用程序（用于索引、文本分析等）。
2025-01-08 15:00:00
632
原创 自然语言处理:第八十六章 Deepspeed各阶段配置你了解么？
DeepSpeed是由微软基于PyTorch研发的开源深度学习优化库，主要目的是降低大模型训练的门槛，提升训练效率，并帮助开发者更有效地管理和优化大模型的训练和部署任务。3D并行：数据并行、模型并行、流水线并行以及三者的混合使用。Zero Redundancy Optimizer（零冗余优化器）：包括ZeRO-0、ZeRO-1、ZeRO-2、ZeRO-3、ZeRO-Infinity等不同级别的优化。：支持将数据、梯度、优化器状态等下沉到CPU和NVMe，以减少GPU内存压力。自定义混合精度训练。
2025-01-08 10:00:00
2151
原创 自然语言处理:第八十五章 Qwen2-VL多模态比赛实践（转载)
多模态大模型越来越火，效果也越来越好，比如Qwen2-VL效果就不错，其支持不同尺寸图片理解、视频理解，其目前已经开源，且最大开源到了72B。关于其技术报告，官方已经发了paper，大家可以自行阅读，而笔者主要想通过实操来看一下其实际效果以及提前踩一些坑，给大家提供一些具体的demo代码，方便大家迅速上手，甚至以此为开端上手所有多模态模型。
2025-01-04 14:22:50
990
原创 自然语言处理:第八十四章 Markdown文档如何切分？
在解析(1)使用MinerU将PDF转换为Markdown中我们提到了将各种文档解析为Markdown的好处，本文我们接着上一篇文章处理后的Markdown，讲解如何对Markdown文档进行切分。在很多文档中，标题都是非常重要的信息，例如企业内部的办理流程，稍微规范点的文档，标题里面都会体现重点信息的。既然转成了Markdown，标题肯定是保留下来了，本文将首先介绍基于Markdown标题的切分方法，以及另外一种常规的Markdown切分方法。
2025-01-04 12:15:37
1091
原创 40个常用的python脚本，包括自动发送邮件，图片转换格式，文件夹操作等(下)
今天给大家分享40个 python 日常使用最频繁的自动化脚本。
2024-12-29 14:02:02
434
1
原创 自然语言处理:第八十三章 Prompt格式到底多重要？
MediaTek Research的研究团队最近在这一领域取得了重要突破，他们从提示格式优化、数据集成策略到多语言支持等多个维度，系统性地提升了LLM的函数调用能力。这两种策略的实验结果令人深思。研究者分析认为，指令跟随数据帮助模型建立了更好的语义理解能力，这种基础能力的提升反过来增强了模型理解和使用函数接口的能力。这种设计将原本隐含在生成过程中的决策明确化，强制模型在生成具体回答或函数调用之前，先对查询的性质做出判断。这一结果证明，只要采用合适的翻译策略，函数调用能力是可以有效地迁移到其他语言的。
2024-12-28 10:33:33
694
原创 自然语言处理:第八十二章 大模型如何估算显存
在本文中，我们介绍的评估方法，都是基于Transformer架构推算的，该评估方法不适合Transformer以外的其他体系结构。同时，目前存在大量的框架、模型和优化技术，估计运行大型语言模型的确切内存可能很困难。然而，本文可作为估计执行 LLM 推理和训练所需内存资源的起点。训练时的显存计算公式：总显存 = 模型大小 + KV缓存 + 激活 + (优化器状态 + 梯度) * 可训练参数数量此外在微调中，由于优化器状态和梯度的计算，显存需求会更高。
2024-12-28 10:31:36
946
原创 40个常用的python脚本，包括自动发送邮件，图片转换格式，文件夹操作等(上)
今天给大家分享20个 python 日常使用最频繁的自动化脚本。
2024-12-24 15:00:00
306
原创 自然语言处理:第八十一章 用Milvus向量数据库实现GraphRAG
本文带领大家深入了解了GraphRAG技术，这是一种融合知识图谱来强化RAG应用的创新手段。GraphRAG特别擅长处理那些需要跨信息片段进行多步骤推理和全面回答问题的复杂任务。结合Milvus向量数据库后，GraphRAG能够高效地在庞大的数据集中探索复杂的语义联系，从而得出更精准、更深刻的分析结果。这种强强联合的解决方案，使GraphRAG成为众多实际通用人工智能（GenAI）应用中的得力助手，为理解和处理复杂信息提供了强有力的支持。
2024-12-24 10:30:00
1124
原创 自然语言处理:第八十章 RAG分块策略：主流方法（递归、jina-seg）+前沿推荐（Meta-chunking、Late chunking、SLM-SFT）
大多数常用的数据分块方法（chunking）都是基于规则的，采用 fixed chunk size（译者注：将数据或文本按照固定的大小进行数据分块）或 overlap of adjacent chunks（译者注：让相邻的数据块具有重叠内容，确保信息不会丢失。） 等技术。对于具有多个层级结构的文档，可以使用 Langchain 提供的 RecursiveCharacterTextSplitter，这种方法允许将文档按照不同的层级进行分割。
2024-12-20 15:00:00
723
原创 自然语言处理:第七十九章 RAG落地应用中的挑战与解决方案
系统使用大模型生成多个查询变体，如“我想找一个有免费Wi-Fi的海滩附近的酒店”、“我想找一个海滩附近有免费Wi-Fi的酒店”等，然后对这些变体进行检索，确保返回的酒店列表符合用户的查询条件。系统首先使用大模型解析出关键属性“黑色”、“皮质”、“迷你裙”和“价格 < 20美元”，然后通过这些属性在数据库中进行精确检索，确保返回的商品列表符合用户的查询条件。系统首先使用宽泛的条件“普通感冒”进行检索，然后根据用户的进一步提问（如“普通感冒的症状”）进行更具体的检索，确保返回的信息与用户的查询高度相关。
2024-12-20 10:00:00
1106
原创 自然语言处理:第七十八章 RAG框架总结主流框架推荐
本人项目地址大全：Victor94-king/NLP__ManVictor: 优快云 of ManVictor写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!设想你正致力于构建一个智能问答系统，该系统旨在从庞大的知识库中迅速而精确地提取关键信息，并据此生成自然流畅的回答。然而，随着数据规模的不断扩大，系统面临着严峻的挑战：检索效率逐渐下滑，生成内容的质量亦趋于下降。这正
2024-12-11 16:00:00
1938
原创 自然语言处理:第七十七章 scalling law = 幂律？
Meta 在 LLaMA 的观点是：给定模型的目标性能，并不需要用最优的计算效率在最快时间训练好模型，而应该在更大规模的数据上，训练一个相对更小模型，这样的模型在推理阶段的成本更低，尽管训练阶段的效率不是最优的（同样的算力其实能获得更优的模型，但是模型尺寸也会更大）。具体而言，确定模型尺寸后，Scaling Law 给到的只是最优的数据量，或者说是一个至少的数据量，实际在训练中观察在各个指标上的性能表现，只要还在继续增长，就可以持续增加训练数据。横轴是归一化之后的计算量，假设 GPT4 的计算量为 1。
2024-12-11 10:58:30
671
原创 20个Python编程脚本，让你拥有超能力
当你已经用Python编程一段时间，或许对StackOverflow也变得熟悉，可能就会想要一些脚本来提升你的编程水平。本文将介绍20个实用的Python脚本，它们不仅能帮你在同事中脱颖而出，还能自动化那些看似不可能的任务，甚至解决你未曾意识到的问题。我们不只讨论基本的抓取或HTTP请求，而是更深入的内容。让我们开始探索吧！
2024-12-08 11:00:00
847
原创 自然语言处理:第七十五章 利用LLM从非结构化PDF中提取结构化知识
在当今数据驱动的世界中，组织机构们坐拥着无数的PDF文档，这些文档中蕴含着丰富的信息宝藏。然而，尽管人类可以轻易地阅读这些文件，但对于试图理解和利用其内容的机器来说，却构成了巨大的挑战。无论是研究论文、技术手册还是商业报告，PDF文件常常包含能够驱动智能系统、助力数据驱动决策的有价值知识。但如何将这些非结构化的PDF数据转化为机器能够高效处理的结构化知识，成为了现代信息处理系统面临的核心挑战之一。
2024-12-08 10:37:52
1106
原创 自然语言处理:第七十四章 深度解读GraphRAG(转载)
检索增强生成（Retrieval Augmented Generation，RAG）是一种连接外部数据源以增强大语言模型（LLM）输出质量的技术。这种技术帮助 LLM 访问私有数据或特定领域的数据，并解决幻觉问题。因此，RAG 已被广泛用于许多通用的生成式 AI（GenAI）应用中，如 AI 聊天机器人和推荐系统。一个基本的 RAG 通常集成了一个向量数据库和一个 LLM，其中向量数据库存储并检索与用户查询相关的上下文信息，LLM 根据检索到的上下文生成答案。
2024-12-06 16:00:00
831
原创 自然语言处理:第七十三章 优化RAG的十大Trick
检索到的结果可能包含冗余或不必要的信息，这可能会妨碍LLMs生成准确的结果。而且较长的prompt会减慢推理过程。因此，在检索增强（RAG）流程中，高效地摘要检索也是非常重要的。提取式：将文本分割成句子，然后根据重要性对它们进行评分和排序，选取重要的句子。例如：BM25, Contriever,Recomp (extractive)抽象式：压缩多个文档中的信息，重新表述并生成连贯的摘要.例如：SelectiveContext，LongLLMlingua，Recomp (abstractive)
2024-12-06 10:00:00
1580
原创 自然语言处理:第七十二章 微软推出超越自己GraphRAG的LazyGraphRAG
今年7月，微软首次开源了超大知识索引GraphRAG，仅4个多月的时间在Github已超过19000颗星，成为目前最火的RAG框架之一。但GraphRAG在处理全局数据查询时成本非常高，尤其是应用在那些大参数的AI模型中格外明显，查询的过程中也存在延迟、不准确等问题。11月底微软研究院推出了LazyGraphRAG，这是一种新型的图谱增强生成增强检索（RAG）方法。这种方法显著降低了索引和查询成本，同时在回答质量上保持或超越竞争对手，使其在多种用例中具有高度的可扩展性和高效性。关键要点:
2024-12-03 15:13:55
919
原创 自然语言处理:第七十一章 RAG中表格应该如何处理？
目前，检索增强生成（RAG）系统成为了将海量知识赋能于大模型的关键技术之一。然而,如何高效地处理半结构化和非结构化数据，尤其是文档中的表格数据，仍然是 RAG 系统面临的一大难题。
2024-12-03 09:30:00
2184
原创 modelscope如何使用hugging face的模型
Hugging Face提供了一个庞大的预训练模型库，这些模型覆盖了文本分类、命名实体识别、情感分析、问答等多种NLP任务。这些模型包括BERT、RoBERTa、GPT-2等，它们在各自的领域都取得了显著的成功。通过上述步骤，我们可以看到ModelScope如何方便地集成和使用Hugging Face的模型。从模型的下载、训练、评估到推理，ModelScope提供了一套完整的解决方案，使得用户可以专注于模型的应用和业务逻辑，而无需过多关注底层的实现细节。
2024-12-01 14:29:43
796
原创 自然语言处理:第七十章 Langchain的长文本总结处理方案
本人项目地址大全：Victor94-king/NLP__ManVictor: 优快云 of ManVictor原文地址: 如何从头训练大语言模型: A simple technical report - 知乎写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!随着大型语言模型（LLM）技术的飞速发展，模型支持的token数量不断增加，从最初的4k、8k扩展到现在的16k、3
2024-12-01 11:00:00
1145
空空如也
关于ROS中launch文件的书写
2022-05-22
linux系统安装失败
2022-05-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人