- 博客(72)
- 收藏
- 关注
RSS订阅原创 基于AgentScope框架开发完整的Agent项目流程
本文介绍了AgentScope框架的安装与核心功能实践。首先详细说明了安装步骤，包括Python环境初始化、AgentScope核心包及其可视化组件Studio和Runtime的安装配置。重点演示了基于高德API的天气查询Agent开发过程，展示了ReActAgent如何调用工具函数实现城市编码查询、天气获取及结果保存功能。文章还介绍了AgentScope的组件架构，包括消息格式定义、格式化器类型等核心概念，并通过具体示例说明如何使用Studio进行可视化调试和Runtime进行服务部署。
2025-11-14 09:11:17
607
原创 提示工程（Prompt Engineering）核心要点解析：从入门到精通
摘要：本文总结Google《提示工程》白皮书的核心内容，系统介绍提示工程概念、关键配置参数（温度/Top-K/Top-P）及6大核心技巧（零样本/少样本/角色设定/思维链/后退提示/自洽性）。特别强调代码相关应用场景和10大最佳实践，包括提供示例、结构化输出、变量使用等。文章指出提示工程是持续实验与记录的过程，需根据不同任务调整模型参数和提示策略。文末作者分享了从白皮书中学习到的两个实用技术点（JSON修复和后退提示）及其工程应用价值。
2025-11-12 11:06:35
758
原创 Agent开发框架调用报告：基于AgentScope的视角
随着大模型性能的飞跃式发展，智能体（Agent）开发范式正经历从静态工作流到动态自主决策的重大转变。本报告系统分析大模型性能提升如何推动Agent开发范式变革，重点解读AgentScope的核心功能与技术定位，并通过横向对比主流框架（如LangChain、OpenAI Agents SDK等），最终总结Agent开发框架的选取原则与关键角度。
2025-11-11 14:08:44
899
原创 大模型GPU选型全攻略，推理与微调显存实测
本文系统分析了GPU硬件在大模型推理和部署中的选择策略。首先对比了不同显卡的核心参数（CUDA核心、Tensor核心、显存等），其次详细评测了三种主流部署方案：LLaMA-Factory微调需8.0以上算力支持，显存消耗与批处理大小成正比；VLLM框架通过分块管理技术提升6倍并发能力，1GB显存可处理3.75万token；llama.cpp采用量化技术降低显存占用但缺乏并发能力。测试数据表明，在实际部署中需综合考虑模型规模、精度要求和并发需求，选择匹配的硬件配置。
2025-11-10 11:29:58
984
原创 如何利用AI把MD格式转换成纯净的可视化格式
本文介绍了如何将模型输出的MD格式字符串转换为更易阅读的网页格式。作者通过多次迭代与AI对话，逐步完善需求：整个过程展示了利用AI解决问题的思路：清晰描述需求→测试AI方案→评估效果→迭代优化。最终实现了一个Python类，能够将JSON文件中的MD内容批量转换为美观的HTML报告，支持按ID筛选内容。案例体现了AI辅助开发的两个典型场景：需求明确但技术方案不清晰时，以及需要优化现有代码功能时。
2025-10-27 15:54:18
1033
原创 PaddleOCR-VL实测与思考
本文详细介绍了PaddleOCR-VL模型的VLLM部署与测评过程。首先检测硬件环境（CUDA 12.1，RTX 3090），然后通过vllm启动服务端，配置内存利用率等参数。客户端使用Python API处理图像，支持版面检测、文本矫正等功能。测试结果显示模型能较好识别手写公式等复杂内容，但存在部分信息缺失。处理流程包括目标检测、阅读顺序标记及格式转换（JSON/Markdown），平均耗时3.27秒。文中还提供了性能调优方法和完整代码示例。
2025-10-24 17:51:36
1462
原创 全网首发PaddleOCR-VL的VLLM部署教程【万字血泪史】
本文详细记录了PaddleOCR-VL模型的部署过程及问题解决方案。在T4显卡（算力7.5）上尝试部署时遇到GPU算力不足的问题，后改用算力8.5以上的3090显卡成功部署。关键点包括：1) 通过conda创建Python3.11环境；2) 安装匹配的torch、flash-attn和vLLM版本；3) 使用vLLM加速推理，将处理速度从40-70秒提升至4-6秒。文章还分享了环境配置导出方法，并提供了完整的报错日志分析。最终实现了通过PaddlePaddle和vLLM两种方式部署该OCR-VL模型。
2025-10-23 16:52:22
5539
43
原创 EvalScope模型压力测试实战
本文介绍了如何使用开源工具EvalScope对部署的AI模型进行压力测试。EvalScope是魔搭社区提供的评测框架，支持多种模型类型，包含性能测试、基准评测等功能。文章详细说明了安装步骤、测试参数配置方法，并演示了如何通过自定义测试内容获得更接近实际生产环境的性能数据。测试结果显示，微调后的Qwen2.5-1.5B模型在并发压力下表现稳定。该工具不仅能进行压力测试，还可用于模型优化和数据集评估，为模型部署提供全链路支持。
2025-10-17 16:52:55
1493
原创 大语言模型，一个巨大的矩阵
本文系统介绍了大语言模型的核心技术原理。主要内容包括：1）向量作为信息表示的基本单元，通过多维特征数字化描述事物；2）矩阵作为向量变换的操作工具，在模型训练中形成海量参数矩阵；3）文本处理流程：分词→Token序列→语义向量→位置编码；4）Transformer工作机制：通过编码器-解码器结构预测词序列；5）相关技术概念：模型幻觉、量化压缩、知识蒸馏和微调优化。文章以向量和矩阵为数学基础，深入浅出地解析了大模型如何实现语义理解和文本生成。
2025-10-16 16:42:07
582
原创 LLaMA-Factory实战优化进阶
本文针对LLaMA-Factory框架下LoRA微调Qwen2.5-1.5B-Instruct模型时遇到的训练速度慢、显存爆炸等问题，提出了系统性的优化方案。通过对比三种加速方法的适用场景及效果，选择LigerKernel进行T4显卡的优化。同时引入SwanLab可视化工具监控训练过程，重点分析train/loss和eval/loss等关键指标。实验结果表明，在Step900检查点取得最佳评估效果，BLEU和ROUGE-L指标分别提升86.49%和62.25%，验证了优化方案的有效性。
2025-10-14 10:04:28
1041
原创 基于LLaMA-Factory的LoRA微调实战与性能剖析
本研究系统探讨了在有限计算资源下，利用LLaMA-Factory框架结合LoRA（低秩适应） 技术对大语言模型进行高效微调的完整流程与方法。LoRA通过冻结预训练模型参数、引入可训练的低秩矩阵（如秩r=12）来近似全参数微调的效果，显著降低了显存消耗与计算开销，使大模型适配任务的门槛大幅降低。文章从环境搭建、数据集准备、参数分析、显存消耗、LOSS曲线分析等多维度多方面进行了阐述。
2025-10-10 18:03:40
1081
原创 使用VLLM部署ChatGLM3-6B避坑指南
摘要：本文记录了使用vLLM框架部署ChatGLM3-6B-32K模型时遇到的三个主要问题及解决方法。问题包括：1）模型加载时报错需添加trust_remote_code参数；2）tokenizer配置缺失chat_template字段需手动补充；3）模型输出重复通过调整top_k和repetition_penalty参数解决。文章详细对比了ChatGLM3和Qwen模型的参数差异，并提供了修改后的启动命令。最后建议对模型性能不满意时可尝试其他部署方案，如chatgml.cpp或TensorRT-LLM。
2025-09-30 14:41:29
1048
原创 生成式任务模型测评实战【附带源码】
在LawBench/evaluation/main.py中是这十个评估任务的入口，有个字典对应着哪个任务对应哪个函数得到什么得分：因此可以自己添加一行，调用3-8任务的评估函数，来得到ROUGE-L得分。同理，未来有别的评估任务，比如选项正确率之类的，也可以调用别的任务的评估函数，避免重复造轮子。很可惜，目前LawBench的生成式任务的评估函数只能得到ROUGE-L得分。别的评估指标的评估函数没有实现，需要自己手动实现，在第三部分会讲到。
2025-09-26 15:43:40
785
原创 开源模型评测思路与LawBench测评实操【附带源码】
这个工具的预测数据集评估功能还是挺好的，通过本文的这种方法，可以很好构造项目需要的数据集样例，把自己的真实数据集拿去构造成项目需要的格式类型，进行测评。经过实测，工具对于数据量是没有要求的，比如自己的真实数据也可以构建成data数据那样，然后通过我的脚本进行转化成标准的预测数据。在根据这么多评估工具，看看是需要哪一个方面的得分即可。下图的都是不同任务类型对应的评估工具，比如本文说的，微调法律方法的模型，就可以用3-8.json对真实的数据集进行命名，再用这个工具得到得分。同理，其他的评估工具也可以使用。
2025-09-23 15:45:27
719
原创 Ubuntu系统目录架构是怎么样的
我们使用完服务器后，需要清理很多之前测试过程中用到的东西。比如数据库卸载，还有自己上传的安装包什么的。那么如何对Ubuntu系统进行深度清洗，不会误删系统的文件。
2025-09-22 14:36:01
972
原创 uv管理的python项目怎么打包成docker部署发布上线
uv管理的Python项目打包成docker报错，问了AI得到下面的结论。解决思路：把uv管理的python项目，导出成普通的 requirements.txt 文件，然后在容器里面按照pip安装包的项目来操作。
2025-09-18 09:31:39
991
原创 【史上最全】大模型微调理论知识篇
摘要： 本文综述了大型语言模型（LLM）的高效微调技术（PEFT），重点探讨了参数高效微调方法。文章介绍了微调技术的发展历程，从经典全参数微调到高效参数微调，分析了全参数微调的优势与不足。针对显存消耗大等问题，详细阐述了PEFT技术的三大类方法：加法方法（如Adapter、PrefixTuning）、选择性方法（如BitFit）和基于重新参数化的方法（如LoRA及其变体）。文章还讨论了模型量化技术与PEFT的结合，并对不同方法的适用场景、优缺点进行了比较。最后，针对工程实践，提出了根据模型规模、任务类型选择
2025-09-11 14:43:04
1140
原创 【实操】Noej4图数据库安装和mysql表衔接实操
本文介绍了图形数据库Neo4j的安装配置、数据建模及MySQL到Neo4j的迁移实践。主要内容包括：1）Neo4j的节点-关系数据模型特点及其优势；2）Ubuntu系统下Java环境与Neo4j社区版的安装步骤；3）通过Python实现MySQL数据到Neo4j的转换，包括处理编码问题、批量导入数据等；4）对比分析MySQL与Neo4j在数据模型、查询语言及应用场景上的差异；5）以用户反馈系统为例，展示如何设计图数据库模型并实现常见查询场景。文章还提供了APOC插件安装等常见问题的解决方案，为关系型数据库向
2025-09-05 11:03:50
1295
原创 提示词工程实战指南：5大技巧大幅提升LLM输出质量
本文结合OpenAI API实战案例，详解如何通过系统化提示词设计优化大型语言模型（LLM）输出效果。包含少样本学习、结构化指令、思维链推理等核心技巧，附完整代码示例。
2025-09-02 17:07:33
1262
原创 【万字真言】如何提升大模型抽取结构化信息的速度
本文探讨了如何提升Qwen3-4B大模型在信息抽取任务中的处理速度。文章分析了影响速度的两个关键因素：pydantic模型复杂度和模型自身的"思考深度"，并提出了三种优化方案：部署量化模型、拆分pydantic模型实现并发调用、以及结合正则表达式预处理。通过对比测试不同量化版本的模型（FP16、NF4单量化和混合量化），发现FP16版本在速度和质量上表现最佳。文章还详细介绍了使用vLLM和llama.cpp框架部署量化模型的方法，指出llama.cpp部署的GGUF量化模型处理速度可达4
2025-08-28 16:39:22
1075
原创 Langchain如何让大模型结构化输出指定的字段信息
本文探讨了如何实现文件信息智能抽取功能，主要解决四个核心问题：1）多格式文件转文本（已通过Umi-OCR和MarkItDown解决）；2）使用LangChain框架实现结构化输出；3）提示词优化；4）效果排查与优化。重点介绍了四种结构化输出方法（Pydantic类、JSON Schema、StructuredOutputParser和PydanticOutputParser），并通过性能对比建议：模型支持结构化时首选Pydantic方法，否则选择PydanticOutputParser。文章还提供了复杂嵌套
2025-08-20 15:34:05
879
原创 Umi-OCR，完美解决企业OCR的核心痛点！！！【史上最全（万字）安装加测评】
Umi-OCR的实际安装加测评报告，可以很好的解决企业在实际ocr处理中的问题，比如：资源有限的情况下，如何进行本地OCR识别。
2025-08-13 16:11:02
2199
原创 Fastapi文件上传那些事？
本文探讨了AI应用中处理用户上传文件的方案设计。通过FastAPI接口接收文件，区分纯文本文件（需处理编码格式）和结构化文件（如DOCX/XLSX），使用临时文件存储并自定义MultiFormatProcessor类提取文本。关键点包括：1）使用chardet检测TXT等文件的编码格式；2）DOCX/XLSX等结构化文件内置XML编码声明无需额外处理；3）设计ChatFile类验证文件属性并调用处理类。最终将文本转换为MD格式或langchain文档块，为后续AI处理提供结构化输入。
2025-08-04 17:01:50
1048
原创 MarkItDown如何接入AI系统提供服务？
文章摘要：本文介绍了开源工具MarkItDown的使用方法，它能将各类文件转换为Markdown格式。作者详细记录了Windows安装过程（需Python3.10+，使用uv管理虚拟环境）和服务器部署步骤，测试了文本、PDF、Excel等文件转换效果。结果显示工具能有效处理文本类文件，但对图片类PDF和PPT支持有限。该工具特别适合需要将文档转换为LLM友好格式的开发场景。安装时建议根据需求选择依赖项，开发环境推荐使用uvadd记录依赖。
2025-07-30 14:44:40
969
原创 让UV管理一切！！！
一、遇到的问题自己在做AI开发的时候，先用的conda来管理虚拟环境，然后使用pip freeze > reqiurments来打包相关依赖。优点，conda环境可以让不同的项目有单独的虚拟环境，不会干扰每个项目，还可以多个项目共享一个conda环境。缺点：1.项目一旦大的话，python最麻烦的就是环境依赖，本来自己安装的核心依赖就30个，但是每个库又依赖别的子库，这样下来就有几百上千个依赖，非常麻烦。2.如果只删除主依赖，比如fastapi。但是它的其他子依赖不会被删除。
2025-07-24 15:47:13
1252
原创 Ubantu本地部署dify，接入本地部署的langchain程序API服务。
本文通过Ubantu部署模型和向量模型可以很好的实现dify和langchain的结合
2025-06-24 16:25:12
1006
原创 Windows安装Docker部署dify，接入阿里云api-key进行rag测试
基于windows10专业版安装docker部署dify，链接阿里云平台进行测试
2025-05-27 16:39:33
1835
2
原创 云服务器Ubuntu系统安装Docker教程和失败原因
我们直接复制https://download.docker.com/linux/ubuntu/gpg到浏览器会自己下载这个文件。所以只能用直接安装好的docker云服务器，不能在docker容器里面安装docker服务。新建/etc/apt//keyrings/docker.asc文件，把内容粘贴进去，保存退出。# 如果网络不好，这个文件可以手动下载，然后改为docker.asc即可。# 以便后续可以通过APT包管理器安装docker的相关软件包。因为云服务器本身就是容器，所以需要宿主机操作。
2025-05-26 14:26:18
733
原创 如何计算VLLM本地部署Qwen3-4B的GPU最小配置应该是多少？多人并发访问本地大模型的GPU配置应该怎么分配？
本文解决了很多VLLM的实际部署的硬件配置问题。
2025-05-23 18:54:47
1570
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人