- 博客(364)
- 资源 (92)
- 收藏
- 关注
RSS订阅原创 最小VL视觉语言模型OmniVision-968M
然后，一个教师模型在保持与原始响应高度语义相似的同时，产生最小编辑的修正，特别关注准确性关键元素。Nexa-SDK是一个开源的、支持文本生成、图像生成、视觉-语言模型(VLM)、音频-语言模型、语音转文字(ASR)和文字转语音(TTS)功能的本地设备推理框架。OmniVLM 是一个紧凑的、亚十亿（968M）参数的多模态模型，用于处理视觉和文本输入，并针对边缘设备进行了优化。在所有任务中，OmniVLM 的表现都超过了之前世界上最小的视觉-语言模型。我们使用基于图像的问题回答数据集增强模型的上下文理解能力。
2025-08-04 11:45:14
555
1
原创 大模型推理引擎总结
论文：A Survey on Inference Engines for Large Language Models: Perspectives on Optimization and EfficiencyGithub：https://github.com/sihyeong/Awesome-LLM-Inference-Engine大型语言模型（LLMs）广泛应用于聊天机器人、代码生成器和搜索引擎中。思维链、复杂推理、代理服务等工作负载通过反复调用模型，显著增加了推理成本。并行化、压缩和缓存等优化方法已被采用
2025-08-01 19:51:13
1168
原创 基于YOLOV5的人员离岗检测
采用 YOLOv5 构建人员离岗检测系统，以 640×640 的输入分辨率在 8-bit 量化后仍保持 92% mAP@0.5，单帧推理在华为atlas上仅需 18 ms；利用 ByteTrack 做关联，当“人框”消失持续 30 s 即触发离岗事件，并把告警回传给后端 WebSocket，实现秒级闭环。├── yolov5/ # 下载好的 YOLOv5 源码目录。将 ONNX 模型转换为 OM（华为昇腾推理格式）│ └── ...（其余原始文件）
2025-07-31 10:33:31
273
原创 2025WAIC世界人工智能大会个人思考+ Hinton演讲
26号参观了会展，1层会展上很多公司都有自己的硬件、软件产品、解决方案，也看到了几个老东家的展位。整体归纳起来就是国产显卡、设备、大模型、智能体、标注平台、训练平台、云服务、具身智能。27号听了论坛，主要听了华院、阿里、期智研究院等的论坛，还在2层领取了3本厚厚的论坛资料。说点我自己的感觉，也幸也悲，幸的是生逢技术蓬勃发展的时代，有幸参与了其中几个研究并持续到现在，悲的是技术发展太快，终究有一天自己也不得不离开这片领域。
2025-07-28 17:59:11
400
原创 基于深度神经网络的视频分析效率优化技术综述：处理系统、算法与应用
论文：A Survey on Effciency Optimization Techniques for DNN-based Video Analytics: Process Systems, Algorithms, and Applications近年来，视频数据的爆炸式增长对视频分析提出了更高要求，其中准确性和效率仍是两大核心关注点。深度神经网络（DNNs）已被广泛应用以确保分析准确性，然而，如何提升其在视频分析中的效率仍是一个亟待解决的挑战。与现有主要从准确性优化角度总结基于 DNN 的视频分析研究的
2025-07-24 19:01:24
706
原创 从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
与传统的全局注意力机制相比，这种设计显著减少了KV缓存的内存占用。此外，Kimi 2在MoE模块中使用了更多的专家，在MLA模块中使用了更少的头。Llama 4采用了与DeepSeek V3类似的架构，但在某些细节上进行了优化，以提高模型的性能和效率。Llama 4使用了分组查询注意力（GQA）而非多头潜在注意力（MLA），并且在MoE模块中使用了更少但更大的专家。Qwen3的密集模型采用了较深的架构（更多Transformer块），具有更多的层，而 Llama 3 是一种更宽的架构，具有更多的注意力头。
2025-07-22 19:44:13
1070
原创 智能体平台汇总
DataAgent 融合结构化和非结构化数据，基于开源和闭源大语言模型:MCP 工具、知识库、元数据、数据权限管控、数据查询分析、多智能体协作等核心能力，通过深度理解业务语境，主动思考拆解数据任务，自动调取各种工具处理企业数据、智能深度分析、自动执行任务，全天候帮助业务高效挖掘数据价值，支持业务用户通过自然语言等方式便捷完成面向行业应用的各种数据业务场景，如数据管理、数据分析、数据营销等。依托插件、工具及知识库组件，显著降低智能体构建门槛，助力全行业务、技术人员和应用系统快速构建 AI应用。
2025-07-17 11:39:43
1374
原创 大模型训练框架对比
非常全面，支持多种模型类型（文本、多模态）、多种训练方式（预训练、微调、人类对齐）、优化算法丰富、支持推理引擎和实验监控。支持多种主流模型（如Llama、Mistral、Phi、Gemma、DeepSeek-R1等）功能全面，支持多种模型类型、多种训练方式、数据集丰富、支持分布式训练和界面训练。支持多种推理引擎（如Transformers、vLLM）多模态模型开发、需要全流程支持（预训练、微调、推理）功能全面、优化算法丰富、加速效果显著、支持多模态模型。功能全面、数据集丰富、支持分布式训练、界面训练。
2025-07-16 16:40:12
1032
原创 MAAS平台
第二步，对收集到的需求进行详细分析和梳理，结合行业最佳实践和 AI 技术发展趋势，识别出适合大模型应用的关键业务场景，并明确每个场景的具体需求和目标。第七步，基于选定的模型和业务需求，进行大模型应用的整体架构设计和功能模块设计，确定应用的技术架构、交互设计和用户体验方案。第十一步，根据企业需求和 IT 架构，选择合适的部署方式（如公有云、私有云、混合云），将经过测试和验证的大模型应用部署到企业生产环境中，并进行上线前的最终检查和准备工作，确保应用能够顺利上线运行。，即“模型即服务”。
2025-07-16 09:39:21
651
原创 大模型面试宝典
模型的注意力机制是全局的，每个 token 都会与序列中其他 token 进行交互，其计算复杂度是 O（n^2），这在显存或内存上有较高开销，因此在训练阶段我们就需要设定一个最大的上下文长度，比如 2048 或 4096 个 token。BERT 用的就是掩码语言建模（MLM），它会把句子里一部分词换成 [MASK]，然后让模型去猜被遮住的词是什么。因为模型在预训练时学会了看一句话的上下文，理解句子的语义，所以在做文本分类时，比如判断情感、话题、意图，只需要在上面接一个简单的分类器，模型就能表现很好。
2025-07-14 19:01:02
786
原创 大模型架构图汇总
AI大模型技术全景视图AI大模型通用技术架构图AI大模型通用技术架构图AI大模型通用技术架构图RAG知识库业务架构图AI农业大模型技术架构图AI导购大模型技术架构图AI大模型物联网AloT架构图AI大模型合规风控管理架构图AI大模型合规管理架构图AI大模型Agent平台架构图AI大模型+CRM架构图AI导购大模型架构图
2025-07-04 10:07:33
235
原创 基于本地知识库的政务问答智能体
首先判断用户的提问是否合规，对于合规的用户输入的问题进行分类，如果是非政务咨询类的问题，直接委婉回复咨询的问题不属于咨询范围。在支持数据的迁移适配的基础上，可以做多节点的部署、节点到节点的迁移，通过这些操作，可以有效的解决真实场景的高并发问题、升级问题、用户租户问题，真正将应用向产品化迈进。政务咨询系统通过精准解答、流程提效、数据驱动、安全可控四大核心能力，实现了从 “被动咨询” 到 “主动服务” 的升级，不仅降低了政务服务成本，更提升了公众满意度和政府公信力，是数字政府建设的重要基础设施。
2025-05-29 10:20:29
1498
2
原创 基于vllm-ascend的华为atlas大模型部署
或者，gpu-memory-utilization取值0-1之间，默认取值0.9，之所以增加gpu-memory-utilization参数，是因为DeepSeek 的"max_position_embeddings": 131072，远远大于qwen3的"max_position_embeddings": 40960。解释:比如跑Qwen3-8B 模型，--tensor-parallel-size=2 表示将一个层中的计算任务分成2份，在2个 GPU 之间并行执行。利用vllm进行部署，
2025-05-13 15:20:09
2630
原创 Dify平台下基于搜索引擎SearXNG 和文本转换工具Marp的PPT助手搭建
SearXNG 是一款免费、开源的元搜索引擎，能够聚合来自多达 200 多个搜索服务的结果，同时为用户提供强大的隐私保护。简单来说，SearXNG 是一个可以私有化部署的开源搜索引擎，既满足了用户对隐私的需求，又提供了灵活的自定义选项。2、基于marp生成的ppt质量很低，和主流的AIPPT差距天壤之别，更建议基于AIPPT来生成，但是AIPPT需要付费。- json，扩展数据返回格式，增加json，否则设置SearXNG插件，添加访问search接口会报错403。这里直接安装的windows版本exe。
2025-05-07 17:01:51
1819
原创 BERTSCORE：基于bert模型评估文本生成
论文提出BERTSCORE，一种基于 BERT 上下文嵌入的文本生成评估指标，通过计算候选文本与参考文本的 token 级余弦相似度（结合贪心匹配和可选的逆文档频率加权）评估语义等价性。重要的是，这些嵌入模型捕捉的是单词在上下文中的含义，而不是静态的单词表征。：候选文本（生成文本）和参考文本均使用与所使用的预训练模型（如 BERT、RoBERTa）相对应的标记化器进行标记化。：对于候选文本中的每个标记，BERTScore 会计算其与参考文本中每个标记的余弦相似度，从而创建一个相似度矩阵。
2025-04-29 11:15:03
1244
原创 大模型数据预处理方法总结
可以直接使用现有分词器，如 GPT-2 的分词器用于 OPT 和 GPT-3，而当语料库涵盖多个领域、语言和格式时，专门针对预训练语料库定制的分词器可能带来更多优势。该分类器通常使用从高质量数据源（例如维基百科）精选的数据作为正样本，将待评估数据作为负样本，进而训练一个二分类器，该分类器生成评分用于衡量每个数据实例的质量。这种方法通过设计一系列规则或策略来识别和删除低质量的数据，这些规则或策略基于对数据特性的理解和分析，可以提高数据的质量和可用性。常见的质量过滤方法包括基于分类器的方法和基于启发式的方法。
2025-04-24 20:10:37
1412
原创 QA抽取:
问题定义：QA 抽取，即从给定的文本中抽取出问题（Question）和答案（Answer）对，是自然语言处理（NLP）领域中的一项重要任务。在构建基于向量存储的知识库时，文档通常以叙述或对话形式存储。然而，用户的查询大多是问答形式。通过在向量化之前将文档转换为Q&A格式，我们可以提高检索相关文档的可能性，并减少检索不相关文档的风险。
2025-04-23 19:42:36
951
原创 再读bert（Bidirectional Encoder Representations from Transformers）
再读 BERT，仿佛在数字丛林中邂逅一位古老而智慧的先知。初次相见时，惊叹于它以 Transformer 架构为罗盘，在预训练与微调的星河中精准导航，打破 NLP 领域长久以来的迷雾。而如今，书页间跃动的不再仅是 Attention 机制精妙的数学公式，更是一场关于语言本质的哲学思辨 —— 它让我看见，那些被编码的词向量，恰似人类思维的碎片，在双向语境的熔炉中不断重组、淬炼，将离散的文字升华为可被计算的意义。
2025-04-18 20:26:13
1194
原创 大语言模型的训练、微调及压缩技术
大语言模型（LLM）是非常庞大的深度学习模型，它们在大量数据上进行预训练。其底层的Transformer是一组神经网络，由具有自注意力能力的编码器和解码器组成。编码器和解码器从文本序列中提取含义，并理解其中单词和短语之间的关系。Transformer神经网络架构允许使用非常大的模型，这些模型通常包含数千亿个参数。如此大规模的模型可以摄取大量数据，这些数据通常来自互联网，也可以来自如包含超过500亿个网页的Common Crawl，以及约有5700万页面的维基百科等来源。语言和交流的过程可以简化为计算吗？语言
2025-04-18 16:00:08
1191
原创 基于政务问答的dify接口请求测试
在请求时，需先前往应用左侧导航的 “API Access” 部分，在此可查看文档和管理访问凭据。为保障安全，API 密钥应通过后端调用，避免在前端代码中暴露。而对话应用则调用 chat - messages API，首次调用发起对话，后续通过返回的 conversation_id 维持会话，实现与用户的持续问答交互。（1）通过接口请求和基于dify网页请求2者的结果基本是相同的，但是细节处还是有些差别，感觉应该是dify网页上还有一些后续的完善和处理的操作。代码中包含了阻塞式请求、流式请求2种请求方式。
2025-04-14 11:30:45
788
原创 Langchat平台知识库测试
Gitee AI / 阿里通义 / 百度千帆 / DeepSeek / 抖音豆包 / 智谱清言 / 零一万物 / 讯飞星火 / OpenAI / Gemini / Ollama / Azure / Claude 等大模型。模型基于ollama配置的qwen、deepseek等模型。切片管理只可以进行删除操作，不能进行编辑。是Java生态下企业级AIGC项目解决方案，集成RBAC和AIGC大模型能力，帮助企业快速定制AI知识库、企业AI机器人。新建一个政务问答的智能体，并进行提示词、知识库、模型等的配置。
2025-04-07 19:38:54
540
原创 京东云智能体平台joybuilder v3.0.0测试
类似dify一样，有空间管理的概念，dify是一个用户一个工作空间，免费版不允许自己修改多用户多租户，主要是限制了to C的企业。（1）Dify的chunk分段不是很好，如果经过人工优化后，两者的效果是相当的。（2）比如第一个问题，joybuiler会把不相关的文件也召回，这点不如dify，但是回答的还是正确的。Joybuilder的空间比较灵活，没有那么多限制，一个用户可以同时开启多个空间，空间也有权限管理。知识库的召回模式也是默认的，没有像dify那样暴露较多，可以个性化设置。
2025-04-07 19:27:22
1084
原创 2025徘徊与坚守：在传统与变革间寻找自己
整体来说，我投的简历不多，大多数都是请假去面试的，有1个是中午面试的，其余周末面试的。思考了很多，12-13k的这种对于我现在的薪资来说，没啥竞争力，15-16K的这种有点意思了，但是不够，20k的这种可以说在我这样的小城市，诚意满满了。我这样的人，总是为被人考虑的多，为自己考虑的少，最终，活成了别人，忘记了自己，屠龙少年终成恶龙。另外一个问题就是内耗严重，这种内耗不是bat的那种996，人家是真真实实的做事创造价值，但是这确实自己人疲劳自己人，下班后的通知、电话，整的一个人“没钱没时间”。
2025-04-03 20:01:16
951
原创 基于大模型的pc版语音对话问答
Solution类初始化语音合成引擎，在chat_with_ollama方法中，持续监听语音输入，调用 OpenAI 兼容模型获取回复，实现语音播报并更新对话历史。主程序初始化语音识别模型，启动各功能模块并开启 Tkinter 主循环，使应用程序能正常运行。网页端Web 语音 API，例如 Web Speech API 或者 Google Cloud Speech-to-Text API 等。采用vllm框架，部署DeepSeek-R1-Distill-Qwen-7B模型。模型下载，大概1.99G。
2025-03-28 12:13:16
1299
原创 大模型应用平台架构
MCP 是 Model Context Protocol（模型上下文协议），是一种开放标准协议，旨在为大型语言模型与外部数据源、工具和服务，提供标准化的双向通信接口，核心特性包括支持单一协议连接多种工具和服务、AI 智能体可动态发现可用工具、基于双向通信机制实现实时交互、本地与远程兼容，以及内置标准化访问控制确保安全等。HDD（机械硬盘）和 SSD（固态硬盘）作为数据的长期存储介质，HDD 适合大容量、对读写速度要求不太高的数据存储，而 SSD 以其高速读写性能，常用于存储需要频繁访问的数据。
2025-03-26 18:48:16
1741
原创 基于dify的语文作文批改agent
第二个节点，HTTP请求主要实现一个OCR识别的api post请求。实现过程，刚开始我是基于URL进行图片传递的，有问题，一直卡着过不去，后来换成基于bytes传递。第二个节点，LLM2选用的模型为Pro/Qwen/Qwen2-VL-7B-Instruct。思路1：基于OCR的思路进行作文文字的提取，再将提取的文字传给LLM进行点评。最后一个节点直接回复大模型的输出，LLM2/{x}text。第三个节点，LLM模型采用qwen2.5-14b的模型。其中OCR识别采用的百度的paddleOCR（
2025-03-25 10:34:46
1369
原创 5款视觉OCR开源模型
来自清华和旷视的研究团队提出了一个通用的OCR-2.0模型，模型能够处理各种OCR任务中的上述所有类型的“字符”，是一个统一且优雅的端到端模型，包含高压缩编码器和长上下文解码器。Umi-OCR 可以将纸质文档、书籍、合同等转换为可编辑的电子文本，提高文档存储和检索的效率。Surya：多语言文档OCR工具包，可进行准确的文本行检测，即将推出文本识别功能，以及表格和图表检测功能，可以处理各种类型的文档和多种语言。该模型可以更深入地理解丰富的文档，尤其是包含图表、图形、公式和数字的科学论文。
2025-03-25 09:21:01
5870
原创 基于dify的数学试卷批改agent
其实收集道这个需求，本来我以为只能做做选择题、填空题，甚至对于填空中的根号、分数啥的我也是不自信的，至于简答题，需要按步骤给分，我就更不自信了。但是实际做下来，发现VL大模型的强大远超我的想象。彻底颠覆了OCR的模式，这或许就是未来的一种趋势了吧。最后回复中，需要依次输出3个LLM的输出结果，设置如下，第二个LLM模型，上下文设置为第一个LLM的text。第三个LLM模型，上下文设置为第二个LLM的text。第一个LLM模型，SYSTEM中设置如下，分辨率选择高、低都可以，我这里选的低。
2025-03-24 20:18:57
477
原创 MCP(Model Context Protocol)总结
技术门槛的降低和功能的增强，正在为我们打开一个 AI 无处不在的未来...MCP 可能不是完美的协议，但在大模型时代，它就像 AI 的“万能插头”，让模型能连上现实世界。这些场景的实现，只需与 AI 简单对话，MCP 就会像一个无形的桥梁，连接起各种服务，让繁琐的操作彻底消失。提示词（Prompts）提示词是服务器提供给AI的预写消息或模板，帮助AI理解如何使用资源和工具，例如，服务器可能告诉AI：“你可以添加任务，试试说‘添加任务：买牛奶’”，从而帮助用户更轻松地完成任务。
2025-03-24 11:27:49
1208
原创 本地知识库RAG总结
第一，自己从0开始实现RAG，优点是灵活度高，可以定制，召回有保证，缺点是工作量大。3、融入“知识图谱”技术，将文档中的实体和属性形成可解释的知识图谱，在检索的时候，通过问题中语义实体或关系，基于知识图谱库获取和该问题推理相关的上下文（事实或逻辑），让大模型按照可解释的推理过程进行问题的分解和答案生成。首先通过模型进行关键词抽取，这里可以通过传统的nlp技术进行分词，也可以通过大模型进行分词，然后进行关键词按照同义词做扩充，找到关键词的候选列表，最好根据关键词候选列表调用explore方法召回局部子图。
2025-03-14 20:03:41
2340
原创 dify+mysql的诗词助手
数据库poetry中包含4张表，分别是poems，poems_author，poetry，poetry_author。通过搭建一个支持post请求的http服务，基于该服务实现SQL的查询结果输出。第一个LLM实现将用户提问转化为SQL，模型选择qwen2.5-14b模型，可以基于数据库进行多表的查询汇总，输出结果，并以表格、柱状图等形式展示。{"sql_query": "LLM-生成SQL/{x}text"}开始-->LLM-->Http请求-->LLM-->直接回复。，请求模式为POST，
2025-03-13 18:32:30
563
原创 Distilling Step-by-Step论文解读
GitHub:Google Research 团队发表的论文《Distilling Step-by-Step!》提出了一种创新的知识蒸馏方法，不仅能有效减小模型规模，还能使学生模型在某些任务上超越其教师模型。"Step-by-Step Distillation" 方法的核心创新在于其对推理过程的重视。该方法不再将 LLM 视为简单的输入输出映射器，而是着重提取其解决问题的思维链 (Chain-of-Thought)。这就像在数学教学中，不仅要求学生得到正确答案，更要理解完整的解题步骤。
2025-03-13 14:04:01
1164
原创 在unsloth框架下的基于医疗deepseek模型微调
在技术上，QLoRA涉及量化（quantization）技术，将模型的一部分权重参数存储在较低精度的数值格式中，以此减少内存使用和计算量，同时结合LoRA的低秩调整，让适应过程更加高效。与 LoRA 不同的是， QLoRA 会将插入的低秩适配器层的部分权重进行量化（通常是量化为INT4或INT8），在保持性能的同时显著降低模型的存储和计算需求。例如，对于法律、医疗等专业领域，可以使用少量的标注数据对预训练模型进行微调，帮助模型理解特定行业的术语、规则和知识，进而提升专业领域的问答能力。
2025-03-12 19:57:28
902
原创 Dify框架下的基于RAG流程的政务检索平台
索引模式采用向量检索+全文检索这样的混合检索模式，其中向量检索Embedding 模型使用bge-large-zh-v1.5，排序Rerank 模型使用bge-reranker-large模型，其他参数TopK设置为0，阈值为0.7。对于用户的提问首先进行知识库检索，输出的内容分2个分支，第一个分支进入LLM大模型，第二个分支进入代码执行模块提取出出处标题和内容。项目需要实现对于41个公司规章制度文件的检索，输出检索出自文件名称、命中的问题答案内容，并且保证原始规章制度的格式输出，不允许加工修改。
2025-03-06 20:50:37
672
原创 Llama-Factory框架下的Meta-Llama-3-8B-Instruct模型微调
具体来说，对于模型中的每一个线性层，假设其输入为\(x\)，原始的线性变换为\(y = Wx\)，在应用 Lora 方法后，线性变换变为\(y = Wx + \Delta Wx\)，其中\(\Delta W = BA\)，\(A\)是一个从输入维度映射到低维空间的矩阵，\(B\)是一个从低维空间映射回输出维度的矩阵。：在训练过程中，只对低秩矩阵进行计算和更新，计算量大幅降低。：因为微调后的模型只增加了少量的低秩矩阵参数，模型的大小增加有限，这有利于模型的快速部署，特别是在对部署时间和资源有限制的场景中。
2025-03-06 18:27:20
1477
转载 从LR到DeepSeek，模型慢慢变大了，也变强了
传统机器学习、深度学习、大模型等等都属于机器学习机器学习 = 特征工程+算法模型。其中特征工程是模型的输入，训练阶段模型会对特征（除标签列）进行各种计算期望得到的结果最大可能的接近样本的标签列。训练完成后，固化下来的参数，将用在后续的模型预测阶段中。特征工程是提升模型性能的关键环节，通过合理的特征设计，可以显著提高算法的效果上限。拥有好的特征后，算法模型能够更接近其理论效果上限，从而实现更高的预测准确性。
2025-03-06 12:13:56
631
转载 从Transformer（2017）到DeepSeek-R1（2025）
语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。
2025-03-04 11:30:54
430
CarFace-Detection-Adaboost.zip
2017-09-13
( libboost.zip )
2017-09-03
2014facebookDeepLearningforVision：TricksoftheTrade.pdf
2017-03-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人