- 博客(148)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 对于有前后逻辑依赖关系的长文本，切分时确实需要特别注意上下文的连续性，以便在召回后知识时能够尽量保留前后文的关联。
对于有前后逻辑依赖关系的长文本，切分时确实需要特别注意上下文的连续性，以便在召回后知识时能够尽量保留前后文的关联。
2025-03-28 18:43:23
887
原创 基于Jina AI的研究工作，探讨提升搜索质量的两大技术：长网页最优文本段提取与URL智能重排
XLM-RoBERTa是一个跨语言的Transformer模型，通过在大量多语言语料上进行训练，学习到了丰富的跨语言知识。模型的强大表示能力、迟分向量化的上下文信息保留、余弦相似度的相关性评估、滑动窗口的最优片段提取，以及Reranker v2的精准重排序，Jina AI提供了一套完整的解决方案，能够有效提升搜索质量。相比传统的Position Embeddings，RoPE具有更好的外推性，能够处理比训练时更长的文本序列。：计算问题与文本块之间的余弦相似度，用于评估文本块与问题的相关性。
2025-03-21 17:15:14
742
原创 DeepSearch/DeepResearch：基于Jina研究的网页片段提取与URL排序实践
如何利用**迟分（Late Chunking）**从长网页提取相关片段？如何通过**重排器（Reranker）**从数百个URL中筛选最优选项？基于“80-20”原则，Jina的研究强调搜索本质需求，经过迭代验证，显著提升了DeepSearch的质量。。Jina的研究通过迟分提取片段和Reranker排序URL，显著提升了DeepSearch的质量。这两个技术细节适用于RAG及其他搜索系统优化。。交流：在评论区留言，或访问Jina的GitHub！
2025-03-21 17:06:38
562
原创 从openai的Function calling到 mcp
从 OpenAI 的函数调用到模型上下文协议（MCP），技术发展反映了 AI 模型与外部系统交互方式的演进。以下是主要方面的详细解释，适合普通读者理解。OpenAI 的函数调用是其 API 的一部分，允许 AI 模型根据用户输入生成函数调用。这些调用由开发者处理，用于连接模型与外部工具或服务，例如天气 API 或数据库查询。它于 2023 年 6 月引入，基于 gpt-3.5-turbo-0613 模型。
2025-03-15 14:10:41
844
原创 从LoRA（低秩适应）开始 多种LoRA变体
LoRA（低秩适应）是一种参数高效的微调技术，专门为生成式语言模型（如大型语言模型，LLM）设计。传统微调需要更新模型的所有参数，这对计算资源需求很高。LoRA通过添加低秩矩阵来近似权重矩阵的更新，仅需训练少量参数，从而降低计算和内存成本。例如，对于权重矩阵 ( W_0 )，LoRA引入两个低秩矩阵 ( A ) 和 ( B )，使得更新为 ( \Delta W = A B )，其中 ( A ) 和 ( B ) 的秩 ( r ) 远小于矩阵维度。
2025-03-15 13:53:31
628
原创 deepseek r1 or deepseek v3
Deepseek 的三种模式（V3、R1 和联网搜索）各有特点，适用于不同的任务场景。根据你的任务类型和需求，选择合适的模型可以提高效率和效果。如何选择 V3 还是 R1？深度思考模型 (R1)联网搜索 (RAG)
2025-02-17 16:27:16
731
原创 以 **DeepSeek-R1-Distill-Qwen-32B** 模型的部署为例，结合 `vLLM` 框架的实践日志，详细解析大模型服务化部署的核心参数配置与优化技巧
精度选择bfloat16平衡速度与显存消耗。显存管理：合理分配模型权重与 KV 缓存空间。并发优化：根据调整请求批处理策略。vLLM 凭借显存管理机制，显著提升了大模型的服务化效率，是生产环境部署的理想选择。
2025-02-10 17:15:12
1373
1
原创 Node.js怎么调用到打包的python文件呢
在 Node.js 中调用打包后的 Python 可执行文件（如 PyInstaller 生成的.exe。
2025-02-10 17:07:37
842
原创 100%离线部署！用Qwen2.5 14B+LightRAG为中国船舶打造安全私有知识库
🌟【100%离线部署！用Qwen2.5 14B+LightRAG为中国船舶打造安全私有知识库】🌟还在担心企业数据泄露？需要完全离线的智能知识库？中国船舶的领导看过来！💡今天分享一套，基于国产Qwen2.5 14B大模型 + LightRAG框架，安全性和性能双保障！
2025-02-10 11:45:30
1209
原创 [特殊字符]【算法进阶必备！5大经典算法思想，彻底搞懂递归、分治、贪心、动态规划、回溯！】[特殊字符]
🌟【算法进阶必备！5大经典算法思想，彻底搞懂递归、分治、贪心、动态规划、回溯！】🌟你是不是刷题时总被这些算法思想绕晕？🤯别慌！今天带你一次性搞懂递归、分治、贪心、动态规划和回溯，掌握这些核心思想，算法题再也不怕！💪。
2025-02-10 11:01:48
237
原创 GraphRAG索引过程生成的Parquet文件结果导入到Neo4j
功能目标：把GraphRAG产生的结果数据导入Neo4j图数据库，方便后续处理、分析与可视化，并且介绍了后续如何在Neo4j中进行数据可视化操作以及示例查询语句。实现方式：通过Python代码，先配置相关参数（如文件路径、Neo4j连接信息等），安装必要依赖，然后定义一系列函数及操作来读取Parquet文件数据，并分批次将数据以合适的Cypher语句插入到Neo4j数据库中，同时还创建了必要的索引和约束来保障数据的完整性和查询性能。定义了一个变量。
2024-12-02 18:00:10
1481
原创 graph rag都能做哪些事情
从提供的项目目录结构看，系统具备高复杂度和模块化的设计，可能用于大规模数据处理、知识图谱构建、自然语言处理等方面。以下是一些推理出的核心能力和应用场景：上述描述中的功能模块涵盖了强大的自然语言处理、知识图谱构建以及高级工作流管理能力。以下是进一步的整理和细化：通过这些模块，系统可以高效地完成从数据采集、知识图谱构建到高级任务调度的全流程工作，尤其在处理复杂文本分析任务和多关系网络分析方面具有显著优势。这种整合化设计不仅提高了系统的扩展性和适配性，还能够为特定行业场景（如航空管理或化工安全）提供针对性解决方案
2024-12-02 17:35:28
1094
原创 基于 RAG（检索增强生成）、KAG（知识感知生成）和 CoT（链式思维）的生成式语言模型驱动推荐系统
通过细化 RAG、KAG 和 CoT 模块，并结合多维度特征（如相似购物习惯人群购物趋势等），可以构建一个高度个性化、可解释且动态适应的生成式语言模型驱动推荐系统。该系统不仅能够提供精准的推荐，还能通过自然语言解释增强用户信任，适用于电商、内容推荐和社交媒体等多个应用场景。通过系统化的设计、优化和持续迭代，能够满足不断变化的用户需求，提升整体用户体验和业务指标。
2024-11-18 16:02:00
1176
原创 基于 RAG（检索增强生成）、KAG（知识感知生成）和 CoT（链式思维）的生成式语言模型驱动推荐系统
通过细化 RAG、KAG 和 CoT 模块，并结合多维度特征（如相似购物习惯人群购物趋势等），可以构建一个高度个性化、可解释且动态适应的生成式语言模型驱动推荐系统。该系统不仅能够提供精准的推荐，还能通过自然语言解释增强用户信任，适用于电商、内容推荐和社交媒体等多个应用场景。通过系统化的设计、优化和持续迭代，能够满足不断变化的用户需求，提升整体用户体验和业务指标。
2024-11-18 15:50:30
451
原创 在openi平台 基于华为顶级深度计算平台 openmind 动手实践
是一个功能强大的深度学习开发套件，旨在提供简洁且易用的API，帮助开发者高效地进行深度学习模型的预训练、微调和推理等任务。无论是模型的开发、优化还是实际应用，都能为开发者提供全面的支持。它支持与主流深度学习框架（如PyTorch和MindSpore）的兼容，同时还原生支持昇腾NPU处理器，能够为开发者提供更高效的计算性能和优化能力。
2024-11-15 16:54:35
1585
原创 llama factory lora 微调 qwen2.5 7B Instruct模型
项目背景 甲方提供一台三卡4080显卡 需要进行qwen2.5 7b Instruct模型进行微调。以下为整体设计。要使用对进行，流程与之前提到的模型类似。LoRA 微调是一种高效的微调方法，通过低秩适配器层来调整预训练模型的权重，而不是全量训练整个模型。
2024-11-14 13:39:35
3408
2
原创 安装deepspeed找不到cuda home
安装deepspeed报错这个错误表明系统中没有正确设置CUDA_HOME环境变量，导致 DeepSpeed 无法找到 CUDA 相关的库和工具来进行编译。bash复制代码CUDA_HOME如果已经安装了 CUDA，可能是没有正确设置CUDA_HOME环境变量。你可以通过以下步骤设置：在.bashrc或.zshrc（取决于你使用的 shell）中添加以下行：bash复制代码这里假设 CUDA 安装在，如果你安装在其他路径，修改为对应的路径。
2024-11-13 13:50:26
1745
原创 从数据库类型 到数据库应用 再到如何使用生成式语言大模型赋能数据库
从数据库类型到不同类型数据结构的大模型赋能模式。打开大模型交互知识图谱新阶段。
2024-10-21 16:04:54
1330
原创 三大智能体平台深度对比：字节Coze、百度AppBuilder、智谱智能体优劣解析
三大智能体平台深度对比：字节Coze、百度AppBuilder、智谱智能体优劣解析
2024-10-17 15:26:12
6794
1
原创 数字化管理的系统上限与基于生成式大模型智能体、利用历史正负样本的经验统计数据的系统之间的差异
数字化管理的系统上线：主要依赖于规则和流程的预设，虽然具备实时数据分析能力，但其适应性和创新能力有限，通常用于标准化场景中的流程优化。生成式大模型智能体系统：则在适应性、创造性、和学习能力方面表现出色，能够在复杂多变的环境中生成动态化、个性化的解决方案，同时具备自我学习和优化的能力。然而，其决策过程的可解释性可能是一个潜在的挑战。在未来，生成式大模型智能体系统有望成为推动企业转型和创新的核心动力。推动大模型精细化智能体赋能到业务体系中，能够帮助企业在优化现有流程的同时，从创新中探索新的管理模式。
2024-10-15 13:39:34
963
原创 显存溢出困境：如何在 RTX 4090 上运行 Qwen2-VL
Qwen2-VL拥有三个参数量分别为 20亿、70 亿和 720 亿的模型。本仓库包含经过指令调优的 7B Qwen2-VL 模型。
2024-09-27 16:50:11
4477
1
原创 Paddlets时间序列集成模型回测实战：MLPRegressor、NHiTSModel与RNNBlockRegressor
dirs = [dirs: 定义了多个用于存储不同类型结果的目录。: 创建目录，如果目录已存在，则不报错。...使用装饰器定义一个可以被Ray并行化的函数，处理每个CSV文件的逻辑。代码结构使用了函数来封装CSV加载和过滤逻辑，减少了代码重复。条件判断简化将多个条件合并为单个条件判断，增强代码可读性。字典解构在设置参数时，使用字典解构来减少重复。去除多余的列表操作使用列表推导式直接从中过滤出None值，提高代码效率。注释保持了原有的注释，确保每个步骤的清晰性和可理解性。异常处理。
2024-09-27 13:50:21
1855
原创 生成式语言模型底层技术面试
GLM（General Language Model）系列也基于Transformer，并在设计中融入了一些新的优化策略，如自回归与自编码相结合。这段论文解读涉及大规模语言模型（LLMs）的快速发展，特别是以OpenAI的GPT系列模型为例。: 根据HELM的评估，GLM-130B在多个维度上与GPT-3（davinci）相当，表明其在性能上具有竞争力。这些模型在基础架构设计上都有各自的特点，但都旨在提高性能、效率和可扩展性，以应对越来越复杂的语言理解和生成任务。
2024-09-25 13:40:25
1240
原创 GLM-4-9B 是智谱 AI 推出的预训练模型 GLM-4 系列中的开源版本
我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。
2024-09-24 18:10:17
459
原创 一步一步优化一套生成式语言模型系统
以下是这套生成式语言模型解决任务的流程图概述：fill:#333;color:#333;color:#333;fill:none;查询意图计算意图生成内容意图用户输入上下文相关性理解意图识别查询目标知识库解析计算公式确定生成内容类型生成查询命令计算结果生成内容结果汇总生成最终响应用户反馈优化意图识别与处理流程。
2024-09-24 18:04:37
953
原创 一步一步优化一套生成式语言模型系统
以下是这套生成式语言模型解决任务的流程图概述：fill:#333;color:#333;color:#333;fill:none;查询意图计算意图生成内容意图用户输入上下文相关性理解意图识别查询目标知识库解析计算公式确定生成内容类型生成查询命令计算结果生成内容结果汇总生成最终响应用户反馈优化意图识别与处理流程。
2024-09-24 15:00:40
570
原创 面向pymupdf4llm与MinerU 面试题
这些面试题涵盖了与MinerU的基础知识、技术应用、实际场景中的挑战与优化策略。通过这些问题，面试官能够全面评估候选人对 PDF 解析技术的理解、工具的操作能力、以及在不同业务场景中的应用能力。这类问题不仅能测试技术基础，还能考察候选人解决复杂问题的思维方式与跨领域的技术整合能力。
2024-09-23 17:09:55
1379
1
原创 大数据时代的PDF解析：技术与挑战
在大数据时代，海量信息以不同格式存储，其中 PDF 文件凭借其广泛应用成为了各种业务场景下的主要文档格式。无论是政府文件、企业报告，还是学术论文和技术文档，PDF 都是信息交流的重要媒介。然而，随着信息的爆炸式增长，如何高效、准确地解析 PDF 内容，尤其是在面对大规模文档时，成为了一项亟需解决的技术挑战。本文将探讨大数据背景下 PDF 解析的需求、常见技术手段及面临的挑战。
2024-09-23 17:06:41
1037
原创 生成式语言模型技术栈
生成式语言模型的技术栈涵盖了从基础模型开发到优化、推理、应用的完整流程。等模型继续主导生成任务，等优化技术推动大模型在资源受限环境中的应用。与此同时，RAG技术通过结合检索增强模型生成能力，而多模态生成和跨模态技术进一步扩展了生成式AI的应用场景。
2024-09-20 14:19:41
1359
1
原创 大数据基础架构技术栈一览
上述大数据技术栈适合自托管和私有化部署的企业环境，涵盖了数据采集、存储、处理、分析、治理等多个环节。Apache Hadoop生态仍然是大数据存储和处理的基石，而随着实时流处理、分布式查询和机器学习技术的成熟，等工具逐渐成为主流。此外，容器化技术（如Kubernetes）和数据编排工具（如Airflow、Dagster）也提升了大数据集群的灵活性和自动化程度。在数据安全和合规方面，和为大数据平台提供了完善的权限控制和数据治理解决方案。
2024-09-20 14:07:42
1306
1
原创 BGE-M3 一个多功能、多语言、多粒度的语言向量模型
密集检索: 通过将文本映射到单一嵌入向量进行检索，例如 DPR、BGE-v1.5。稀疏检索（词汇匹配）: 通过计算文本中出现的词元权重，常用模型如 BM25、unicoil、splade。多向量检索: 使用多个向量来表示文本，例如 ColBERT。
2024-09-13 17:22:18
5335
1
原创 在高质量视频生成文本、图像生成文本的GLM-4V-Plus技术加持下医疗未来的方向
人工智能的进步为医疗领域带来了巨大的变革，尤其是视频生成文字、图片生成文字和医学统计数据生成文字等技术的应用。这些技术使得我们能够更全面地利用大数据来辅助诊断，为患者提供更加精确和个性化的医疗服务。
2024-08-30 19:15:58
954
1
原创 LangChain 一个面向构建基于大语言模型（LLM）的应用程序的框架
LangChain 是一个强大的框架，旨在扩展语言模型的能力，并将其应用到更复杂和多样化的任务中。通过其声明式的链、代理系统以及与外部工具的深度集成，LangChain 提供了构建基于 LLM 应用的全面解决方案。无论是自动化助手、问答系统，还是复杂的文档处理和知识管理，LangChain 都能够为开发者提供强大的工具和灵活的工作流。
2024-08-29 14:18:10
1124
原创 做大模型 千万别买苹果笔记本电脑
256-bit显存位宽，16GB GDDR6X显存，显存频率：22.4GHz。- 384-bit显存位宽，24GB GDDR6X显存，显存频率：21GHz。- 384-bit显存位宽，24GB GDDR6X显存，显存频率：21GHz。- 256-bit显存位宽，16GB GDDR6X显存，显存频率：23GHz。- 256-bit显存位宽，16GB GDDR6X显存，显存频率：21GHz。- 核心频率：2235MHz，加速频率：2520MHz。- 核心频率：2280MHz，加速频率：2520MHz。
2024-08-29 13:34:29
5126
原创 起底 QAnything 解析 目录与第三方库和工具
QAnything 是一个多功能的 AI 系统，集成了大语言模型推理、OCR、信息检索、文档处理等功能，具备多模态数据处理的能力。它可以通过 Web API 提供问答、信息检索、文档解析等服务，支持文本、图像、PDF等多种输入形式，结合嵌入向量检索技术和在线搜索功能，能够为用户提供高效的知识问答与文档解析服务。
2024-08-29 11:32:56
1502
原创 Megatron 自然语言处理实战指南
这段描述详细介绍了一个代码库在高效训练大规模语言模型（如具有数千亿参数的模型）方面的能力，特别是在使用模型并行和数据并行技术的情况下。数据预处理是大规模语言模型训练的重要步骤，旨在将原始训练数据转化为模型可用的格式。在训练大型语言模型后，您可能需要在下游任务中进行评估或对模型进行微调。以下内容详细介绍了在这些场景中如何使用命令行参数和相关脚本。
2024-08-27 15:57:36
999
原创 paddle nlp 3.0 全面拥抱开源大模型
阿里云通义千问（Qwen2）是阿里云推出的一系列先进的大型语言模型，涵盖了从轻量级到超大规模的各种模型，包括混合专家模型（Mixture-of-Experts, MoE）。Qwen2系列在多个自然语言处理任务上展现了卓越的性能，并且在一些基准测试中表现出了对比前沿开源模型和商业模型的竞争力。Qwen2系列大模型覆盖了从轻量级到超大规模的各种应用需求，提供了强大的自然语言处理和生成能力。
2024-08-20 16:19:56
1344
1
原创 适用于AIGC（人工智能生成内容）的服务器
构建一台适用于AIGC（人工智能生成内容）的服务器，要求硬件和软件的高度协同，以确保高效运行大型深度学习模型。AIGC服务器通常需要处理大规模的数据和复杂的计算任务，如训练和推理深度神经网络。
2024-08-19 17:51:07
1389
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人