- 博客(51)
- 收藏
- 关注
RSS订阅原创 本地部署PP-OCR各模块模型
通过 paddlex_config="./PPStructureV3_test_config.yaml"text_det_limit_side_len=1 # 输入图像最短边限制# device="gpu" # 如需使用 GPU 可取消注释。
2025-10-15 16:07:31
1020
原创 PaddleOCR-模型下载
该脚本使用 wget 命令从百度云服务器下载模型，并自动将其解压到适当的目录 prepare.sh:439-441。脚本，该脚本用于下载不同测试配置下的模型 prepare.sh:1-50。下载函数包括失败时的自动重试和进度跟踪 network.py:59-67。PaddleOCR 提供了内置的下载工具，用于处理带进度条和重试机制的网络模型下载。等，每个模式下载特定的模型集 prepare.sh:433-450。PP-Structure Models PP-结构模型。下载多个模型最全面的方法是使用。
2025-09-18 14:42:23
1013
原创 minerU
VLM（视觉语言模型）模型提供了一种替代的解析后端模型，模型下载.py:79-83。VLM 模型代码仓库是 "MinerU2.0-2505-0.9B"，enum_class.py:52-53。paddle用模型是 PP-OCR 模型（v3、v4 和 v5）转换为 PyTorch 格式的集合。命令行输入 mineru-models-download。Model Repositories 模型仓库。Pipeline Models 流水线模型。VLM Models VLM 模型。
2025-09-05 17:09:36
1070
原创 LangGraph-2-Demo
'''状态：一个共享数据结构，表示应用程序的当前快照。它可以是任何 Python 类型，但通常是 TypedDict 或 Pydantic BaseModel。节点：Python 函数，用于编码代理的逻辑。它们以当前 状态 作为输入，执行一些计算或副作用，并返回更新后的 状态。边：Python 函数，根据当前 状态 确定要执行的下一个 节点。它们可以是条件分支或固定转换。节点 和 边 仅仅是 Python 函数 - 它们可以包含 LLM 或普通的 Python 代码。
2025-08-26 17:46:38
320
原创 LangGraph-1-input定义
无需对话历史，仅需追踪 “任务参数、中间结果、执行状态” 的场景。LangGraph 的工作流（Graph）运行时，需通过。持续追踪 “用户 - 助手 - 工具” 对话历史的场景。同时追踪 “对话历史” 和 “其他业务数据” 的场景。明确状态结构，核心字段是。
2025-08-26 17:19:36
233
原创 Langchain检索策略
MultiQueryRetriever：查询改写，通过LLM自动生成“多个不同说法”的查询，从而提高召回率。支持长文档的多粒度召回。对冗余信息进行压缩再返回。自动生成多个查询，增加召回率。多种检索方式混合使用。
2025-08-04 20:42:35
181
原创 Demo-LangGraph构建Agent
// 当前执行步骤 "data": { "messages": [...], // 对话消息。"on_chat_model_stream" # 聊天模型流式输出。"on_llm_start" # 语言模型调用开始。"on_llm_end" # 语言模型调用结束。"on_tool_start" # 工具调用开始。"on_tool_end" # 工具调用结束。：工作流状态管理工具，基于内存，保存完整工作流状态。：只是个简单存储的消息列表。
2025-08-04 19:26:39
412
原创 0508-PEFT参数高效微调
•，如：及其变体。•选取一更新，如：BitFit（微调模型的bias•引入数化，如：LoRAAdaLoRAQLoRA。•微调，如：UniPELT。
2025-05-08 14:48:58
156
原创 函数调用及Chain——SQL+GLM
Langchain+chain+数据库操作_langchain 操作数据库-优快云博客本文和基于上述链接 进一步。
2025-04-30 20:42:10
1049
原创 自定义Tool
用于定义数据格式，这里用作规范Tool的输入（由LLM生成），description相当于提示词。"""Input的Schema类"""location: str = Field(..., description='用于查询天气的位置信息')# location: str = Field(..., description='用于查询天气的位置信息')Langchain构建Agent-Tavily检索工具Tool的定义，可以参考，Tavily的源码####——定义args_schema的类型为---
2025-04-30 19:47:22
488
原创 Langchain+文本摘要-refine
Refine：类似于Map-Reduce，速度慢于MR。文档链通过循环遍历输入文档并逐步更新其答案来构建响应。对于每个文档，它将和最新的传递给LLM链，以获得新的答案。
2025-04-30 16:03:04
396
原创 Langchain文本摘要
对一组文档，总结内容。当文档Token较少，通过Stuff即可总结。Document较大时，超过LLM的Token上限，则需要用MapReduce进行分布式总结。## 这里用的chroma向量数据库总结/组合文档3种方式。
2025-04-25 10:20:27
543
原创 Langchain+文本分类
result: Classification ：给result定义为Classification类。这里因是分类任务——》temperature=0，限制它创造性。
2025-04-24 21:01:35
223
原创 Temperature
是生成模型（如GPT、LLaMA等）中用于控制输出多样性和随机性的关键超参数。它通过调整模型预测概率分布的平滑程度，直接影响生成文本的创造性与稳定性。 是生成模型（如GPT、LLaMA等）中用于控制输出多样性和随机性的关键超参数。它通过调整模型预测概率分布的平滑程度，直接影响生成文本的创造性与稳定性。 是生成模型（如GPT、LLaMA等）中用于控制输出多样性和随机性的关键超参数。它通过调整模型预测概率分布的平滑程度，直接影响生成文本的创造性与稳定性。
2025-04-24 20:28:19
466
原创 Langchain+RAG+向量数据库
Prompt—》Model—》parser—》Retrieve（将Question和检索结果结合）—》chain。os.path.join(os.getcwd(), 'lanceDB')：使用当前目录，作为DB存储目录。
2025-04-24 20:18:24
290
原创 AI自动生成数据
这里Field可用；patient_id: int # 患者ID，整数类型patient_name: str # 患者姓名，字符串类型diagnosis_code: str # 诊断代码，字符串类型procedure_code: str # 程序代码，字符串类型total_charge: float # 总费用，浮点数类型insurance_claim_amount: float # 保险索赔金额，浮点数类型。
2025-04-24 17:25:48
613
原创 Langchain检索YouTube字幕
创建一个简单搜索引擎，将用户原始问题传递该搜索系统本文重点：获取保存文档——保存向量数据库——加载向量数据库专注于youtube的字幕，利用youtube的公开接口，获取元数据。
2025-04-24 15:01:33
1065
原创 Langchain_Agent+数据库
本处使用Agent+数据库，可以直接执行SQL语句。可以前文通过chain去联系数据库并进行操作；通过链的不断内嵌组合，生成SQL在执行SQL再返回。
2025-04-24 13:27:24
427
原创 Langchain+chain+数据库操作
chain或agents实现。Agents可以多次循环查询。思路：用户问题—转换—SQL查询——执行SQL——回答问题。
2025-04-18 15:34:18
1136
原创 Langchain构建RAG对话应用
本文：关注 检索器与上下文的子链、父链；即检索器也需要上下文内容。RAG是一种增强LLM知识的方法，通过引入额外的数据来实现。加载—》分割—》存储—》检索—》生成。
2025-04-18 14:41:39
703
原创 Langchain构建Agent
语言模型只能输出文本，无法执行 操作。Agent是使用LLM作为推理引擎来确定要执行的操作以及这些操作的输入应该是什么。然后根据结果，Agent进行执行。创建Agent的API。
2025-04-17 22:26:13
671
原创 Langchain-简单(程序部署成服务)
下面就简单调用gpt-4."""# 输出示例AIMessage(', # 翻译后的意大利语文本'token_usage': {#API 调用消耗的token统计},'model_name': 'gpt-4-turbo',#模型版本'system_fingerprint': 'fp_xxxxxx' #模型部署指纹，用于追踪模型版本。},id='run-xxxxxx' #本次调用唯一ID"""
2025-04-17 19:58:03
863
原创 0417 Langchain
Langchain就是，帮助大模型和外部计算、数据结合起来。登录并获取LangSmish（监控）的API key：根据。
2025-04-17 19:17:54
291
原创 0416 LangChain
LangChain对所有LLM进行了API抽象，统一了大模型访问API，同时提供了Prompt提示模板管理机制LangChain对常见的场景封装了一些现成的模块，例如：基于上下文信息的问答系统，自然语言生成SQL查询等等，因为实现这些任务的过程，就像链式调用。LangChain新版本的核心特性，用于解决工作流编排问题，通过LCEL表达式，可以灵活定义AI任务处理流程链。数据增强生成（RAG）rua各。
2025-04-16 20:14:24
645
原创 0415 检索式对话机器人
Q：Question；A：AnswerFaiss（）是由Meta（原Facebook）AI团队开发的一个开源库，专门用于高效相似性搜索和稠密向量聚类。它针对高维向量数据进行了高度优化，能够快速在大规模数据集中找到与目标向量最相似的Top-K结果，广泛应用于推荐系统、自然语言处理、图像检索等领域。## 此处用CPU版本就够。还有gpu版本。
2025-04-15 10:55:01
791
原创 0414 生成式对话机器人
因果语言模型、自回归模型：仅包含Decoder 解码器，单向注意力，根据上文预测下文。##回顾，BERT（文本分类）是自编码模型，仅包含Encoder，拥有双向注意力机制，即计算每个词的特征都能看到完整上下文（token）
2025-04-14 22:21:25
889
原创 0415 命名实体识别
B 表示实体开始，E表示实体结束，m/I表示实体中间Sen 输入文本；Gold 标签；Predict 预测标记下面 b- ~~ e- 算一个实体；计算准确度时，统计实体个数安装seqeval，及需要Microsoft Visual C++编译的解决加载tokenizer，并分词处理——》## 记住修改 num_labels
2025-04-14 21:23:58
407
原创 0414 Trainer
Trainer库是transformer库中提供训练的函数，内部封装了完整的训练、评估逻辑；并集成了多种的后端，如DeepSpeed、pytorch FSDP等。搭配TrainingArguments对训练过程中的各项参数进行配置，可以非常方便快捷地启动模型单机/分布式训练。注意：Trainer进行模型训练对模型的输入输出有限制，要求模型返回元组或ModelOutput的子类；如果输入中提供了labels，模型要能返回loss结果，如果是元组，要求loss为元组中第一个值。
2025-04-14 14:08:11
359
原创 0413 Evaluate
机器学习模型评估函数库函数库地址：https://huggingface.co/evaluate-metric文档地址：https://huggingface.co/docs/evaluate/index。
2025-04-13 22:27:08
317
原创 0413 DataCollator模型微调
用的和0412BERT文本分类实例是同一个。0412用的是Pandas读取；本处用Datasets。0412的Dataload的collate_fn是自定义的；本处使用DataCollatorWithPadding这里主要是，对Datasets一个使用，及DataCollatorWithPadding。这里就是官方提供了个Collator，并不适用与复杂数据！要求输入的Dataset字段=【input_ids , token_type_ids , attention_mask , labels】
2025-04-13 22:02:33
324
原创 0412 Datasets
遇到复杂格式数据，可以通过自定义脚本加载。下文中的json的paragraphs就包含多个字段（如左）；直接load无法获取其子字段（如右）。## 通过自定义脚本加载## field指定数据在 data字段里datasetOUTPUT加载脚本load_script.py首先 _info 定义数据集的特征，dataset.Features。其次 _split_generators_generate_examples 即 读取文件、并按格式和需求拆解字段；并返回和_info定义的相同格式数据。
2025-04-13 21:17:42
594
原创 0412Model BERT文本分类实例
#注意，这里Dataset还有用的文本数据；Dataloader需要Tokenizer处理成。导入分词器、文本分类Model Head。数据：第一列标签、第二列文本。#直接调用rbt3预训练模型。
2025-04-12 20:07:23
318
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人