- 博客(30)
- 资源 (4)
- 收藏
- 关注
原创 git 常用操作
这篇文章总结了16个常用的Git命令操作,包括项目克隆、分支管理、提交修改和代码合并等核心功能。主要内容有:克隆项目时同步子模块(--recurse-submodules)、分支的创建/删除/切换(checkout -b/-D)、查看状态(status/diff)、提交修改(add/commit/amend)以及代码合并与推送(rebase/push)等实用命令。这些命令涵盖了Git日常使用中的基本工作流,能够帮助开发者高效管理代码版本。
2025-08-19 20:39:25
253
原创 dockerfile及docker常用操作
Docker 构建与使用摘要 Dockerfile 是构建镜像的配置文件,包含 FROM(基础镜像)、RUN(执行命令)、COPY(文件复制)等指令。构建时执行 docker build 命令,运行容器使用 docker run。优化建议包括减少镜像层数、使用 .dockerignore 和多阶段构建。常用命令包括 docker images(查看镜像)、docker run -it(交互式运行)、docker rmi(删除镜像)和 docker ps -a(查看容器)。典型 Python 应用构建示例展示
2025-08-18 15:56:02
210
转载 ligthrag 使用详解
LightRAG是一个高效的Python RAG系统,结合文本分块、向量存储、知识图谱和语言模型(LLM)实现智能问答。核心功能包括文档处理(自动分块与存储)、知识表示(向量数据库+知识图谱)和灵活查询(支持多种检索模式)。系统具有高度可配置性,提供默认参数的同时支持自定义设置,如分块大小、存储后端选择(JSON/NanoVectorDB/NetworkX)、缓存机制等。关键特性包括异步操作支持、多模式查询(naive/local/global/hybrid/mix)以及完善的数据管理(插入/删除/状态查询
2025-07-31 10:57:44
377
原创 Langchain实现rag功能
RAG(检索增强生成)技术通过整合外部知识库提升大模型回答质量,其核心流程包括:知识库构建(文档分割与向量化存储)、查询处理(向量检索与上下文增强)、答案生成。本文以Python代码示例展示了RAG的具体实现,包括使用HuggingFace嵌入模型构建Chroma向量数据库、混合检索策略(结合向量与关键词索引)以及问答链搭建。通过将检索到的相关段落与大模型生成能力结合,RAG显著提升了专业领域问题的回答准确性,特别适用于时效性知识和私有数据场景。代码示例涵盖从文档加载到混合检索的完整流程,为开发者提供实用参
2025-07-02 21:13:13
325
原创 agent 开发
AI Agent是一种能够自主感知、决策和行动的智能系统,其核心特性包括规划任务、记忆存储、工具调用和环境交互。它区别于传统AI,融合了确定性与自主性,常见类型有零样本增强型和对话型等。Agent通过"推理+行动"框架实现自我反思和纠错,并可通过Function Call机制调用外部工具。开发者可以利用框架如LangChain构建Agent,通过代码示例展示其任务处理、自定义工具和记忆功能。Agent适用于复杂任务处理,是AI向自主化发展的重要方向。
2025-06-05 09:31:25
1136
原创 LangChain 与 LLM
LangChain是一个Python开发的LLM应用框架,提供构建大模型应用的核心组件和扩展功能。主要包含模型访问工具(Provider)、功能组件(Components)和工作流编排(LangGraph)三部分。安装只需pip install langchain和社区扩展包。基础使用包括:加载大模型、配置对话模板、流式输出和构建处理链(LCEL)。通过Redis可实现聊天记录持久化,工具机制允许模型调用外部函数。还支持Embedding向量化和One-API网关统一管理多模型。框架提供从基础调用到复杂工作
2025-05-28 16:47:13
350
原创 LangGraph 及多agent
LangGraph是一个用于构建有状态多参与者应用程序的库,支持使用LLM构建代理和多代理流程。其核心功能包括循环分支控制、持久化状态、人机交互和流式处理。系统由SDK、CLI和Studio组成,通过状态、节点和边三个核心组件建模工作流。示例代码展示了如何创建研究员、计算器和写手三个代理,通过监督者节点控制流程流转,实现自动化的任务处理流程。系统支持错误处理和流程中断恢复,适用于需要多步骤协作的复杂任务场景。
2025-05-24 15:00:00
411
原创 Llamaindex Rag 报错
在使用llamaindex进行RAG(Retrieval-Augmented Generation)时,加载模型时遇到两个常见问题。首先,使用OpenAILike格式加载模型时,model参数的值必须与部署模型时的模型名称一致,而不是模型路径。例如,如果使用lmdeploy部署模型时指定了--model-name=qwen_chat,则OpenAILike中的model参数也应设置为"qwen_chat"。其次,RAG请求大模型时可能报错,原因是部署模型时未指定对话模板。解决方法是重新部
2025-05-23 17:01:39
410
原创 LamaIndex rag(增强检索)入门
本文介绍了如何使用LamaIndex和ChromaDB构建RAG(检索增强生成)系统。首先,通过HuggingFaceEmbedding和HuggingFaceLLM加载预训练模型,并使用SimpleDirectoryReader读取文档数据,构建向量索引。接着,展示了如何使用ChromaDB进行向量存储和查询,包括文档的添加、更新、删除和查询操作。此外,还定义了对话模板,用于生成基于法律条文的回答。最后,介绍了如何持久化ChromaDB数据,并通过检索器和响应合成器进行文档检索和结果重排序。整个过程涵盖了
2025-05-13 21:55:38
343
原创 RagFlow 安装及入门使用
3 进入docker 利用编译好的docker 镜像启动服务,***目前官网提供docker 镜像是基于x86 架构的。确保 vm.max_map_count 不小于262144。如果小于262144 需要进行重置。
2025-05-09 15:10:33
366
原创 llamafactory 安装及常见错误
ValueError: When localhost is not accessible, a shareable link must be created. Please set share=True or check your proxy settings to allow access to localhost
2025-04-26 11:27:23
1017
原创 pandas 数据分析1
上一篇给大家介绍了使用pandas 读取Excel,CSV格式的数据。今天就给大家接一下数据清洗,在数据挖掘项目中数据清洗大要占到整个项目周期的60%的时间。并且数据清洗的效果很大程度上影响着模型的效果,因此数据清洗数分析和数据挖掘中占有的地位不言而喻。话不多,开始讲数据清洗。首先什么是数据清洗,数据清洗就是根据实际的项目需要,对要用到的数据进行清理。数据清洗主要进行的处理一:对数据中的缺失值进行处理。一般有两种方法,(1)直接删除(2)对缺失值进行补充。二:对异常值得处理。异常值的处理和确
2020-09-13 21:47:26
415
原创 pandas 数据处理1
本片给大介绍数据的读写部分(一)数据读取1:pandas 读取csv数据score_df=pd.read_csv("./学生成绩单.csv",index_col="序号",chunksize=10000,sep=",",skiprows=[1],encoding="utf-8",error_bad_lines=False)下面介绍下常用的参数和含义sep = ",", #csv文件的分割符号版默认为,# Column and Index Locations and Names
2020-08-23 10:58:17
411
原创 pandas 处理数据的一些常见操作,统一处理数据文件中的各种空值
我为一个使用pandas 的先手,在使用pandas 时总是出现各种问题,向大家分析一下。1:首先是数据的读入import pandas as pdscore_df=pd.read_csv("./学生成绩单.csv")当读入大量数据是需要分批读入,防止内存不够使用chunksize 来控制每次读入数据的行数score_df=pd.read_csv("./学生成绩单.csv",chunksize=10000)2:数据文件中空值的处理由于dataframe中的空值与python
2020-08-16 12:52:46
761
原创 Ubuntu pip 安装 ImportError: module 'setuptools.dist' has no attribute 'check_specifier'
在ubuntu 16.04 环境下使用pip3 下载pyhdfs 报错此前安装其他模块一直没有问题pip3 install pyhdfsImportError: module 'setuptools.dist' has no attribute 'check_specifier'使用pip install --upgrade setuptools==30.1.0 成功解决...
2020-03-02 10:51:53
1475
原创 spark 常见问题pyspark Cannot run multiple SparkContexts at once; existing SparkContext
在是使用 pyspark 连接spark 时出现一下错误,当时试了很多方都没有解决,最后终于解决。如下所示ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by <module> at /...
2020-03-02 10:06:15
1673
原创 seq2seq 网络搭建
作为一个自然言语处理的新手,以前都是在做项目是直接下载别人的模型,进行修改之后直接拿来用。前段时间试着自己搭建seq2seq网络踩了很多的坑,终究是勉强的搭建了起来。在此记录一下分享一下,希望能和正在自然语言处理学习和进阶的伙伴共同努力。写的不好也请各位大神恕罪。废话不多说了进入正题。在搭建的过程参考大神的项目https://github.com/wb14123/seq2seq-couplet...
2019-12-30 16:38:10
532
原创 vertbi 维特比分词算法实现
使用维特比算法实分词,所用的词典为搜狗词典 https://download.youkuaiyun.com/download/yangheng1/11709090为词典所在分词及过还算可以:"今天天气真好啊!我跟李明明说,我们去野外玩吧!小明说我要做作业。北京我爱你"刚入门自然语言处理还望大家不要取笑['今天', '天气', '真', '好啊', '我跟', '李', '明',...
2019-09-10 11:08:16
567
转载 资源 | 这套1600赞的NLP课程已开放,面向实战,视频代码都有
课程链接https://www.fast.ai/2019/07/08/fastai-nlp/代码地址 https://github.com/fastai/course-nlp
2019-07-17 11:52:52
6987
原创 word2vec TypeError: 'module' object is not callable
model1=gensim.models.word2vec(sentences,min_count=3,size=200,workers=4)TypeError: 'module' object is not callable使用word2vec训练此项时报错,应该改成model1=gensim.models.Word2Vec(sentences,min_count=3,size=2...
2019-06-28 10:53:32
4337
3
原创 python 读取文本
def get_contract_model(model_path): ''' 获取合同模板的内容 :param model_path: :return: 合同模板每个段落的内容 ''' file=docx.Document(model_path) contract_model=file.paragraphs return cont...
2019-04-16 17:39:59
225
原创 openyxl 公式
刚开使用写公式出现错误,后面突然发现是自己写错了总结下:sheet.cell[cl_end]="=SUM({0}:{1})".format(cl_start,cl_end) #公式表达式TypeError: 'method' object does not support item assignment应该写成sheet[cl_end]="=SUM({0}:{1})".forma...
2019-03-13 09:34:01
449
原创 python 中文注释报错
python 中文注释报错中文注释报错解决# -*- coding: utf-8 -*-#coding=utf-8在代码开始的地方添加,必须在前两行,加载其他地方无效
2018-02-24 14:09:06
2916
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅