自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(30)
  • 资源 (4)
  • 收藏
  • 关注

原创 git 常用操作

这篇文章总结了16个常用的Git命令操作,包括项目克隆、分支管理、提交修改和代码合并等核心功能。主要内容有:克隆项目时同步子模块(--recurse-submodules)、分支的创建/删除/切换(checkout -b/-D)、查看状态(status/diff)、提交修改(add/commit/amend)以及代码合并与推送(rebase/push)等实用命令。这些命令涵盖了Git日常使用中的基本工作流,能够帮助开发者高效管理代码版本。

2025-08-19 20:39:25 253

原创 dockerfile及docker常用操作

Docker 构建与使用摘要 Dockerfile 是构建镜像的配置文件,包含 FROM(基础镜像)、RUN(执行命令)、COPY(文件复制)等指令。构建时执行 docker build 命令,运行容器使用 docker run。优化建议包括减少镜像层数、使用 .dockerignore 和多阶段构建。常用命令包括 docker images(查看镜像)、docker run -it(交互式运行)、docker rmi(删除镜像)和 docker ps -a(查看容器)。典型 Python 应用构建示例展示

2025-08-18 15:56:02 210

转载 ligthrag 使用详解

LightRAG是一个高效的Python RAG系统,结合文本分块、向量存储、知识图谱和语言模型(LLM)实现智能问答。核心功能包括文档处理(自动分块与存储)、知识表示(向量数据库+知识图谱)和灵活查询(支持多种检索模式)。系统具有高度可配置性,提供默认参数的同时支持自定义设置,如分块大小、存储后端选择(JSON/NanoVectorDB/NetworkX)、缓存机制等。关键特性包括异步操作支持、多模式查询(naive/local/global/hybrid/mix)以及完善的数据管理(插入/删除/状态查询

2025-07-31 10:57:44 377

原创 python携程代码示例

【代码】python携程代码示例。

2025-07-03 15:56:25 210

原创 Langchain实现rag功能

RAG(检索增强生成)技术通过整合外部知识库提升大模型回答质量,其核心流程包括:知识库构建(文档分割与向量化存储)、查询处理(向量检索与上下文增强)、答案生成。本文以Python代码示例展示了RAG的具体实现,包括使用HuggingFace嵌入模型构建Chroma向量数据库、混合检索策略(结合向量与关键词索引)以及问答链搭建。通过将检索到的相关段落与大模型生成能力结合,RAG显著提升了专业领域问题的回答准确性,特别适用于时效性知识和私有数据场景。代码示例涵盖从文档加载到混合检索的完整流程,为开发者提供实用参

2025-07-02 21:13:13 325

原创 agent 开发

AI Agent是一种能够自主感知、决策和行动的智能系统,其核心特性包括规划任务、记忆存储、工具调用和环境交互。它区别于传统AI,融合了确定性与自主性,常见类型有零样本增强型和对话型等。Agent通过"推理+行动"框架实现自我反思和纠错,并可通过Function Call机制调用外部工具。开发者可以利用框架如LangChain构建Agent,通过代码示例展示其任务处理、自定义工具和记忆功能。Agent适用于复杂任务处理,是AI向自主化发展的重要方向。

2025-06-05 09:31:25 1136

原创 LangChain 与 LLM

LangChain是一个Python开发的LLM应用框架,提供构建大模型应用的核心组件和扩展功能。主要包含模型访问工具(Provider)、功能组件(Components)和工作流编排(LangGraph)三部分。安装只需pip install langchain和社区扩展包。基础使用包括:加载大模型、配置对话模板、流式输出和构建处理链(LCEL)。通过Redis可实现聊天记录持久化,工具机制允许模型调用外部函数。还支持Embedding向量化和One-API网关统一管理多模型。框架提供从基础调用到复杂工作

2025-05-28 16:47:13 350

原创 LangGraph 及多agent

LangGraph是一个用于构建有状态多参与者应用程序的库,支持使用LLM构建代理和多代理流程。其核心功能包括循环分支控制、持久化状态、人机交互和流式处理。系统由SDK、CLI和Studio组成,通过状态、节点和边三个核心组件建模工作流。示例代码展示了如何创建研究员、计算器和写手三个代理,通过监督者节点控制流程流转,实现自动化的任务处理流程。系统支持错误处理和流程中断恢复,适用于需要多步骤协作的复杂任务场景。

2025-05-24 15:00:00 411

原创 Llamaindex Rag 报错

在使用llamaindex进行RAG(Retrieval-Augmented Generation)时,加载模型时遇到两个常见问题。首先,使用OpenAILike格式加载模型时,model参数的值必须与部署模型时的模型名称一致,而不是模型路径。例如,如果使用lmdeploy部署模型时指定了--model-name=qwen_chat,则OpenAILike中的model参数也应设置为"qwen_chat"。其次,RAG请求大模型时可能报错,原因是部署模型时未指定对话模板。解决方法是重新部

2025-05-23 17:01:39 410

原创 xtuner 大模型微调

本文主要介绍xtuner 框架微调大模型的全过程

2025-05-16 12:02:35 462

原创 LamaIndex rag(增强检索)入门

本文介绍了如何使用LamaIndex和ChromaDB构建RAG(检索增强生成)系统。首先,通过HuggingFaceEmbedding和HuggingFaceLLM加载预训练模型,并使用SimpleDirectoryReader读取文档数据,构建向量索引。接着,展示了如何使用ChromaDB进行向量存储和查询,包括文档的添加、更新、删除和查询操作。此外,还定义了对话模板,用于生成基于法律条文的回答。最后,介绍了如何持久化ChromaDB数据,并通过检索器和响应合成器进行文档检索和结果重排序。整个过程涵盖了

2025-05-13 21:55:38 343

原创 RagFlow 安装及入门使用

3 进入docker 利用编译好的docker 镜像启动服务,***目前官网提供docker 镜像是基于x86 架构的。确保 vm.max_map_count 不小于262144。如果小于262144 需要进行重置。

2025-05-09 15:10:33 366

原创 dify 部署后docker 配置文件修改

本地搭建dify 加载大模型并创建简单的应用

2025-05-07 17:23:10 1386

原创 Dify 的安装和使用入门

dify 的安装和使用

2025-04-30 10:41:36 689

原创 大模型微调xtuner 报错总结

大模型微调xtuner 报错总结

2025-04-26 11:52:36 257

原创 常用工具命令集

【代码】conda 常见命令。

2025-04-26 11:39:32 396

原创 llamafactory 安装及常见错误

ValueError: When localhost is not accessible, a shareable link must be created. Please set share=True or check your proxy settings to allow access to localhost

2025-04-26 11:27:23 1017

原创 Deepseek 本地部署

ollama deepseek 本地不是实现流程

2025-04-26 11:19:54 186

原创 pandas 数据分析1

上一篇给大家介绍了使用pandas 读取Excel,CSV格式的数据。今天就给大家接一下数据清洗,在数据挖掘项目中数据清洗大要占到整个项目周期的60%的时间。并且数据清洗的效果很大程度上影响着模型的效果,因此数据清洗数分析和数据挖掘中占有的地位不言而喻。话不多,开始讲数据清洗。首先什么是数据清洗,数据清洗就是根据实际的项目需要,对要用到的数据进行清理。数据清洗主要进行的处理一:对数据中的缺失值进行处理。一般有两种方法,(1)直接删除(2)对缺失值进行补充。二:对异常值得处理。异常值的处理和确

2020-09-13 21:47:26 415

原创 pandas 数据处理1

本片给大介绍数据的读写部分(一)数据读取1:pandas 读取csv数据score_df=pd.read_csv("./学生成绩单.csv",index_col="序号",chunksize=10000,sep=",",skiprows=[1],encoding="utf-8",error_bad_lines=False)下面介绍下常用的参数和含义sep = ",", #csv文件的分割符号版默认为,# Column and Index Locations and Names

2020-08-23 10:58:17 411

原创 pandas 处理数据的一些常见操作,统一处理数据文件中的各种空值

我为一个使用pandas 的先手,在使用pandas 时总是出现各种问题,向大家分析一下。1:首先是数据的读入import pandas as pdscore_df=pd.read_csv("./学生成绩单.csv")当读入大量数据是需要分批读入,防止内存不够使用chunksize 来控制每次读入数据的行数score_df=pd.read_csv("./学生成绩单.csv",chunksize=10000)2:数据文件中空值的处理由于dataframe中的空值与python

2020-08-16 12:52:46 761

原创 Ubuntu pip 安装 ImportError: module 'setuptools.dist' has no attribute 'check_specifier'

在ubuntu 16.04 环境下使用pip3 下载pyhdfs 报错此前安装其他模块一直没有问题pip3 install pyhdfsImportError: module 'setuptools.dist' has no attribute 'check_specifier'使用pip install --upgrade setuptools==30.1.0 成功解决...

2020-03-02 10:51:53 1475

原创 spark 常见问题pyspark Cannot run multiple SparkContexts at once; existing SparkContext

在是使用 pyspark 连接spark 时出现一下错误,当时试了很多方都没有解决,最后终于解决。如下所示ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[*]) created by <module> at /...

2020-03-02 10:06:15 1673

原创 seq2seq 网络搭建

作为一个自然言语处理的新手,以前都是在做项目是直接下载别人的模型,进行修改之后直接拿来用。前段时间试着自己搭建seq2seq网络踩了很多的坑,终究是勉强的搭建了起来。在此记录一下分享一下,希望能和正在自然语言处理学习和进阶的伙伴共同努力。写的不好也请各位大神恕罪。废话不多说了进入正题。在搭建的过程参考大神的项目https://github.com/wb14123/seq2seq-couplet...

2019-12-30 16:38:10 532

原创 vertbi 维特比分词算法实现

使用维特比算法实分词,所用的词典为搜狗词典 https://download.youkuaiyun.com/download/yangheng1/11709090为词典所在分词及过还算可以:"今天天气真好啊!我跟李明明说,我们去野外玩吧!小明说我要做作业。北京我爱你"刚入门自然语言处理还望大家不要取笑['今天', '天气', '真', '好啊', '我跟', '李', '明',...

2019-09-10 11:08:16 567

转载 资源 | 这套1600赞的NLP课程已开放,面向实战,视频代码都有

课程链接https://www.fast.ai/2019/07/08/fastai-nlp/代码地址 https://github.com/fastai/course-nlp

2019-07-17 11:52:52 6987

原创 word2vec TypeError: 'module' object is not callable

model1=gensim.models.word2vec(sentences,min_count=3,size=200,workers=4)TypeError: 'module' object is not callable使用word2vec训练此项时报错,应该改成model1=gensim.models.Word2Vec(sentences,min_count=3,size=2...

2019-06-28 10:53:32 4337 3

原创 python 读取文本

def get_contract_model(model_path): ''' 获取合同模板的内容 :param model_path: :return: 合同模板每个段落的内容 ''' file=docx.Document(model_path) contract_model=file.paragraphs return cont...

2019-04-16 17:39:59 225

原创 openyxl 公式

刚开使用写公式出现错误,后面突然发现是自己写错了总结下:sheet.cell[cl_end]="=SUM({0}:{1})".format(cl_start,cl_end) #公式表达式TypeError: 'method' object does not support item assignment应该写成sheet[cl_end]="=SUM({0}:{1})".forma...

2019-03-13 09:34:01 449

原创 python 中文注释报错

python 中文注释报错中文注释报错解决# -*- coding: utf-8 -*-#coding=utf-8在代码开始的地方添加,必须在前两行,加载其他地方无效

2018-02-24 14:09:06 2916

搜狗中文字典(含词频)搜狗及常用停词表

搜狗中文词典15万词,包含词频,和常用的停词表1980词,当初使用的时候找了很久分享出来

2019-09-10

spark 安装所需包1.zip

本资源包含了spark3.0和Hadoop2.7.1 的安装包。有本人之前在安装的时候下载包找了很久,在此处打包分享。

2020-03-02

couplet.tar.gz

对联上下联语料语料包含训练集和测试集每个集合都包含in.txt和out.txt文档。可用训练seq2seq 模型

2019-12-30

MATLB 基本数据类型应用

使用matlb 初学者使用,了解数据类型是学习语言的基础,希望对大家有所帮助。

2018-01-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除