- 博客(630)
- 收藏
- 关注
原创 Easy-Dataset实现文档生成数据集
Easy Dataset是一个专门为大型语言模型(LLM)创建微调数据集而设计的应用程序。它提供了一个直观的界面,用于上传特定领域的文件、智能分割内容、生成问题以及为模型微调生成高质量的训练数据。使用Easy Dataset,您可以将领域知识转换为结构化数据集,与遵循OpenAI格式的所有LLM API兼容,使微调过程简单高效。
2025-06-13 18:28:00
740
原创 SwanLab入门深度学习:Qwen3大模型指令微调
Qwen3是通义千问团队的开源大语言模型,由阿里云通义实验室研发。以Qwen3作为基座大模型,通过指令微调的方式实现高准确率的文本分类,是学习大语言模型微调的入门任务。指令微调是一种通过在由(指令,输出)对组成的数据集上进一步训练LLMs的过程。其中,指令代表模型的人类指令,输出代表遵循指令的期望输出。这个过程有助于弥合LLMs的下一个词预测目标与用户让LLMs遵循人类指令的目标之间的差距。
2025-06-10 15:36:00
662
原创 dify打造数据可视化图表
如果需要生成图表,走这个节点。Agent策略选择ReAct(Support MCP Tools)MCP服务器配置如下,url换成你自己的注意:这里必须是SSE模式,不能用streamable_http为什么?因为插件Agent策略,不支持以streamable_http协议生成图表,但是SSE协议是支持的。但是上面你明明用Cherry Studio客户端,可以生成图表了呀。我们首先要理清一点,mcp-server-chart本身是支持以streamable_http协议生成图表。
2025-06-06 16:33:00
883
原创 ComfyUI+通义万相 Wan2.1系列生成视频教程
Wan2.1 系列是阿里巴巴通义实验室推出的开源视频生成模型套件,共有 4 个模型,包括文生视频的 Wan2.1-T2V-1.3B 和 Wan2.1-T2V-14B,以及图生视频的 Wan2.1-I2V-14B在权威评测集 VBench 中,Wan2.1 以总分 86.22% 的成绩登上榜首位置,大幅领先了 Sora、Minimax、Luma、Gen3、Pika 等国内外视频生成模型具体来说,Wan2.1开源了文生视频和图生视频两种模型。
2025-05-23 10:29:00
823
原创 dify+MCP多应用,构建灵活的AI应用生态系统
通过定义分类描述,问题分类器能够根据用户输入,使用 LLM 推理与之相匹配的分类并输出分类结果,向下游节点提供更加精确的信息。
2025-05-21 07:41:00
942
1
原创 python开发Streamable HTTP MCP应用
2025 年 5 月 9 日,fastmcp发布v2.3.0版本,正式支持Streamable HTTP终于等到官方支持了!注意:2.3.0版本有bug,目前最新版本已经修复了升级到最新版本这里就不再重复了。
2025-05-15 15:44:00
915
原创 windows11 安装CUDA Toolkit,Python,Anaconda,PyTorch并使用DeepSeek 多模态模型 Janus-Pro识别和生成图片
因为公司网络做了严格限制,必须使用账号登录,才能上网。必须是指定的ip地址和MAC地址设备才可以上网。windows11开启热点,安装第三方虚拟机软件,开启WSL2虚拟机都是被禁止的,否则账号会被封锁,无法上网。挺无奈的,那么就只能使用windows 11系统来安装CUDA Toolkit,Anaconda,PyTorch这些组件,使用DeepSeek 多模态模型 Janus-Pro,识别和生成图片了。
2025-05-14 18:54:00
858
原创 DeepSeek 多模态模型 Janus-Pro 本地部署
Janus-Pro是DeepSeek最新开源的多模态模型,是一种新颖的自回归框架,统一了多模态理解和生成。通过将视觉编码解耦为独立的路径,同时仍然使用单一的、统一的变压器架构进行处理,该框架解决了先前方法的局限性。这种解耦不仅缓解了视觉编码器在理解和生成中的角色冲突,还增强了框架的灵活性。Janus-Pro 超过了以前的统一模型,并且匹配或超过了特定任务模型的性能。
2025-05-08 19:17:00
803
原创 windows11 安装WSL2详细过程
时间来到 2017 年,事情正在起变化。微软正式发布了「适用于 Linux 的 Windows 子系统」,即人们熟知的 Windows Subsystem for Linux,简称 WSL。在 2019 年,微软又基于 Hyper-V 架构的部分功能,推出了全新的 WSL 2。它能够在一个高度优化的虚拟化中运行完整的 Linux 内核。
2025-05-07 16:01:00
1160
原创 ragflow k8s部署详细过程
ragflow官方提供的安装方式是docker-compose方式部署的,单机运行。k8s部署方式,暂未提供。不过我们可以通过工具,结合docker-compose.yaml,来推演出对应服务的yaml进行部署。过程有点曲折,结果很美好。接下来,本文将使用ragflow-0.18.0,来进行演示详细部署过程。
2025-04-28 16:07:00
737
原创 MCP协议Streamable HTTP
2025 年 3 月 26 日,模型上下文协议(Model Context Protocol,简称 MCP)引入了一项关键更新:用 Streamable HTTP 替代原先的 HTTP + SSE 作为默认传输方式。这一变更在解决原有方案中连接不可恢复、服务端长连接压力大等问题的同时,依然保留了 SSE 带来的流式响应优势。
2025-04-24 19:01:00
1719
原创 Crawl4AI简单实用
Crawl4AI 是一个开源的网页爬虫和数据抓取工具,一个python项目,主要为大型语言模型(LLM)和 AI 应用提供数据采集和处理服务。
2025-04-18 18:37:00
817
原创 SearXNG+MCP实现搜索引擎,想怎么搜就怎么搜
MCP应用市场,有很多搜索引擎的应用。但是你们会发现,普遍都需要api-key。你必须花钱购买api-key才能实现搜索功能。问题来了,我就想用免费搜索的,就像百度一样,可不可以?答案是可以的,需要借助一下工具SearXNG,自己本地搭建SearXNG,然后使用python调用SearXNG api接口,最后用fastmcp封装一个MCP应用就可以了。
2025-04-17 15:24:00
350
原创 MCP数据脱敏应用开发
指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。
2025-04-17 00:07:00
313
原创 MCP应用k8s部署
生产环境dify是部署在k8s里面的,MCP应用虽然在ECS的docker中运行,没法做到统一管理,所以需要部署在k8s里面才行。
2025-04-17 00:07:00
206
原创 MCP应用docker部署,docker-compose部署
前面几篇文章,MCP应用直接用的python3 server.py运行的,如果服务器重启,进程就会关掉,很不方便。所以需要使用docker部署,实现开机自启动。
2025-04-16 13:20:00
354
原创 FastMCP实践开发应用
定义:FastMCP是一个用于构建MCP服务器的Python框架,它为开发者提供了一种简单优雅的方式来创建MCP服务器,使AI助手能够访问本地工具和资源。核心功能:工具(Tools):类似于API的POST端点,支持执行计算和产生副作用,可以处理复杂的输入输出。资源(Resources):类似于API的GET端点,用于加载信息到LLM的上下文,支持静态和动态资源。提示模板(Prompts):定义可重用的交互模式,支持结构化的消息序列,帮助规范AI交互行为。
2025-04-12 19:00:00
777
原创 MCP开发应用,使用python部署sse模式
MCP服务端当前支持两种与客户端的数据通信方式:标准输入输出(stdio) 和 基于Http的服务器推送事件(http sse)
2025-04-11 18:38:00
681
原创 MCP全面解析
在日常工作和学习中,我们经常需要与。大家请注意,我的插画中的箭头都是从。大模型可以通过这些工具与。是整合了之前各大模型不同的。访问和操作这些外部工具。在接收到请求后,会通过。等外部工具进行交互。
2025-04-11 17:44:00
474
原创 dify对接RAGflow Agent
在前面几篇文章,介绍了RAGflow Agent,实现了text-to-sql功能,以及RAGflow Agent api接口调用。
2025-04-09 15:38:00
318
原创 dify执行python代码超时Run failed: error: timeout
如果是docker-compose 方式部署的,直接修改.env文件。如果是k8s部署的,修改全局configMap配置。代码执行过程中读取操作的最大等待时间。sandox工作线程最大运行时间。重启sandox组件即可。
2025-04-09 15:22:00
562
原创 RAGflow Agent api接口调用
在上一篇文章中,介绍了text-to-sql,使用RAGflow Agent实现的。在业务系统中,需要调用它。但是在Agent页面,没有相关API调用文档。注意:RAGflow只有一个API调用设置这里面,只是介绍了一部分API接口,显示并不完整。
2025-04-09 14:48:00
552
原创 RAGflow搭建text-to-sql的AI研发助手
text-to-sql 技术允许用户通过自然语言提问,系统自动将其转换为 SQL 语句并执行,大大降低了数据查询的门槛,提高了工作效率。text-to-sql 技术在数据分析、智能客服、数据可视化等领域都有着广泛的应用前景。例如,在企业的日常运营中,业务人员可以直接通过自然语言询问 “上个月各地区的销售额是多少”,而无需关心复杂的数据库表结构和 SQL 语法,就能快速获取所需数据。
2025-04-09 14:04:00
1048
1
原创 k8s部署dify1.1.3详细过程
dify官方提供的安装方式是docker-compose方式部署的,单机运行。但是在企业生产环境,单机没法提供冗余,一旦故障,就很麻烦了。如果有大量的APP用户,那么单机承受不住这么多并发,也会出现故障。很多小伙伴们,想在k8s中运行dify,解决冗余以及并发问题,直接扩容节点即可。对于我们这种个人开发者来说,囊中羞涩,不愿意花费这笔钱。企业版还得联系商务,提供企业相关信息,特别麻烦。对于在k8s中部署dify,确实比较难。几个月前一筹莫展,经过不懈的努力,终于搞定了。
2025-04-06 00:56:00
968
2
原创 ubuntu 22.04安装NFS
定义NFS(Network File System)是一种分布式文件系统协议,最初由 Sun Microsystems 开发,并于1984年发布。它允许不同主机通过网络共享文件和目录,就像这些文件和目录是本地存储的一部分。
2025-04-04 21:06:00
819
原创 ubuntu 22.04安装harbor
Harbor 是一个企业级的云原生容器镜像仓库,由 VMware 开发并贡献给 Cloud Native Computing Foundation (CNCF)。它在传统的 Docker Registry 基础上进行了增强,提供了许多企业级功能,如安全、访问控制、镜像签名、漏洞扫描等。主要功能安全性与漏洞扫描集成 Clair 或 Trivy 等安全工具,自动扫描镜像中的安全漏洞,确保镜像的安全性。支持镜像签名和内容信任,确保镜像的完整性和可信度。访问控制。
2025-04-04 18:51:00
820
原创 ubuntu 22.04安装k3s
K3s 是一个轻量级的 Kubernetes 发行版,专为在资源受限的环境中运行 Kubernetes 而设计。它是 Rancher Labs 开发的,旨在简化 Kubernetes 的部署和管理,同时保持与上游 Kubernetes 的兼容性。K3s 的特点轻量级K3s 是一个轻量级的 Kubernetes 发行版,设计用于在资源受限的环境中运行,如边缘计算、物联网设备、开发环境等。它通过移除一些不必要的组件和依赖来减小体积,同时保持了 Kubernetes 的核心功能。易于安装。
2025-04-04 18:12:00
701
原创 ubuntu 22.04安装docker
Docker Compose 是一个用于定义和管理多容器 Docker 应用程序的工具。它允许你通过一个 YAML 文件来定义服务、网络和卷,然后使用简单的命令来启动、停止和管理这些服务。主要功能多容器管理Docker Compose 允许你定义多个容器及其依赖关系,简化了多容器应用程序的部署和管理。配置文件使用一个文件来定义服务、网络和卷,使得应用程序的配置更加清晰和可维护。环境隔离可以为不同的环境(如开发、测试、生产)创建不同的配置文件,轻松切换配置。命令简化。
2025-04-04 18:05:00
896
原创 dify升级,PostgreSQL数据库字段更新处理
dify运行在容器中,PostgreSQL用的是阿里云,已经运行了很长一段时间。某些表的数据量很大,比如workflowruns表,就有100GB。这个主要是,详细记录了工作流的执行情况,包括执行时间、状态、结果等信息。版本比较老,0.14.2,需要升级到0.15.3。升级之前,除了对数据库做备份之外,还需要知道升级过程中,哪些表需要做更新处理。因为某些大表如果要添加字段,索引等操作,非常耗费时间,长达3个小时以上。
2025-04-03 16:13:00
1049
原创 gitlab批量删除分支
gitlab的java项目,运行几十年了,分支特别多。开发人员一般不会主动删除分支,长期下来,分支就特别多。按照开发流程上来说,有新需求和bug,会开一个分支出来。等功能测试完成上线后,就会合并到master分支。那么这些多余的分支就是没用的,需要删除。
2025-04-03 11:10:00
336
原创 mysql批量替换sql文件,AUTO_INCREMENT修改为1
使用Navicat导出数据表结构,AUTO_INCREMENT的值,会特别大。但是因为业务需求,需要将表结构在另外一套环境执行,并且要求AUTO_INCREMENT的值必须为1。因为初始化表sql脚本,是针对AUTO_INCREMENT为1的情况下编写的,否则运行sql脚本会出错。
2025-04-03 10:41:00
212
原创 Ubuntu 24.04.2修改ssh端口
阿里云新买了一台服务器,操作系统是Ubuntu 24.04.2。由于ssh默认端口是22,安全部门不允许22开放,需要修改端口才行。
2025-04-02 18:58:00
380
原创 nacos批量导入
由于mysql做了迁移,需要批量修改mysql地址。但是java应用有上百个,修改起来很麻烦。所以需要通过调用nacos api接口来进行批量修改。
2025-04-02 18:48:00
148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人