- 博客(53)
- 收藏
- 关注
原创 永久免费 ! 自研的Mermaid 在线图表导出器
Mermaid 在线图表导出器是基于 Next.js 和 React 构建的 Web 工具,支持创建和导出 Mermaid 图表。核心功能包括代码编辑器、实时预览、多种主题切换及 SVG 导出,支持流程图、时序图等多种图表类型。采用 TypeScript 确保代码质量,Tailwind CSS 实现响应式设计,并部署在 Vercel 平台。该项目既可作为现代前端开发的学习案例,也能满足日常图表制作需求。
2025-10-16 10:20:15
1051
原创 # tchMaterial-parser 入门指南
tchMaterial-parser是国家中小学智慧教育平台的电子课本下载工具,支持URL解析、批量下载和Access Token认证。用户需准备Python环境并安装依赖后,通过输入教材链接或设置Token启动下载。该工具采用分层架构设计,包含GUI界面、核心业务、网络通信和存储管理等模块,支持多线程下载和跨平台Token存储。主要功能包括批量下载课本PDF、资源分类浏览和下载进度管理,适用于Windows、Linux和macOS系统。
2025-10-11 17:03:31
372
原创 Lazygi - 让git操作不再困难
Lazygit是一款基于Go开发的GitGit终端用户界面(TUI),旨在简化Git操作。它提供可视化界面管理Git仓库,支持文件暂存、提交、分支管理等基础功能,并包含交互式变基、Cherry-pick等高级操作。Lazygit采用分层架构设计,包含用户界面层、控制器层、命令层等模块,通过Gocui框架实现终端交互。支持跨平台(Linux/macOS/ keywordWindows),可通过Homebrew、apt等包管理器快速安装。其核心优势在于将复杂的Git复杂操作转化为直观的可视化界面,提升版本管理效
2025-10-01 23:12:38
906
原创 fuck-u-code 一款专门揭露屎山代码的质量分析工具
《fuck-u-code 代码质量分析工具简介》 摘要:fuck-u-code是一款专为识别"屎山代码"而设计的质量分析工具,支持Go、JavaScript等9种编程语言。该工具通过七维度指标(循环复杂度、函数长度等)进行代码评估,输出0-100分的"屎山指数"评分。具有模块化架构设计、多语言解析系统和国际化支持等特性,支持终端彩色报告和Markdown输出。安装方式灵活,可通过Go安装、源码构建或Docker使用,提供详细分析、问题排名等多种命令行选项,适合集成到C
2025-09-30 14:32:18
1080
原创 Social-Auto-Upload - 多平台社交媒体视频自动化上传工具
《Social-Auto-Upload:多平台社交媒体视频自动化上传工具》是一款专为内容创作者设计的效率工具,支持抖音、Bilibili、小红书等国内外主流平台。该工具基于Playwright自动化框架,采用前后端分离架构(Vue3前端+Flask后端),实现一键多平台视频发布、定时发布和批量上传功能。项目提供CLI和Web双操作模式,内置智能调度系统和Cookie管理,能节省90%的重复操作时间。安装需Python3.8+环境,支持Windows/macOS/Linux系统,通过配置文件即可快速部署,是社
2025-09-29 17:15:16
1099
原创 Fscan:内网综合扫描工具深度入门指南
《Fscan内网扫描工具架构解析》摘要: Fscan是一款企业级内网渗透测试工具,采用Go语言开发。其核心架构分为四层:表现层(CLI交互)、业务逻辑层(策略调度)、核心服务层(扫描引擎)和基础层(网络通信)。工具采用策略模式实现灵活扫描调度,包含40+专业插件并通过注册中心统一管理。亮点包括:模块化设计、高性能并发控制、智能服务识别算法和动态POC执行引擎。项目结构清晰,包含配置解析、端口扫描、指纹识别等核心模块,支持334种漏洞检测POC,是内网安全评估的强力工具。
2025-09-25 18:51:20
1003
原创 AiNiee 入门指南:小白也能掌握的AI翻译神器
AiNiee:智能长文本翻译神器 🔹 核心功能:专为游戏/书籍/字幕等长文本设计,支持主流格式如Mtool、EPUB、SRT等 🔹 技术亮点:事件驱动架构+插件系统,支持DeepSeek等API及本地模型 🔹 易用性:拖拽导入智能识别,三层缓存保障断点续传 🔹 特色:思维链翻译、AI术语表优化,突破传统工具限制 快速开始: 1️⃣ 配置API(推荐DeepSeek或本地Sakura模型) 2️⃣ 拖拽文件自动识别 3️⃣ 一键启动智能翻译 适合开发者与普通用户,显著提升翻译效率。
2025-09-22 16:27:42
1690
原创 MinerU 入门指南:小白也能玩转的高精度PDF解析神器
MinerU是一款专为科技文献设计的智能PDF解析工具,能够将复杂PDF文档转换为Markdown、JSON等结构化格式。相比传统工具,它具有多项创新优势:智能布局识别、阅读顺序还原、结构化保留、多媒体提取、公式LaTeX转换、表格HTML输出等核心功能。项目采用多后端架构设计(pipeline/VLM/加速引擎),支持智能批处理和动态内存优化,显著提升处理效率。MinerU特别适合处理学术论文、技术报告等专业文档,为大模型训练提供高质量的结构化数据源,解决了科技文献解析中的关键难题。
2025-09-19 15:34:28
1120
原创 FireRedTTS2 入门指南:小白也能玩转的高保真语音合成术
FireRedTTS2是一款面向长对话语音合成的流式TTS系统,支持多语言、多说话人场景。系统基于PyTorch实现,具有超低延迟(首包140ms)和高稳定性,适用于播客、聊天机器人等应用。核心功能包括音色克隆、随机音色生成、12.5Hz流式处理等,支持中文、英文等多种语言。项目提供Gradio Web界面和Python API两种使用方式,可通过Hugging Face或ModelScope获取预训练模型。安装过程包含完整环境配置、依赖安装和模型下载步骤,支持Docker部署。典型应用场景包括对话生成、独
2025-09-18 18:03:48
1227
原创 太精彩了!YCombinator 的AI编程教程
本文总结了AI辅助开发的系统化方法,包含规划、版本控制、测试、调试等全流程优化策略。核心要点包括:采用Markdown制定结构化计划,通过Git保持代码纯净,优先端到端测试,利用错误信息高效调试。建议使用多AI工具对比输出,复杂功能单独开发原型,选择成熟技术栈降低风险。同时强调DevOps自动化、定期重构和模型更新跟踪,通过模块化设计和清晰边界提高AI协作效率。全文提供了从编码到部署的完整AI协作框架,平衡效率与质量管控。
2025-09-17 18:02:41
419
原创 「RAG 效能革命」用 Markdown 框架重构知识库:从 “检索混乱” 到 “精度翻倍” 的实战指南
微软AutoGen团队开发的MarkItDown工具是一个轻量级Python工具,专为解决RAG系统中的文档预处理难题而设计。它能将20多种文件格式(包括PPT、PDF、Word等)高效转换为结构化的Markdown格式,保留文档层次结构并过滤冗余样式信息。该工具采用策略模式+工厂模式的模块化设计,支持智能文件识别和优先级转换器系统,可显著提升RAG系统的检索精度和处理效率。用户可通过pip安装或Docker方式部署,支持命令行操作和多种参数配置,特别适合需要处理异构文档的AI应用场景。
2025-09-17 10:42:11
748
原创 Agno 多 Agent 协作框架 - 手把手从零开始教程
本教程详细介绍了如何使用Agno框架构建多Agent协作系统,从创建基础问答Agent到组建专业团队。内容分为四个步骤:首先创建配置模型和简单Agent;然后为Agent添加搜索工具;接着创建多个专业Agent(网络搜索专家、新闻分析师、技术顾问);最后组建Team实现Agent协作。每个步骤都提供完整代码示例、运行方法和预期输出,帮助开发者理解Agno框架的工作原理和团队协作机制。通过本教程,读者可以掌握构建具有专业分工和协作能力的多Agent系统技能。
2025-09-05 16:05:07
1356
原创 别再瞎写 Agent 了!Agno 框架带飞:5 级智能体 + 本地 RAG,代码抄完直接封神 (一)
Agno 是一个 Python 框架,用于构建具有共享内存、知识和推理能力的多智能体系统。
2025-09-03 15:35:20
1146
1
原创 Dify RAG系统Extractor架构设计与扩展指南
Dify RAG系统的Extractor模块是一个可扩展的文档提取框架,采用策略模式和工厂模式设计,支持20多种文件格式处理。系统包含BaseExtractor抽象基类、ExtractProcessor核心处理器和Document文档模型三大部分,通过统一接口实现多格式(PDF/Word/Excel等)文档内容提取。ArchiveExtractor展示了扩展实现,支持压缩文件处理,使用临时目录提取内容并递归处理嵌套文件。该架构遵循SOLID原则,具有高扩展性,开发者可通过继承BaseExtractor并实现
2025-08-26 15:26:43
1072
原创 巧用最新AGL框架BISHENG灵思完成复杂任务
BISHENG灵思是毕昇开源的通用AI Agent,采用创新的AGL(Agent指导语言)框架,将业务专家知识注入AI系统。它能处理复杂任务如文档写作、信息搜集等,具备专家级品味和多智能体协作能力。演示案例中,灵思帮助用户搜索热门AI开源项目,通过多轮交互优化查询条件,整合GitHub和网络搜索结果,最终生成结构化报告。该工具通过自然语言引导Agent执行任务,支持专家知识注入和持续优化,适用于旅游规划、金融分析等多种场景。
2025-08-21 16:25:07
642
原创 大模型微调实战 -基于SWIFT框架
🍲 ms-swift是魔搭社区提供的大模型与多模态大模型微调部署框架,现已支持500+大模型与200+多模态大模型的训练(预训练、微调、人类对齐)、推理、评测、量化与部署。
2025-08-01 15:42:22
1377
原创 基于阿里云10分钟微调,让0.6B模型媲美235B模型!
摘要 本文提出了一种通过模型蒸馏技术,在保持任务效果的同时降低推理成本的解决方案。以物流信息抽取任务为例,使用Qwen3-235B大模型生成训练数据后,对Qwen3-0.6B小模型进行微调。方案采用魔搭社区的ms-swift框架简化微调流程,仅需单条命令即可完成。实验结果显示,微调后的小模型准确率从14%提升至98%,且响应速度更快、成本更低。方案详细介绍了数据准备、模型微调、效果验证的全流程,并提供了测试代码和业务应用建议,30分钟内即可完成部署,成本控制在5元以内,为实际业务场景提供了一套高效可行的模型
2025-07-23 17:56:43
985
原创 PyTorch深度学习房价预测完整教程
PyTorch深度学习房价预测项目摘要 本项目基于PyTorch框架构建了一个多层感知机(MLP)模型,用于预测加州房价。项目从数据预处理、特征工程到模型训练和优化提供了完整解决方案。数据集包含47,439个训练样本和31,626个测试样本,涵盖41个房屋特征。 核心亮点: 采用5层神经网络架构(33→256→128→64→32→1),包含批标准化和Dropout层 实现特征筛选、缺失值处理、异常值过滤和标准化预处理 使用Adam优化器、学习率调度和早停机制优化训练过程 通过梯度裁剪和大批量训练(1024)
2025-07-22 14:14:48
865
原创 自己训练大模型?MiniMind 全流程解析 (三) DPO训练
MiniMind DPO训练教程解析了一种无需奖励模型的强化学习方法。DPO通过直接优化人类偏好数据,简化了传统RLHF流程。文章详细介绍了DPO的核心算法、数据格式要求和完整训练实现,包括模型初始化、损失函数计算和训练循环。DPO采用对比"好/差回答"的概率比来学习人类价值观,其损失函数基于参考模型与训练模型的概率差异。训练过程需要同时维护可更新的训练模型和冻结的参考模型,通过批次数据处理和反向传播优化模型参数。该教程为开发者提供了完整的DPO训练技术实现方案。
2025-07-18 16:56:01
1365
原创 自己训练大模型?MiniMind 全流程解析 (二) 监督微调SFT
本文详细解析了MiniMind框架的监督微调(SFT)全流程,主要内容包括: 整体流程概述:从初始化到模型评估的完整训练流程,包括参数解析、模型加载、数据准备、训练循环等关键步骤。 核心技术实现: 对话模板处理:将原始对话转换为ChatML标准格式 损失掩码机制:仅对助手回复部分计算损失 预训练模型加载:支持标准模型和MoE架构切换 专用损失计算:应用损失掩码并保持MoE辅助损失 数据格式规范:采用标准JSONL格式存储对话数据,支持多轮对话交互。 该流程显著提高了模型对话质量,通过技术优化实现了高效训练,
2025-07-17 17:38:03
1248
原创 自己训练大模型?MiniMind 全流程解析 (一) 预训练
MiniMind是一个开源的大语言模型训练框架,提供从预训练到推理的全流程解决方案。本文解析其预训练流程的核心技术:1)采用余弦退火学习率调度平衡收敛与精度;2)混合精度训练结合float16前向计算与float32梯度管理加速训练;3)梯度累积技术突破显存限制;4)基于NCCL的分布式训练实现多GPU并行。框架通过模块化设计(参数解析、数据加载、训练循环等)支持高效训练,并确保实验可复现性(随机种子管理)。项目完全开源,代码详见GitHub仓库。
2025-07-15 16:28:57
1449
原创 深度学习入门教程(五)- 线性回归与优化算法
本文介绍了深度学习中的线性回归基础及其优化算法。主要内容包括: 线性回归模型的基本原理,将其视为单层神经网络,并通过房价预测案例说明应用场景 模型求解方法: 使用均方误差(MSE)作为损失函数 解析解(正规方程)和梯度下降两种求解方式 不同批量大小对梯度下降效果的影响 代码实现: 从零开始实现数据生成、模型训练全流程 使用PyTorch框架简化实现 包含参数初始化、损失计算、反向传播等关键步骤 优化算法对比: 批量梯度下降、随机梯度下降(SGD)和小批量梯度下降的特点 学习率和批量大小对训练效果的影响 文章
2025-07-11 16:48:01
302
原创 深度学习入门教程(四)- 自动求导教程
本教程系统介绍了向量链式法则与自动求导的数学原理及PyTorch实现。主要内容包括:1)向量链式法则的概念及其在线性回归中的应用;2)自动求导的基本原理和重要性;3)计算图的概念及其梯度传播机制;4)前向模式与反向模式自动求导的对比分析;5)PyTorch中自动求导的具体实现方法。通过数学案例和代码示例,详细演示了梯度计算过程,包括梯度清零、非标量反向传播等实用技巧。该内容为深度学习模型训练提供了关键理论基础和实践指导。
2025-07-11 15:42:24
493
原创 深度学习入门教程(三)- 线性代数教程
本文介绍了深度学习中的线性代数基础概念及其PyTorch实现。主要内容包括:1) 特征值和特征向量定义及其几何意义;2) 标量运算基础;3) 向量运算如长度计算和标量倍数;4) 矩阵运算包括矩阵转置和对称矩阵特性。文章通过数学案例和Python代码演示了PyTorch中的标量、向量和矩阵操作,如创建、访问元素、计算范数等。这些线性代数知识是深度学习的基础,应用于神经网络权重、特征提取、数据降维等场景。
2025-07-11 15:32:36
564
原创 深度学习入门教程(二)- 数据操作、数据预处理教程
本文介绍了深度学习中的基本数据操作与预处理方法,重点讲解N维数组和张量的使用。主要内容包括:1)N维数组在不同场景下的应用(1维特征/时间序列、2维图像/表格、3维彩色图像);2)PyTorch张量的创建(全0/1张量、特定值张量)、形状操作(reshape)和访问方法;3)常用张量运算(算术运算、逻辑运算、合并操作、累加运算);4)广播机制在不同形状张量间的运算应用。通过代码示例展示了如何在实际任务(如图像处理、特征工程)中运用这些操作,为深度学习模型准备数据。
2025-07-10 17:44:53
1013
原创 深度学习入门教程(一)
简单来说,深度学习(Deep Learning)就是更复杂的神经网络(Neural Network)。那么,什么是神经网络呢?我们通过一个简单的房价预测例子来理解神经网络的基本概念。
2025-07-09 17:27:27
1409
原创 Word2Vec模型详解:CBOW与Skip-gram
Word2Vec模型解析:CBOW与Skip-gram是两种高效的词向量训练方法,分别通过上下文预测目标词和目标词预测上下文来实现词嵌入学习。CBOW使用平均池化处理上下文信息,适合高频词和完形填空任务;Skip-gram采用双嵌入层和负采样技术,更擅长处理低频词。两者都基于分布式假设,将语义相似的词映射到相近的向量空间位置。代码实现展示了两种模型的结构差异和训练方法,包括完形填空功能示例。实验结果表明,这两种架构在不同任务中各有优势,能够有效捕捉词汇间的语义和语法关系。
2025-07-08 17:07:29
1108
原创 我的大模型应用到底行不行?LLM应用评估工具Ragas完整指南
Ragas是一个专业的大语言模型(LLM)应用评估工具包,提供端到端的解决方案。它能自动生成测试数据,支持多维度评估指标(如准确性、相关性、忠实度等),并与LangChain等主流框架无缝集成。Ragas解决了传统评估方法的主观性、测试数据匮乏等问题,通过数据驱动的方式持续优化LLM应用性能。其核心功能包括智能测试数据生成、批量评估执行、以及生产环境下的性能追踪。开发者可以快速安装并通过Python API进行单样本或数据集批量评估,特别适合RAG应用的全面质量评估。
2025-07-04 16:42:42
1378
原创 Spring AI Alibaba入门教程
Spring AI Alibaba是阿里巴巴推出的企业级AI开发框架,为Java开发者提供统一AI服务接口和生态集成。教程展示了如何快速开发智能天气预报助手,包含:1)创建Spring Boot项目并配置阿里云通义千问模型;2)编写后端控制器实现天气问答功能;3)设计前端界面展示交互效果。该框架支持多智能体工作流、企业级观测工具集成,简化了AI应用开发流程,适合构建专业天气服务等场景化解决方案。
2025-07-03 17:30:56
1028
原创 超绝AI 编程助手:快速上手 Augment Code,提升开发效率!
Augment Code入门教程摘要Augment Code是一款基于AI的智能编程助手,提供代码生成、重构和补全功能。它支持VSCode和JetBrains IDE插件安装,提供两种工作模式:Agent模式:自动化执行代码生成、优化和测试,适合大型项目Chat模式:对话式交互解决问题,适合快速开发教程演示了如何使用Agent模式自动创建Spring Boot项目,包括:读取本地文件理解项目现状制定开发计划调用各类工具执行任务生成代码后确认使用Augment Code提供免费版(50次
2025-06-30 15:54:46
13746
5
原创 Jaeger开源分布式追踪平台深度剖析(三)Jaeger默认存储Badger原理剖析
Badger Value Log是键值分离存储的核心组件,将大值存储在独立日志文件中,LSM树只保存键和值指针。其设计包含值阈值判断机制、优化的文件格式和高效的读写流程。写入时根据值大小决定存储位置,采用CRC32校验保证数据完整性。读取过程通过值指针快速定位,支持缓存友好的mmap读取。这种架构显著降低了写放大,提升了存储性能。
2025-06-10 16:36:33
1319
原创 Jaeger开源分布式追踪平台深度剖析(二)Jaeger默认存储Badger原理剖析
Badger是一个用纯Go编写的嵌入式、高性能键值数据库。它采用LSM-Tree(Log-Structured Merge Tree)架构,结合值日志(Value Log)设计,实现了键值分离存储,显著减少了写放大和LSM树的大小。
2025-06-10 16:34:40
689
原创 从零手写Java版本的LSM Tree (八):LSM Tree 主程序实现
LSM Tree主程序实现展现了以下核心特性:1. **分层存储架构**: 内存MemTable + 磁盘SSTable的分层设计2. **WAL-first原则**: 确保数据持久性和一致性3. **并发安全**: 读写锁机制支持高并发访问4. **优雅降级**: 从内存到磁盘的渐进式查找策略5. **可靠恢复**: 完整的系统崩溃恢复机制6. **监控友好**: 丰富的统计信息支持运维监控
2025-06-09 16:49:08
843
原创 从零手写Java版本的LSM Tree (七):压缩策略
压缩策略是LSM Tree性能的关键:1. **文件管理**: 控制文件数量和大小2. **空间回收**: 清理冗余和删除的数据3. **性能平衡**: 在读写性能间找到平衡4. **自适应**: 根据负载模式调整策略
2025-06-09 16:41:01
776
原创 从零手写Java版本的LSM Tree (六):WAL 写前日志
🔧 WAL核心机制:双重保障:采用先写日志后存内存的流程,确保崩溃恢复时不丢失数据高效设计:文本格式日志(操作|键|值|时间戳)配合缓冲写入器提升IO性能线程安全:通过synchronized锁和立即刷盘策略保证高并发下的数据一致性智能恢复:流式读取WAL文件,严格验证格式,自动跳过无效条目💡 技术价值:为理解LSM Tree核心原理提供完整实现范例WAL模块展示如何平衡性能与可靠性适合存储引擎开发、分布式系统学习等应用场景
2025-06-09 16:32:00
745
原创 从零手写Java版本的LSM Tree (五):布隆过滤器
布隆过滤器是一种空间高效的概率型数据结构,用于快速判断元素是否可能存在于集合中。其核心特性包括无假阴性(确定不存在)和有假阳性(可能误判存在)。在LSM Tree中,布隆过滤器被用于SSTable文件,通过跳过无效磁盘I/O提升查询性能。实现原理基于多个哈希函数映射位数组,插入时标记所有哈希位,查询时检查所有位是否均为1。优化设计采用双重哈希技术,并支持序列化存储。布隆过滤器能以极小内存代价显著减少LSM Tree的无效磁盘操作,是高性能存储系统的关键组件。
2025-06-09 16:23:33
1011
原创 从零手写Java版本的LSM Tree (四):SSTable 磁盘存储
本文介绍了高质量的Java LSM Tree开源项目java-lsm-tree,该项目专为高并发写入场景设计,具有写入超40万ops/秒的高性能。文章重点解析了第4章SSTable磁盘存储的实现细节,包括SSTable的三大特性(不可变性、有序性和自包含性)以及文件格式设计。核心代码展示了如何从内存数据创建SSTable文件,包含条目数量、有序键值对和布隆过滤器的写入过程,同时提供了从文件加载SSTable的静态工厂方法。该项目适合需要深入理解LSM Tree原理或构建高性能存储系统的开发者。
2025-06-09 16:14:49
922
原创 从零手写Java版本的LSM Tree (三):MemTable 内存表
文中重点解析了MemTable的设计原理,通过对比数据结构说明选择跳表的原因:相比红黑树和B+树,跳表在并发性能、实现简单性等方面更具优势。详细图解了跳表的层级结构和查找路径,并展示代码实现,包括使用ConcurrentSkipListMap确保线程安全、volatile保证可见性等关键设计。该项目适合存储引擎开发者、数据库学习者和面试准备者参考学习。
2025-06-09 16:08:10
902
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅