- 博客(357)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 what can I do
本文涵盖图像处理与大模型两大技术方向。图像领域聚焦超分辨率、去噪及医学影像增强；大模型方向覆盖LLM训练全流程（数据清洗、RLHF微调、分布式训练）与行业定制化开发（医疗/金融），并详述部署优化方案（DeepSpeed/vLLM）。核心技术包括nnUNet医学分割、LoRA微调等，形成从研发到落地的完整技术栈，特别强调医疗影像增强与行业模型适配的实践价值。
2026-01-16 16:30:58
227
1
原创 SH17 Dataset for PPE Detection 数据集介绍
SH17 Dataset 是面向工业安全场景的PPE检测数据集，涵盖安全帽、反光背心等目标，适用于建筑工地、工厂车间等复杂环境下的目标检测任务。数据集包含真实场景中的光照变化、遮挡与尺度差异，具备较强挑战性，支持PASCAL VOC/YOLO标注格式。广泛用于训练与评估安全帽佩戴检测模型，助力智能监控与违规预警系统研发，是智慧工地与安防研究的重要基准资源。
2026-10-10 11:40:18
226
原创 加速模拟器timeloop 环境配置
本文介绍了在Ubuntu 22.04 Docker环境中搭建Timeloop加速器建模工具的完整流程。Timeloop由NVIDIA开源，用于DNN加速器架构探索，支持数据流映射、性能建模与搜索。通过Docker构建包含编译环境与Timeloop源码的镜像，可快速部署并运行建模实验，适用于芯片设计早期评估与学术研究，提升硬件设计效率。
2026-09-20 14:53:12
67
原创 智能体学习--Agent Data Protocol一种智能体数据通用翻译器
提出ADP代理数据协议，解决Agent数据格式碎片化问题。该协议将多源轨迹标准化为统一中间表示，使工程复杂度从O(D×A)降至O(D+A)。基于13个数据集、1.3M轨迹微调，模型平均提升约20%，跨域混合数据优于单域。全部代码与数据开源，降低大规模监督微调门槛。
2026-09-02 15:16:33
444
原创 多平台终端--electerm
Electerm是一款跨平台的终端工具，支持SSH、SFTP、FTP、Telnet、串口、RDP、VNC和Spice等多种协议，兼容Windows、macOS、Linux、Android和HarmonyOS等主流操作系统。此外，它还适配老旧系统如Ubuntu 18、Windows 7和macOS 10+，并支持统信UOS、银河麒麟等国产Linux发行版以及龙芯LoongArch架构。
2026-08-19 14:20:56
305
原创 高效文档解析工具anydoc
AnyDoc 是一个高效的 Rust 库，支持将 Word、PowerPoint、Excel、OpenDocument、RTF、EPUB、CSV 和 PDF 等多种文档格式转换为 GitHub 风格的 Markdown 文本。该库还提供了 Node.js、Python 和浏览器（通过 WebAssembly）的接口，方便跨平台使用。开源地址：https://github.com/firecrawl/anydoc
2026-08-06 18:05:18
200
原创 DNN加速器模拟器--timeloop
Accelergy-Timeloop是一个开源基础设施，用于协同估算和优化深度神经网络（DNN）加速器的能耗与性能。它结合了Accelergy（基于高层描述的能耗估算框架）和Timeloop（加速器建模与映射空间探索工具），提供从算法到硬件的全栈分析能力。该工具支持多种加速器架构，能够自动生成优化的数据流映射方案，并给出详细的能耗/性能报告。项目采用模块化设计，支持用户自定义组件模型和能耗表，适用于早期设计空间探索和架构评估。
2026-08-02 12:24:37
231
原创 统一大模型接口工具
LiteLLM是一个统一封装100+大模型API的Python工具，提供两种使用模式：Python SDK直接调用和Proxy网关服务。核心特点是统一参数格式，只需修改model名称即可切换不同厂商模型（如OpenAI、Claude、DeepSeek等）。安装可通过pip install litellm[proxy]获取完整功能。 Python SDK模式下，调用方式简单统一，支持流式输出，model命名需遵循"厂商前缀/模型名"格式。Proxy网关模式则启动兼容OpenAI协议的API服务，通过配置文件管
2026-07-31 14:44:08
284
原创 免费天气查询API
Open-Meteo提供免费天气API，可获取逐小时温度（2米高度）和天气代码数据。用户可通过简单API调用查询全球范围的实时天气信息，适用于应用程序开发和数据分析。该服务无需注册，支持多种参数组合查询，返回JSON格式数据。天气代码采用WMO标准，便于识别降水、云量等天气状况。开发者可灵活集成到各类项目中，获取高精度气象数据。
2026-07-29 15:23:38
210
原创 常用开源大模型工具调用记录--一劳永逸
OpenRouter和OmniRoute是两个开源的AI API路由工具。OpenRouter提供统一API访问多个AI模型（如GPT），支持通过Python调用，需API密钥和可选站点信息。OmniRoute则是本地运行的轻量级方案，无需初始配置即可自动路由请求（如测试时使用model:"auto"）。两者都简化了多模型集成，前者适合云端部署，后者便于本地快速启动。
2026-07-28 11:26:29
79
原创 DNN加速--GAMMA
本文提出GAMMA框架，针对DNN加速器硬件映射空间爆炸问题，设计基于遗传算法的自动化优化方案。核心创新包括：1）可变长度基因组编码，支持1~3级并行维度灵活调整；2）领域专用遗传算子（生长/老化/重排序），动态优化分块策略、计算顺序与并行层级；3）端到端闭环工作流，结合MAESTRO代价模型评估延迟/能耗。实验表明，GAMMA在边缘/云端硬件上均显著优于基线，延迟降低最高$1.3×10^7$倍，能耗优化42倍，并支持跨层流水线两级优化。代码已开源。
2026-07-07 15:33:18
382
原创 完全开源的语言模型学习记录--HyGRAG
HyGRAG提出了一种统一上下文与关系感知的图检索增强生成框架，通过混合异构图索引和分层社区摘要，解决了现有方法无法有效融合文本细节与实体关联的问题。该框架包含离线分层索引构建、双路协同检索、分层信息融合和动态增量更新四大模块，在事实QA、多跳推理等任务上平均提升9.7%性能，同时支持高效语料更新。实验表明，HyGRAG显著优于单一上下文或关系类基线，且具备良好的模型鲁棒性和工程适用性。
2026-07-02 19:50:20
733
原创 完全开源的语言模型学习记录--MetaRAG
MetaRAG提出首个基于元认知理论的检索增强大模型框架，通过"监控-评估-规划"三段式闭环解决传统RAG在多跳问答中无法自省错误的问题。核心创新包括：(1) 定位三类错误根源（知识不足/冲突/推理错误）；(2) 双空间架构（认知生成+元认知调控）；(3) 分场景定制修正策略。实验显示其在HotpotQA和2WikiMultiHopQA上EM分别提升26%和34.6%，显著优于Reflexion等基线。关键发现：外部知识完备性判断对性能贡献最大，推理不完整是最常见错误类型。
2026-07-02 16:29:49
493
原创 AI 全自动短视频引擎--Pixelle-Video
Pixelle-Video是一款AI驱动的全自动视频创作工具，用户只需输入主题即可自动完成全流程制作。该工具支持智能文案撰写、AI配图/视频生成、语音解说合成、背景音乐添加及一键视频合成，无需任何剪辑经验。通过GitHub开源项目提供，致力于零门槛视频创作，实现"一句话生成视频"的高效体验，大幅降低短视频制作门槛。
2026-07-02 11:19:58
197
原创 完全开源的语言模型学习记录--agent skill规范研究
Agent Skill 书写规范摘要 Agent Skill 是大模型可调用的标准化工具单元，包含结构化定义、自然语言描述和代码实现三部分。
2026-06-26 17:43:21
494
原创 完全开源的语言模型学习记录--Unlimited OCR
百度Unlimited OCR提出新型R-SWA（参考滑动窗口注意力）机制，解决现有端到端OCR长文档解析的显存与速度瓶颈。该模型将注意力分为静态视觉参考token（永久保留）和滑动文本窗口（固定128长度），实现KV缓存恒定占用，支持数十页文档单次前向解析。基于3B MoE架构，在OmniDocBench单页任务上综合得分达93.23%（提升6.22%），40+页长文档识别误差仅0.1069，推理速度不随文本长度衰减。
2026-06-26 17:14:28
574
原创 完全开源的语言模型学习记录--KAG
KAG（知识增强生成）框架，通过融合知识图谱与检索增强生成技术，显著提升专业领域大模型问答的准确性与逻辑推理能力。KAG创新性地构建了分层知识表示体系（LLMFriSPG）、图谱-文本双向索引、逻辑形式求解引擎、语义对齐机制和专项模型增强模块，在政务、医疗等场景中验证了其优越性。实验表明，KAG在多个多跳问答数据集上大幅超越现有方案，产业落地效果显著（政务问答精度提升25%，医疗问答准确率超93%），为专业领域知识推理提供了系统化解决方案。
2026-06-25 18:18:03
1220
原创 完全开源的语言模型学习记录--推理加速Domino
Domino，一种新型投机解码框架，通过解耦因果建模与并行草稿生成，显著提升大模型推理效率。传统自回归草稿（如EAGLE-3）接受长度高但计算开销大，并行草稿（如DFlash）延迟低但质量差。Domino创新性地在并行草稿基础上增加轻量因果校正头（仅56M参数），利用GRU编码时序信息并通过低秩残差修正logits，结合教师强制训练与渐进式课程损失，实现草稿质量与效率的平衡。
2026-06-24 17:56:24
838
原创 多模态金融基础模型（MFFMs）研究趋势研讨
《多模态金融基础模型（MFFMs）研究综述》首次系统梳理多模态金融基础模型的发展现状与挑战。传统单文本金融大模型（FinLLM）难以处理金融领域复杂的图文、音频、时序等多模态数据，而MFFMs通过统一解析异构金融信息，构建智能金融生态。文章提出数据中心研发范式，划分八大金融数据模态，并构建双类别金融智能体框架（工具/业务智能体）。研究指出MFFMs面临数据质量、模型幻觉、监管合规等六大落地瓶颈，建议采用零知识证明+区块链技术构建安全护栏，同时提出开放生态建设方案。
2026-06-24 11:51:38
677
原创 数字员工--前番
数字员工（虚拟员工/AI数字劳动力）是融合AI、RPA、大模型等技术的数字化虚拟劳动力，分为流程型（无形象，自动化处理数据、文本、跨系统任务）和数字人型（可视化形象，适用于接待、直播等交互场景）。其核心优势包括24小时工作、低成本、零差错、快速扩容及人机协同能力，区别于传统自动化脚本和普通客服机器人。应用覆盖金融、政务、零售等多个领域，通过替代重复性工作提升效率，成为企业数字化转型的新型生产力工具。
2026-06-23 11:03:26
338
1
原创 完全开源的语言模型学习记录--JustRL 小模型极致简化训练
JustRL：极简强化学习方案实现1.5B小模型数学推理SOTA性能 清华大学团队提出JustRL方案，通过单阶段训练+固定超参数的极简设计，在1.5B参数小语言模型上实现数学推理任务突破。该方案仅保留熵控制等基础技巧，摒弃动态调度、多阶段训练等复杂设计，在DeepSeek和Nemotron基座模型上分别取得54.9%和64.3%的9项基准平均准确率，计算量比传统方法减少50%以上。
2026-05-28 15:39:35
443
4
原创 完全开源的语言模型学习记录--Dispersion Loss 降低小模型坍缩
该研究揭示小型语言模型存在嵌入坍缩现象——token嵌入收敛到狭窄子空间，余弦相似度趋近1，而大模型天然具备嵌入分散特性。知识蒸馏无法缓解此问题，为此提出分散损失作为辅助训练目标，通过角度距离正则化促使嵌入均匀分散。实验表明，该损失能有效逆转坍缩，在GPT2/Qwen3小模型上实现10项基准任务性能提升，全预训练时平均增益达+1.17（3.3%），尤其在TruthfulQA（+7.4）等知识推理任务表现突出。研究为优化小模型提供了无参几何正则化新思路。
2026-05-19 11:18:08
472
9
原创 完全开源的语言模型学习记录--零代码微调框架Axolotl
Axolotl是一个开源的大语言模型微调框架，通过YAML配置文件简化训练流程，支持SFT/DPO/RLHF等多种方法。其特点包括：配置驱动、支持50+主流模型架构、覆盖多种训练算法、优化分布式与显存使用（FSDP2/DeepSpeed等），并集成LoRA/QLoRA等技术。适用于私有模型微调、开源社区迭代及科研验证，相比同类工具具有更全面的模型支持和训练方法。安装简单，只需pip安装后通过YAML文件启动训练。
2026-05-11 16:33:12
342
1
原创 完全开源的语言模型学习记录--DFlash源码分析2
该方法的核心思想是通过知识蒸馏技术，使小模型学习大模型的行为，从而在保持推理质量的同时显著提升推理速度。
2026-04-28 18:08:25
380
1
原创 完全开源的语言模型学习记录--DFlash源码分析
基于 Qwen3 大模型的 speculative decoding（推测解码）加速推理代码，核心是用轻量 draft 模型（草稿模型） 提前预测多个 token，再用目标大模型验证，大幅提升推理速度
2026-04-28 17:50:35
465
1
原创 完全开源的语言模型学习记录--S0 Tuning 不动权重微调
S₀ Tuning是针对混合循环-注意力大模型的零推理开销参数高效微调（PEFT）方法，仅优化各循环层的初始状态矩阵S₀、冻结全部模型权重，在约48条执行验证的HumanEval训练样本下，于Qwen3.5-4B上实现HumanEvalpass@1提升23.6±1.7pp超越LoRA 10.8pp（p<0.001）；在FalconH1-7B上与LoRA效果相当且无需权重合并，跨域迁移至MATH-500、GSM8K效果显著，纯Transformer上前缀调优失效，验证循环状态是混合模型高潜力适配面。
2026-04-28 17:25:48
423
原创 大语言模型加速--DFlash草稿模型
DFlash是一种轻量级块扩散草稿模型，专为大语言模型投机解码加速设计。其核心是通过目标模型引导的块级并行预测训练，让小模型一次性生成整块token草稿（默认块长16），再由大模型验证接受，实现4-6倍推理加速。模型采用5-8层轻量架构，通过特征融合和KV注入技术深度对齐目标模型输出分布，配合随机锚点与块内双向注意力机制训练。训练数据使用目标模型生成的响应构建，采用logit蒸馏损失和位置感知损失优化，最终实现高效块级并行生成与验证。相比传统逐token解码方案，DFlash在保持生成质量的同时显著
2026-04-27 18:04:21
929
原创 小参数强性能模型--LFM2.5-350M
Granite-4.0-H-350M 是基于 Granite-4.0-H-350M-Base 微调开发的轻量级指令模型，采用开源指令数据集和内部合成数据进行训练。该模型支持多种自然语言处理任务，包括文本分类、问答、代码补全、函数调用和多语言对话等，适用于增强检索生成(RAG)和中间填充(FIM)代码补全等场景。开发过程中结合了监督微调、强化学习和模型合并技术。
2026-04-27 17:21:33
276
原创 三大主流推理框架如何选型--SGLang、KTransformers、vLLM
本文对比了三大主流大模型推理框架vLLM、SGLang和KTransformers的核心特性与适用场景。vLLM凭借PagedAttention技术在通用高吞吐推理和长文本处理上表现最优；SGLang通过RadixAttention在多轮对话和结构化生成场景中吞吐量提升40%-60%；KTransformers则专注于CPU-GPU异构计算，能在极低显存下运行超大模型。测试数据显示，单轮对话vLLM性能最佳，多轮场景SGLang优势明显，而资源受限环境KTransformers是唯一选择。开发者应根据实际需
2026-04-24 16:03:46
966
原创 完全开源的语言模型学习记录--TrilinearCIM架构
TrilinearCIM架构，基于双栅铁电场效应晶体管（DG‑FeFET），通过背栅调制实现三操作数乘累加，在无需运行时非易失性存储器（NVM）重编程的情况下完成 Transformer 自注意力全流程计算，在 BERT‑base 与 ViT‑base 上验证，相比传统 FeFET CIM 实现最高 46.6% 能耗降低、20.4% 延迟降低，9 项 GLUE 任务中 7 项精度更优，是首个纯 NVM 核内完成 Transformer 注意力计算的架构。
2026-04-24 12:03:51
424
原创 完全开源的语言模型学习记录--LEANER低成本数据集构建
本文提出无噪声、低复杂度原则，构建LEANER 数据集（含 71M 预训练、7M 指令微调数据），打造简化语言环境训练TinyHelen 小型语言模型，验证简化数据可提升小模型学习效率与指令遵循能力，还以低成本方式完成模型架构对比与课程学习策略探索，为小模型高效训练与自进化智能体研发提供基础。
2026-04-23 18:16:07
425
原创 完全开源的语言模型学习记录--Lora-Pre低秩优化器
本文提出LoRA-Pre低秩优化器，通过理论证明动量EMA更新等价于在线线性回归，将动量矩阵分解为低秩乘积以压缩优化器状态。该方法适配Adam与Muon优化器，在60M-1B参数Llama模型预训练中取得最优困惑度，微调阶段较标准LoRA在Llama3.1-8B和Llama-2-7B上分别提升3.14分和6.17分，秩效率达基线的8-16倍。核心创新在于动态连续子空间更新和二阶动量重参数化，解决了传统方法的误差累积问题，同时显著降低内存开销。
2026-04-23 17:55:22
675
原创 基于vllm+triton的大模型推理加速方案
本文介绍了一种基于vLLM和Triton Inference Server的Qwen3-0.6B模型高性能推理部署方案。主要内容包括： 环境与硬件要求：推荐NVIDIA GPU（显存≥4GB）、8核CPU、16GB内存，支持CUDA 11.8/12.1和Python 3.10-3.11环境。 环境搭建：通过虚拟环境安装PyTorch、vLLM推理引擎和Triton Server，并下载Qwen3-0.6B模型。
2026-04-23 12:02:24
871
原创 实践--Gemini自动生成机制图
本文介绍了使用Gemini生成学术机制图的两大方法：直接生成示意图和生成Mermaid代码。重点讲解了提示词撰写技巧（PDCF框架）、模型选择建议（Gemini 2.5 Flash/Pro）以及后期优化方法。文章包含可直接复制的模板，适用于论文、PPT等科研场景，强调通过多轮迭代和模块化设计提升图表质量。核心要点包括：1)机制逻辑拆解；2)精准提示词撰写；3)Mermaid代码导出编辑；4)顶刊级图表优化技巧。
2026-04-20 15:58:31
2051
git安装说明.txt
2025-10-31
【计算机视觉】基于YOLOv11的目标检测模型：猫狗识别系统从训练到部署的全流程设计与应用拓展
2025-10-29
【工业通信协议】PROFINET与EtherCAT实时性能对比：高精度运动控制场景下的数据效率与同步性优化方案
2025-10-29
数值计算基于Cholesky分解的正定矩阵处理：Python实现与线性方程组求解应用
2025-10-28
C++200例详细的介绍了C++语言的用法
2009-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人