自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

源泉的小广场

专注大模型&隐私计算技术

  • 博客(138)
  • 收藏
  • 关注

原创 【AI产品分享】面向图片的原始位置翻译功能

文档处理、版面分析、图片翻译、原图处理、多模态

2025-04-02 21:37:14 174

原创 【算法工程】文档解析中的特殊表格检测方法

表格识别、文档识别、文档解析、特殊表格识别、yolo、LCNet、DBNet

2025-03-30 00:54:00 83

原创 【算法工程】RAG:针对linux下文档解析出现乱码问题的解决

RAG、文档解析、文档字体、乱码、linux、office文件、文件处理

2025-03-26 12:33:34 245

原创 【大模型实战篇】基于Claude MCP协议的智能体落地示例

大模型、智能体、agent、ai agent、mcp、工具使用、tools、manus、open manus、mcp示例、mcp解决的问题

2025-03-25 08:52:24 1085

原创 【算法工程】大模型开发之windows环境的各种安装

windows、ubuntu、linux、wsl、大模型开发、算法开发、环境安装、备份记录

2025-03-22 21:22:22 1001 3

原创 【大模型理论篇】CogVLM:多模态预训练语言模型

大模型、多模态模型、多模态视觉模型、cogvlm、vision llm、视觉理解、视觉问答、视觉语言预训练模型

2025-03-21 11:43:15 1161

原创 【大模型&算法工程】大模型应用工具化、忠诚度以及知识库场景下PDF双栏解析问题的讨论

大模型、知识库、RAG、解析工具、解析引擎、pdf双栏解析、pdf解析、AI工具化、忠诚度、产品打磨、AI生态建设、大模型应用场景、大模型能力边界

2025-03-21 10:20:50 1198

原创 【大模型理论篇】Skywork R1V: Pioneering Multimodal Reasoning with Chain-of-Thought 论文解读

多模态、多模态推理、vlm、vision llm、cogvlm、r1v、推理模型、大模型、自适应推理链

2025-03-20 10:46:58 1032

原创 【大模型实战篇】多模态推理模型Skywork-R1V

大模型、多模态、多模态推理模型、多模态强化推理、r1、r1-v、r1-vision、强化推理、vit、deepseek、qwq-32b

2025-03-19 23:36:35 1251

原创 【算法工程】调整minio中资源可以url链接进行访问

minio、oss、url访问、url资源、资源地址、资源定位符、minio client、mc

2025-03-19 14:49:25 162

原创 【大模型理论篇】R1-Searcher:通过强化学习激励llm的搜索能⼒

强化学习、强化推理、强化rag、强化搜索推理、rag、r1-searcher、大模型搜索能力、强化学习、r1、强化学习++、grpo

2025-03-18 20:45:59 859

原创 【算法工程】vllm突然报错No platform detected, vLLM is running on UnspecifiedPlatform

大模型启动、大模型vllm部署、vllm检测不到设备、启动报错、部署报错

2025-03-18 17:21:30 957

原创 【大模型实战篇】使用GPTQ量化QwQ-32B微调后的推理模型

大模型推理、大模型量化、推理模型量化、微调模型量化、推理模型微调版本量化、qwq32b量化、gptq量化、autogptq、量化提速、性能优化、推理模型、千问模型量化、awq

2025-03-16 23:19:21 948

原创 【大模型实战篇】对比包括QwQ-32B在内的不同推理模型的吞吐量表现

大模型、性能对比、推理模型、推理性能对比、qwq推理模型、量化模型、int4量化、int8量化、r1蒸馏

2025-03-16 14:15:07 479

原创 【大模型智能体】UpsonicAI-面向任务可靠执行的智能体框架

大模型、智能体、大模型智能体、智能体框架、可靠性、任务可靠智能体、MCP、upsonic、upsonic智能体框架

2025-03-14 17:41:02 963

原创 【大模型实战】利用ms-swift微调框架对QwQ-32B推理模型进行微调

大模型、大模型微调、大模型微调框架、lora微调、推理模型微调、强化推理、qwq-32b、ms-swift、微调框架

2025-03-13 00:00:26 1495

原创 【大模型实战篇】vllm本地部署阿里最新的QwQ-32B推理模型以及体验

推理模型、千问推理模型、大模型、32B推理模型、强化学习、deepseek-r1、QwQ-32B

2025-03-06 20:14:56 5547 8

原创 【大模型实战篇】DeepSeek-R1面临的DDOS攻击以及与O系列的差距

大模型、推理模型、ddos、大模型拒绝服务攻击、deepseek-r1、o1、o3

2025-02-28 18:49:37 364

原创 【多模态】Magma多模态AI Agent

大模型、智能体、多模态、ai agent、ai 智能体、magma、ui agent、gui agent、omniparser

2025-02-28 17:44:21 1230

原创 【大模型实战篇】大模型训练/微调的一些经验分享

大模型、大模型训练、大模型微调、参数设置、大模型训练参数、大模型概念、大模型术语、经验分享

2025-02-28 17:33:37 1243

原创 【大模型实战篇】OmniParserV2+DeepSeek:基于纯视觉的 GUI Agent解决方案

omniparser、agent、智能体、deepseek、大模型路径规划、omniparser v2

2025-02-26 14:02:49 2036

原创 【算法工程】大模型局限性新发现之解决能连github但无法clone项目的问题

github、大模型、局限性、大模型局限性、小众问题、无法克隆、无法clone项目

2025-02-26 12:11:18 476

原创 【多模态】市场主流文生视频/图平台能力横向对比

文生视频、文生图、海螺AI、vidu、混元、豆包、即梦、minimax、智谱清言

2025-02-24 00:23:19 521

原创 【大模型实战篇】利用DeepSeek-R1数据微调蒸馏ChatGLM32B让大模型具备思考能力(Aha moment)

大模型微调、大模型蒸馏、R1数据蒸馏、微调蒸馏、chatglm蒸馏、chatglm推理模型、deepseek-r1、aha moment、glm-zero-preview

2025-02-22 00:56:07 1311

原创 【大模型实战篇】大模型局限性之DeepSeek V3/R1的行业微调方案

deepseek、deepseek-R1微调、deepseek-v3微调、大模型微调、grpo、lora微调

2025-02-21 00:56:16 857

原创 【算法工程】强化推理模型局限性之解决linux下Aspose.slides提示No usable version of libssl found

文档解析、RAG、pptx解析、Aspose、linux镜像、openssl、大模型、强化推理短板

2025-02-14 02:34:53 818

原创 【大模型理论篇】MCP(Model Context Protocol) 大模型智能体第一个开源标准协议

大模型智能体开放协议、MCP、Model Context Protocol、大模型、智能体、工具连接协议、智能体开放协议、标准协议、Agent、Anthropic

2025-02-10 10:54:29 7164

原创 【算法工程】使用python脚本实现对异步接口的压力测试

异步接口、算法异步接口、压力测试、压测、异步接口压测、算法异步任务压测、asyncio、python脚本、jmeter

2025-02-08 13:44:04 722

原创 【算法工程】将docker镜像大小减小65%

docker镜像、容器、运维、算法服务瘦身、镜像减小、镜像优化

2025-02-08 12:18:31 338

原创 【大模型理论篇】Kimi-1.5是DeepSeek-R1的有力竞争者

大模型、LLM、强化学习、强化推理、scaling RL、kimi1.5、k1.5、deepseek-r1、冷启动、预热、奖励设计、Long2short

2025-02-07 00:03:11 2606

原创 【大模型理论篇】DeepSeek-R1与O1复现的技术路线对比及R1展现出OpenAI Moment的价值探讨

强化学习、强化推理、大模型、deepseek-r1、deepseek-zero、openai-o1、glm-zero-preview、大模型强化学习、大模型强化学习四要素、强化推理技术路线对比

2025-02-06 12:32:06 1737

原创 【大模型理论篇】DeepSeek-R1:引入冷启动的强化学习

大模型、冷启动、强化学习、结合冷启动的强化学习、deepseek-r1训练模式、人类对齐、奖励函数、大模型输出可读性、deepseek模型关系图

2025-02-04 22:38:49 1393 5

原创 【大模型理论篇】DeepSeek-R1-Zero之关键技术GRPO解析

deepseek-r1-zero、强化推理、大模型、grpo、Group Relative Policy Optimization、群体相对策略优化、critic model、ppo

2025-02-04 18:32:24 1839

原创 【大模型理论篇】最近大火的DeepSeek-R1初探(原理及使用)

大模型、deepseek-R1、deepseek-R1-zero、deepseek-v3、强化学习、强化推理、大模型后训练、大模型蒸馏、MLA、MoE

2025-02-03 10:09:51 3751 2

原创 【算法工程】VS Code问题解决:Failed to parse remote port from server output

算法工程、docker镜像、vscode、远程连接、服务器连接异常、磁盘空间

2025-01-24 17:17:50 562

原创 【算法工程】基于FastAPI实现并发异步任务处理系统

fastapi、fast api、异步并发处理系统、异步、并发、吞吐量、进程池、线程不安全、asyncio、超时、计算任务数

2025-01-16 13:04:49 915 3

原创 【数字人】上传视频与音频实现美女数字人(基于音频条件的潜在扩散模型的端到端唇动同步框架)

2D数字人,latentsync,唇动对齐,unet, diffusion model,多模态,syncnet,数字人,大模型

2025-01-08 12:20:03 1048

原创 【数字人】仅需一张图片和一段音频生成美女数字人讲解视频

数字人、d-id、virtual human、digital human、多模态、aigc、大模型、虚拟人、电商直播、视频制作、内容自动创作

2025-01-05 11:32:25 1182

原创 【大模型实战篇】GLM-Zero模型初代版本的尝鲜

强化推理、大模型、大模型推理、o1、多步推理、glm-zero

2024-12-31 19:25:14 1418

原创 【大模型实战篇】LLaMA Factory微调ChatGLM-4-9B模型

大模型微调、全参微调、llama factory、glm4、chatglm-4-9b、a800、lora微调、大模型

2024-12-31 13:49:57 2401

大模型预训练相关知识分享

在大模型的预训练中,数据准备与清洗是首要步骤,直接影响模型的性能和泛化能力。数据的收集应覆盖尽可能广泛的领域,确保多样性和代表性。清洗过程包括去重、去噪声、格式规范化和敏感信息过滤等,以保证数据质量。此外,还要进行数据标注,特别是当指令微调涉及到特定任务时,数据标签的准确性至关重要。 模型选择方面,不同的任务需要不同的模型架构。主流大模型架构有Encoder-Decoder、Causal Decoder和Prefix Decoder等。Encoder-Decoder适用于输入输出都需要理解的任务,如翻译;Causal Decoder主要用于文本生成;Prefix Decoder则在要求高效推理的场景中更具优势。每种架构的选择需要结合任务需求、资源情况及模型性能表现来综合考量。 在模型结构上,层数、隐藏单元、注意力头数等配置需谨慎调节。更深的层数和更多的隐藏单元可以提升模型能力,但也会增加训练时间和计算资源需求。针对大模型,诸如Flash Attention和Paged Attention等优化技术可以显著提升训练效率。 参数配置方面,包括学习率、批次大小、权重衰减等的设定,对训练

2024-08-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除