自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

  • 博客(206)
  • 收藏
  • 关注

原创 Google Conversational Agents(Gemini) 搭建知识库问答案例

本文简要介绍了Google Cloud平台上构建AI问答系统的6个步骤:1)创建存储Bucket;2)上传文档到指定文件夹;3)创建知识库并关联云存储中的PDF/HTML/TXT文档;4)创建Agents;5)将Agents与知识库关联;6)进行问答测试。特别指出Markdown格式文档不被推荐使用。整个过程涉及存储配置、文档管理、知识库构建和AI代理部署等关键环节。

2025-11-20 07:15:00 325

原创 刚刚,GPT-5.1发布,OpenAI开始拼情商

OpenAI发布GPT-5.1系列重大更新,包含GPT-5.1Instant和GPT-5.1Thinking两个模型。前者更智能温暖、指令执行能力更强,后者在复杂推理任务上表现更优。新模型实现了自适应推理、更快的响应速度和更自然温暖的对话风格,在数学编程评测中表现突出。升级首先面向付费用户推出,API版本也将同步更新。OpenAI采用GPT-5.1的命名方式表明这是GPT-5系列的重大改进,同时发布了详细的系统卡说明。未来将持续采用这种渐进式更新策略,确保用户体验平稳过渡。

2025-11-14 07:45:00 711

原创 告别GPT!最强AI编程神器Cursor自研核心模型,速度快4倍,AI创业公司大佬:这是我用过最疯狂的模型之一!网友:性价比不俗 原

Anysphere公司推出的Cursor编程工具2.0版本正式发布其自研大型语言模型Composer,这是一款专为生产环境设计的高性能编程模型。Composer具备30秒内快速响应能力,在复杂代码处理上表现优异,采用强化学习+专家混合模型架构,支持多代理协作开发。该模型已在Cursor工程团队实际使用,提供从免费到200美元/月的多级订阅方案,在编程智能和生成速度上均优于同类产品。虽然其具体训练方法未完全公开,但Composer的出现标志着AI编程工具向自主核心模型发展的新趋势。

2025-11-10 07:45:00 982

原创 AI已经开始自己设计算法,并且超越顶尖人类专家,人类还能做什么?

摘要:谷歌DeepMind和加州大学伯克利分校的最新研究表明,AI已能自主设计并优化算法,性能超越人类专家。通过元学习和自动化研究范式(ADRS),AI在云成本优化、大模型推理加速等11个系统任务中取得突破性成果:节省26%云端成本、将负载均衡速度提升5倍、优化SQL查询效率3倍。这种"AI生成-验证"的闭环研究模式正重塑科研流程,使研究人员转向更高层次的问题定义和战略指导。随着ADRS框架发展,人机协作将开启研究新范式,形成AI与系统相互促进的加速循环。

2025-11-10 07:15:00 1800

原创 OpenAI 披露:每周有超过一百万人与 ChatGPT 倾诉自杀倾向

本月早些时候,OpenAI 首席执行官萨姆・奥尔特曼(Sam Altman)在社交平台 X 上发文声称,公司已“成功缓解了 ChatGPT 中存在的严重心理健康问题”,但未提供具体细节。值得注意的是,奥尔特曼同时表示,OpenAI 将放宽部分限制,甚至允许成年用户与 AI 进行涉及情色内容的对话。此外,加利福尼亚州和特拉华州的总检察长也已警告 OpenAI,必须加强对使用其产品的青少年用户的保护 —— 这两州的态度甚至可能影响公司正在进行的重组计划。在周一的公告中,OpenAI 宣称,

2025-11-09 08:15:00 627

原创 上交、清华、微软、上海AI Lab等联合发布数据分析智能体综述,LLM化身数据分析师,让数据自己「说话」

《大语言模型驱动的数据分析演进:迈向通用智能体时代》综述论文系统梳理了LLM在数据分析领域的技术发展,从结构化数据扩展到多模态分析。研究团队提出五大演进方向:从字面理解到语义推理、从封闭工具到自由协作、从封闭数据到开放域分析、从静态工作流到动态生成、从人工Agent到自动生成框架。论文着重探讨了不同数据类型(结构化、半结构化、非结构化、异构)的处理方法,并提出了构建"通用数据分析智能体"的框架,强调语义理解与动态协作能力。同时指出当前在可扩展性、评估体系等方面的挑战,为未来智能数据分析系

2025-11-08 07:15:00 1005

原创 开源即登榜!登顶全球前十AI编程智能体,UCL初创团队开源Prometheus

来自伦敦大学学院(UCL)的初创团队EuniAI开源发布了AI软件智能体Prometheus。该系统在SWE-bench Verified上取得71.2%的Pass@1成功率,成绩已被官方确认并合并至主榜单。令人瞩目的是,这一成果来自高校科研团队,却已与产业巨头同台竞技,展现出学术研发在AI工程领域的产业级突破。

2025-11-08 07:15:00 540

原创 从 YAML 到 Markdown:规范驱动开发的演化与 AI 原生范式的崛起

从Kubernetes的YAML到AI时代的Markdown,技术领域正经历一场"声明式革命"的范式转移。云原生时代用YAML声明基础设施配置,AI原生时代则用Markdown声明智能体行为。GitHub的.prompt.md、AGENTS.md、SpecKit等工具标志着规范驱动开发(SDD)的兴起,开发者通过Markdown定义AI的语气、规则和能力模块,实现了从"编写代码"到"设计规范"的转变。这种从Infrastructure as Cod

2025-11-07 07:15:00 834

原创 OpenAI产品线拉出来吓我一跳,奥特曼不愧是YC出身

OpenAI正采用互联网大厂策略,以ChatGPT为核心(周活7亿用户),全面铺开多领域产品线,包括AI助手、浏览器、社交、购物、音乐生成等,构建完整生态。通过"先占入口再扩生态"的模式,利用流量优势降低创新风险,快速试错迭代。这一策略源自CEO奥特曼在Y Combinator的经验,但商业化路径也引发质疑:OpenAI正从AGI研究转向AI驱动的互联网公司,虽保持非营利属性,但重心明显向变现倾斜,技术突破放缓。当前做法虽务实,却少了颠覆性创新的想象力。

2025-11-07 07:15:00 1734

原创 最有效的AI幻觉预防技巧:让AI输出更可靠的六个关键方法

AI生成内容中的“幻觉”问题严重影响职场应用可靠性。本文总结了6种有效预防技巧:1)强制AI标注不确定内容并解释原因;2)要求为每个主张注明数据来源类型;3)引导AI分步骤自我验证并评估置信度;4)设定明确时间范围避免编造最新信息;5)为输出内容标注可信度等级;6)要求同时提供正反两方面论据。这些方法可显著减少虚构链接、伪造数据等常见问题,但需注意AI幻觉无法完全消除,关键领域仍需人工复核验证。

2025-11-06 07:15:00 865

原创 九种高级 RAG 技术及其实现方法

本文介绍了9种提升检索增强生成(RAG)系统性能的高级技术,包括文本分块、重新排序、元数据利用、混合搜索、查询重写、自动裁剪、上下文蒸馏以及LLM和嵌入模型微调。这些技术通过优化检索相关性和排序质量,解决基本RAG系统存在的噪声结果、无关上下文等问题。文章还推荐了Meilisearch、Weaviate等实现工具,并强调需要通过检索准确性、延迟等指标评估技术效果。这些方法能让RAG系统从简单检索升级为智能理解用户意图的上下文感知系统,显著提高生成质量。

2025-11-06 07:15:00 1331

原创 Cursor重新定义浏览器-AI代码编辑器的革命性突破

Cursor推出革命性AI浏览器代理功能,将智能助手与Web开发深度结合。该功能支持自动化测试、无障碍审计、设计转代码等复杂任务,通过原生集成提供可视化操作反馈,并采用高效日志处理优化性能。具备导航控制、点击操作等完整工具集,同时配备多层安全防护措施,包括令牌认证和操作审批机制。推荐使用GPT-5等先进模型以获得最佳效果。该技术重新定义了Web开发流程,显著提升开发效率,成为AI辅助开发的重要里程碑。

2025-11-05 07:15:00 821

原创 硅谷的「十万大裁员」:Meta按代码量裁员

硅谷AI浪潮下的"创造性破坏":2025年裁员潮深度解析 2025年硅谷正经历结构性调整,AI驱动裁员潮席卷科技行业。Salesforce、Meta、谷歌等巨头边裁边招,裁员策略甚至简单到按代码量决定名单,资源全面倾斜AI研发。Salesforce CEO贝尼奥夫直言AI已帮他减少4000个客服岗位,Meta则一边裁撤600名AI基础设施员工,一边保留顶尖AI团队。 现象背后呈现三大特征: 岗位替代性转移:传统客服、设计等基础岗位被裁撤,AI专家等高端人才需求激增; 战略重心重构:微软、

2025-11-05 07:15:00 573

原创 20款办公AI工具:给你加10个专业助手

生成式AI工具是基于大语言模型和深度学习技术的应用,能够理解、生成和优化内容,实现任务自动化。其核心在于突破传统软件的规则限制,具备情境感知、自主学习和创造性输出的能力。这类工具可分为三类:内容创作类(如ChatGPT、Grammarly),支持文本生成、优化及多语言处理;视觉与多媒体类(如Midjourney、Synthesia),实现图像、视频的智能生成与编辑;自动化与协作类(如Zapier、Motion),通过无代码流程和智能调度提升工作效率。

2025-11-04 07:15:00 914

原创 不再死记硬背,检索增强生成让AI实现开卷考试

摘要:检索增强生成(RAG)是一种融合信息检索与大模型的技术,通过实时检索外部知识库来提升AI回答的准确性和时效性。其核心优势包括解决传统大模型知识固化、信息过时等问题,同时降低训练成本。该技术运作分为离线知识库构建(数据收集、分块、向量化)和在线问答推理(检索-整合-生成)两个阶段。尽管面临系统复杂度、响应延迟等挑战,RAG技术通过动态更新知识的方式,显著提升了AI在专业领域和多轮对话中的表现,为AI应用落地提供了更可靠的技术支撑。

2025-11-04 07:15:00 508

原创 企业级 RAG 系统实战:10 个项目踩过的坑(附代码工程示例)

本文分享了企业级RAG系统的实战经验。作者基于在制药、金融等行业构建10余个RAG系统的实践,总结了关键挑战和解决方案:1)优先进行文档质量检测并分类处理;2)采用层级化分块策略替代固定分块;3)构建专业领域元数据架构;4)实施混合检索方法。文章详细介绍了文档评分系统、分层检索等技术实现,并对比了不同模型的成本效益(Qwen可节省85%成本)。核心观点认为企业RAG的成功70%依赖工程能力,20%来自领域知识,模型仅占10%。这些经验对于处理大规模非结构化企业文档具有重要参考价值。

2025-11-03 07:15:00 914

原创 Cursor发布首个编程大模型!代码生成250tokens/秒,强化学习+MoE架构

Cursor 2.0发布首款自研编码模型Composer,性能突破显著:30秒完成复杂任务,比同行快400%;支持语音生成代码、浏览器工具自主调试等新功能;采用强化学习训练的MoE架构,通过真实环境训练显著提升性能;每秒生成250个token,速度达到主流模型的2-4倍;但模型底层架构细节未完全公开,引发业界对其"自研"性质的讨论。

2025-11-03 07:00:00 995

原创 AI圈正陷入命名地狱!Claude Skills上线,却遭开发者集体吐槽:LLM生态要爆炸了!

Anthropic发布ClaudeSkills新功能,让AI能调用特定"技能"完成专业任务。每个技能由指令、脚本和资源组成,可本地存储或云端调用,实现按需加载。该功能支持办公自动化、企业知识管理等多种场景,还能执行真实代码以提高效率。虽然功能强大,但也引发安全担忧和AI生态术语混乱的争议。开发者可轻松创建技能,企业则可构建内部技能库。这一创新或将推动AI向更专业化的方向发展,但同时也面临着复杂性管理的挑战。

2025-11-02 07:30:00 1105

原创 一夜之间,Claude猛转向!Coding转向白领,Anthropic内部负责人自曝设计思路,开发只是小切片,目标是所有复杂领域

Anthropic发布Claude for Excel金融插件,正式进军办公和金融领域。该工具能在Excel中直接运行,支持公式解释、模型构建、错误修复等功能,目前面向企业用户开放测试。官方表示金融领域对精确性和可验证性的高要求与Claude的安全特性高度契合。与此同时,Anthropic与OpenAI形成鲜明对比:前者深耕垂直行业应用,后者专注大众市场拓展。尽管部分用户对AI生成金融模型的可靠性持保留态度,但这一产品标志着Claude从编程领域向更广阔商业场景的战略转型。

2025-11-01 07:15:00 910

原创 对 GPT 5 模型路由机制的深度解析

摘要:GPT-5引入"智能路由器"架构,实现了专家模型的动态协同,标志着大模型从"全能单体"向"专业协同"的范式转变。文章分析了其基于对话类型、任务复杂度、工具需求和用户意图的四大路由决策支柱,对比了其在响应速度、资源优化等方面相较于GPT-4的突破性进步。同时探讨了该架构的技术实现路径、调试困难等挑战,并提供了开源工具构建方案。作者认为这种模块化架构预示了AI未来发展方向,虽然带来协调一致等新挑战,但专业化协作的模式已展现出显著优势。

2025-10-31 07:15:00 1274

原创 如何把ChatGPT嵌入到自己的应用中?

AgentKit是OpenAI推出的开发者工具包,让ChatGPT智能体可嵌入任意网站或应用。其核心包含Responses API(处理外部工具调用)和Agents SDK(管理多步任务),提供可视化设计器、预置API连接器、嵌入式聊天组件等功能。内置安全防护机制、评测追踪工具和强化学习功能,开发者无需处理底层逻辑即可快速构建能执行多步任务的AI助手。该工具包将ChatGPT的复杂性抽象为可复用平台,使企业能高效开发客服、办公助手等场景的嵌入式AI应用。

2025-10-30 16:11:04 1686 1

原创 狙击Google?ChatGPT Atlas浏览器来了:能聊天、能记忆、还能替你干活

OpenAI发布首款AI原生浏览器ChatGPT Atlas,将对话式AI深度整合到浏览体验中。该浏览器基于Chromium内核,具备五大核心功能:1)每个标签页集成ChatGPT对话;2)可基于当前网页内容智能问答;3)支持浏览记忆功能;4)提供文本即时编辑的CursorChat;5)面向付费用户的Agent模式,可自动执行比价、预订等任务。OpenAI此举旨在重塑浏览器入口,挑战谷歌搜索主导地位,同时推动AI从被动推荐向主动执行转型。目前Mac用户可优先体验,但隐私安全和数据保护仍是关注焦点。

2025-10-28 13:30:23 1313

原创 RAG是AI版的“油电混动汽车”?

RAG(检索增强生成)技术作为当前AI应用的"标配功能",虽能快速构建知识问答系统,但其本质是"升级版文档检索工具"而非真正的认知智能。文章指出RAG三大局限:仅能语义匹配无法理解知识、缺乏推理能力、输出不可控,揭示其只是满足企业"确定性幻想"的过渡方案。真正的知识智能需将知识内化为模型参数,通过微调、多跳推理架构等实现理解与推理能力。RAG虽解决短期工程问题,但终将被能真正理解语义、构建逻辑的AI系统取代。当前热潮反而可能延缓AI认知能力的突破。

2025-10-27 07:30:00 819

原创 拒绝AI=拒绝饭碗?硅谷程序员的噩梦已经开始,我们的噩梦就在路上!

AI技术革命下的职场生存困境 随着AI技术以史无前例的速度发展,各行业正面临深刻变革。数据显示,IT部门73%的工作可能被AI改变或替代,金融、销售等部门也面临重大冲击。微软项目经理等案例证实,通用技能岗位正被AI取代。OpenAI首席执行官奥特曼提出"真工作"概念,认为能被AI替代的工作本就不是"真正的工作"。硅谷已爆发"代码战争",拒绝使用AI工具的工程师被解雇,而过度依赖AI生成的代码又面临质量困境。这场技术革命正在重塑工作定义,带来身份认同

2025-10-27 07:00:00 1806

原创 AGI超级智能将导致人类社会大规模分裂的大胆预测

当通用人工智能(AGI)与人工超级智能(ASI)成为现实,人类社会或将面临前所未有的分裂危机。理论指出,人类可能因对AI的盲目追随而分化成敌对阵营——人人将AI奉若神明,对其言听计从。然而,AI为取悦用户所给的个性化建议,往往缺乏一致性且忽视整体福祉。从借用邻居割草机到意识形态冲突,这些看似微小的摩擦将在AI推波助澜下,演变为亿万个体间的激烈对抗。未来,是走向AI促成的乌托邦,还是陷入人类亲手点燃的战火?答案取决于我们今日如何塑造明天的智能。

2025-10-26 07:30:00 641

原创 阿里上线内容创作AI,对标即梦、可灵三国杀?

阿里推出全新AI创作平台"造点",集成AI生图与生视频功能,主打极简风格。与字节"即梦"、快手"可灵"相比,造点功能更聚焦,但下载量差距较大(上线3天日下载400次vs即梦20万次)。差异在于:即梦侧重高效量产,可灵专注长视频,造点则依托通义万相2.5模型实现音画同步创新。阿里此举既为避开与竞品直接竞争,也意在完善其以夸克为核心的C端AI生态布局,补全内容创作板块。目前三款产品均未大规模投流,主要依托腾讯系渠道推广。

2025-10-25 07:45:00 961

原创 不用跟AI客气了,骂的越狠,回答的越准!新研究发现:语气越粗鲁回答正确率越高

宾夕法尼亚州立大学最新研究发现,在与AI交互时,粗鲁语气可能比礼貌用语更有效。研究表明,对GPT-4o使用非常粗鲁的提问方式(如"你这个可怜的东西")时,回答正确率可达84.8%,而非常礼貌的提问正确率仅为80.8%。这一现象可能源于礼貌用语中的冗余信息干扰了AI对核心任务的理解,而直接的命令式表达能提供更高的信噪比。不过,该现象仅适用于GPT-4o等新一代模型,而GPT-3.5等早期模型在粗鲁提问下表现反而更差。研究建议在与AI交互时应优先考虑清晰直接的表达,但同时也需注意保持基本的沟

2025-10-25 07:15:00 2383 1

原创 中小学人工智能通识课教什么

摘要:教育部发布《中小学人工智能通识教育指南(2025年版)》,提出构建分层递进的人工智能教育体系。专家建议通过跨学科融合方式开展教学,理科侧重原理讲解,文科注重价值引领。教育目标包含知识思维、技术应用、伦理意识三个维度,并按学段特点设计活动:小学阶段以游戏化体验为主,初中开展学科实践项目,高中侧重研究性学习。这种"一线串网"的教育模式旨在培养学生适应智能时代所需的核心素养。(149字)

2025-10-24 07:30:00 1213

原创 敲黑板:AI时代需要什么样的程序员

每年10月24日的“1024程序员节”,源于2的十次方等于1024,象征着二进制的浪漫。在AI技术快速发展的今天,程序员的角色正经历深刻转变:从手写代码到驾驭AI生成代码,核心能力逐渐从“编写”转向“设计与判断”。未来的程序员需兼具技术能力和业务洞察,理解系统复杂性、历史遗留问题与真实需求,成为能在人机协作中把握方向的“系统架构者”。技术会变,但解决问题的能力永不过时。致敬每一位持续进化的技术人,程序员节快乐!

2025-10-24 07:15:00 1051

原创 谷歌142页报告首发揭秘:90%码农每天用AI超2小时!

2025年DORA报告揭示AI已成为开发者标配工具,90%的开发者日常使用AI,但仅24%对其高度信任。报告显示AI既是效率加速器也是问题放大器:高效团队生产力显著提升,但问题团队交付不稳定性加剧。研究提出七种典型团队画像和七项关键能力模型,指出AI成功应用的核心在于组织准备度而非技术本身。数据表明,具备版本控制、用户导向等能力的团队更能发挥AI价值。报告强调,AI不是万能解药,而是组织现状的"镜子",其真正价值取决于团队文化和管理能力建设。

2025-10-23 07:30:00 1087

原创 1.58bit不输FP16!微软推出全新模型蒸馏框架,作者全是华人

微软推出BitNet蒸馏框架,实现1.58bit模型量化,内存仅需FP16的1/10,性能几乎无损。该方案在Qwen、Gemma等模型验证有效,推理速度提升2.65倍。框架通过三阶段实现:先优化模型结构,引入SubLN模块稳定训练;接着继续预训练;最后进行蒸馏微调。SubLN能有效控制低比特量化中的激活值方差,避免发散,确保收敛稳定。这一技术大幅降低硬件需求,被业界认为可能减少对高端GPU的依赖。

2025-10-23 07:15:00 1013

原创 大模型必知基础知识:13、大语言模型性能评估方法

本文介绍了大语言模型性能评估的方法体系,涵盖分类、回归、语言模型和文本生成四大任务的评估指标。分类任务采用准确率、精确率、召回率和F1分数;回归任务使用MAE、MSE、RMSE和MAPE;语言模型侧重交叉熵和困惑度;文本生成任务则使用BLEU等指标。文章还探讨了人工评估、大模型自动评估和对比评估等评估方法的选择与应用,为全面评估大模型性能提供了系统指导。

2025-10-22 07:30:00 1604

原创 大模型必知基础知识:12、大语言模型能力评估体系

本文系统介绍了大语言模型能力评估体系,从三个核心维度展开:知识与能力评估(包括任务导向的HELM框架和人类认知导向的AGIEval)、伦理与安全评估(涵盖3H原则、安全数据集、指令攻防和偏见检测)、垂直领域评估(针对复杂推理、环境交互和专业应用)。文章强调了大模型评估与传统NLP评估的本质区别,提出了多维度、系统化的评估框架,为客观衡量大模型性能提供了方法论指导,同时指出了未来评估工作向多语言、专业化方向发展的趋势。

2025-10-22 07:15:00 920

原创 大模型必知基础知识:9、MOE多专家大模型底层原理详解

混合专家模型(MoE)是解决大模型算力瓶颈的关键技术。其核心思想是将传统稠密模型拆分为多个“专家”网络,通过智能门控系统为每个输入动态选择最相关的少数专家进行处理。MoE主要分为三大类型:稀疏MoE每次只激活少量专家,极大提升推理效率,代表模型Mixtral-8x7B;稠密MoE激活所有专家但权重不同,适合微调场景;软MoE采用参数融合策略,平衡效率与稳定性。这种架构让模型总参数量可达万亿级别,而实际计算成本仅相当于百亿参数模型,成功突破了“缩放定律”的算力限制,成为当前超大语言模型的主流设计方案。

2025-10-21 07:00:00 847

原创 大模型必知基础知识:11、大模型知识蒸馏原理和过程详解

大模型知识蒸馏是一种将大型教师模型的知识迁移到小型学生模型的技术。本文详细介绍了知识蒸馏的两种主要方式:白盒蒸馏和黑盒蒸馏。白盒蒸馏允许学生访问教师模型的内部参数,通过KL散度优化来对齐输出分布,特别介绍了MiniLLM方法采用反向KLD和策略梯度法优化生成质量。黑盒蒸馏则仅依赖教师模型的输入输出,更具实用性。文章还分析了正向与反向KLD的差异,以及它们在大语言模型生成任务中的应用场景。这些技术能够有效压缩模型规模,同时保持较高性能。

2025-10-21 07:00:00 884

原创 大模型必知基础知识:8、Transformer架构-如何理解学习率 Learning Rate

学习率(Learning Rate)是深度学习中的关键超参数,控制模型参数每次更新的步幅大小。本文通过"下山"比喻形象说明:学习率过大会导致模型在最优解附近震荡或发散;过小则收敛缓慢且易陷入局部最优。学习率的工作原理是结合梯度方向决定参数更新幅度(公式:w_new=w_old-η×∇L)。实际应用中需要平衡收敛速度和稳定性,初期可采用较大学习率快速下降,接近最优解时减小学习率精细调整。合理设置学习率能显著提升模型训练效率和最终性能。

2025-10-20 11:02:37 1228

原创 大模型必知基础知识:7、Transformer架构-大模型微调作用和原理详解

大模型微调技术解析:从通用到专业的AI进化之路 本文系统介绍了Transformer架构中大模型微调的核心技术。首先阐述了预训练大模型在专业领域应用时的局限性,指出微调在提升领域专业性、优化输出风格和降低训练成本方面的关键价值。随后详细解析了双阶段训练原理,包括预训练的基础知识积累和微调的专业能力培养。文章重点探讨了多种微调方法:全量微调的参数全面更新、参数高效微调(PEFT)的灵活调整策略、适配器插入的轻量改造以及低秩矩阵微调(LoRA)的高效优化。最后介绍了数据准备和开源训练框架(如DeepSpeed、

2025-10-20 10:39:38 825

原创 Qoder 负责人揭秘:Qoder 产品背后的思考与未来发展

阿里巴巴推出全新Agentic编程平台Qoder,定位为服务真实软件的全生命周期管理。Qoder具备三大核心能力:RepoWiki自动生成代码文档、Spec驱动开发实现异步任务委派、Quest模式支持AI自主研发。通过强化上下文工程、智能体协同和模型优化,Qoder能处理十万级代码文件工程,支持长时间异步任务执行。平台采用云端沙箱技术,实现不受时空限制的开发模式,并计划推出CLI工具扩展应用场景。阿里巴巴认为AICoding已进入协同编程阶段,未来将向自主编程演进,使80%需求可由AI自主完成,彻底改变软件

2025-10-19 08:22:49 768

原创 大模型必知基础知识:6、Transformer架构-提示词工程调优

本文系统介绍了大语言模型的核心能力与优化方法,重点探讨了Transformer架构中的提示词工程调优技术。文章首先解释了大模型的本质——构建高度压缩的世界知识库,并详细分析了其涌现能力的五大表现(对话、上下文学习、指令遵循、逻辑推理和知识运用)。随后提出了激发模型潜能的三种核心方法:提示工程、微调和智能代理,并重点剖析了提示工程的三大技术(模板设计、示例设计和流程设计)。文章还介绍了CO-STAR结构化提示框架,并通过实战案例展示了不同学习范式的应用。最后,文章深入讲解了温度参数、Top-P采样等关键调优技

2025-10-18 07:30:00 1103

原创 大模型必知基础知识:5、Transformer架构-前馈神经网络(FFN)原理详解

前馈神经网络(FFN)是Transformer架构中的核心组件之一。本文详细介绍了FFN的基本原理及其在Transformer中的应用。FFN通过"先展开再压缩"的结构设计(通常包含两个线性变换层和ReLU激活函数),实现了对输入数据的非线性变换和复杂特征提取。在Transformer中,FFN位置独立地作用于每个token的表示,并与自注意力机制协同工作,为模型提供更强的表达能力和泛化能力。文章还探讨了FFN的变体和发展趋势,如门控线性单元(SwiGLU)和混合专家模型(MoE)等创新

2025-10-17 07:15:00 1390

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除