Phi-4 Technical Report

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量718 收藏
点赞数 36
CC 4.0 BY-SA版权
分类专栏： LLM Daily Technical Report 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/144540242

本文是LLM系列文章，针对《Phi-4 Technical Report》的翻译。

Phi-4技术报告

摘要

我们介绍了phi-4，这是一个140亿参数的语言模型，使用集中关注数据质量的训练配方开发。与大多数语言模型不同，在大多数语言模型中，预训练主要基于网络内容或代码等有机数据源，而phi-4在整个训练过程中战略性地整合了合成数据。虽然Phi家族的先前模型在很大程度上提取了教师模型（特别是GPT-4）的能力，但Phi-4在以STEM为重点的质量保证能力方面大大超越了教师模型，这证明了我们的数据生成和训练后技术超越了蒸馏。尽管phi-3架构的变化很小，但由于改进了数据、训练课程和训练后方案的创新，phi-4相对于其规模实现了强大的性能，特别是在以推理为中心的基准测试中。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
c_cpp_csharp的专栏
04-30 249
我们介绍了phi-3-mini，这是一个在3.3万亿个token上训练的38亿参数语言模型，其总体性能，通过学术基准和内部测试来衡量，可以与Mixtral 8x7B和GPT-3.5等模型相媲美（例如，phi-3-mini在MMLU上实现69%，在MT平台上实现8.38），尽管它足够小，可以部署在手机上。创新完全在于我们的训练数据集，这是phi-2所用数据集的放大版，由经过严格过滤的网络数据和合成数据组成。该模型还进一步调整了稳健性、安全性和聊天格式。
Textbooks Are All You Need II: phi-1.5 technical report
c_cpp_csharp的专栏
09-13 430
我们继续调查TinyStories发起的基于Transformer的较小语言模型的威力，TinyStoris是一个1000万参数的模型，可以生成连贯的英语，phi-1是一个13亿参数的模型。后一项工作建议使用现有的大型语言模型（LLM）来生成“教科书质量”的数据，作为与传统网络数据相比增强学习过程的一种方式。
微软：Phi-4技术报告
大模型任我行的博客
12-19 1096
如何通过创新的数据生成和训练方法，提升小型语言模型在推理和问题解决任务中的性能，使其能够与更大规模的模型相媲美？论文提出了phi-4模型，通过创新的合成数据生成方法、优化训练流程和数据混合，以及引入新的后训练技术，显著提升了模型在推理任务中的表现。
Phi-4 技术报告深度解读——论文阅读
DuHz的博客
09-24 692
微软研究院在2024年12月发布的 phi-4 是一个仅有140亿参数的语言模型，却在多个推理任务上展现出与千亿参数级别模型相媲美的性能。这个成就的核心在于一个反直觉的洞察：**精心设计的高质量数据可以带来比单纯扩大模型规模更显著的性能提升**。 phi-4 的开发遵循三个核心支柱：首先是预训练和中期训练的合成数据生成，研究团队设计了高质量的合成数据集，优先考虑推理和问题解决能力，精心生成以确保多样性和相关性；其次是高质量有机数据的筛选和过滤，团队精心筛选网络内容、授权书籍和代码仓库等有机数据源，提取种子
Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs精读
xian_ren008的博客
03-15 1311
本文是对Phi-4 multimodal模型的论文阅读笔记
Phi-4 Technical Report——Phi-4 技术报告
Together_CZ的博客
01-04 1150
Phi-4 Technical Report——Phi-4 技术报告
【论文解读】微软《Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models》
qq_30731313的博客
03-08 1112
该模型在语音问答（SQQA）和语音摘要任务上也展示出较强的能力，虽然在SQQA上与部分大型模型存在差距，但已明显优于开源的Qwen2-audio。
微软Phi系列——教科书级合成数据的力量
qq_38783872的博客
01-16 2089
Phi系列的开山之作，主要面向code任务（Python语言），用极小的模型（1.3B），极少的预训练数据（7B）和可控的训练时长（8*A100，4days），达到比较好的code效果。Phi-1的续作，主要面向常识推理任务，用极小的模型（1.3B），极少的预训练数据（30B）和可控的训练时长（8*A100，4days），达到与10x模型相当的效果。微软的研究人员在Phi系列的探索越走越远，小模型的研究可以帮助人们更快的理解、验证LLM的机理；同时，小模型在生产应用，推理速度方面也有着大模型无可比拟的优势。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 229
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 406
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 284
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 406
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 398
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 497
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 294
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 80
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1079
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
C#使用 phi-4
09-13
在查找的参考内容中，虽未直接提及在C#中使用Phi - 4的方法，但有在C#环境中对Phi系列模型操作的相关信息。可以借鉴在C#环境中使用Phi系列模型的方法来尝试使用Phi - 4。 在Phi - 3 CookBook项目中有在C#环境实现Phi - 4 mini函数调用功能的相关探讨，函数调用允许模型与外部系统交互，执行特定任务。同时，Phi - 3 Cookbook存储库展示了在.NET环境利用Phi系列模型执行问答和图像分析等任务的方法，这些项目使用Microsoft.ML.OnnxRuntime库加载本地ONNX Phi - 3或Phi - 3 Vision模型 [^1][^2]。 可推测在C#中使用Phi - 4可能步骤如下： 1. 确保已安装Microsoft.ML.OnnxRuntime库，该库可用于加载本地ONNX格式的Phi - 4模型。 2. 准备Phi - 4的ONNX模型文件，存于本地合适路径。 3. 使用C#代码加载模型并进行推理，示例代码如下： ```csharp using Microsoft.ML.OnnxRuntime; using Microsoft.ML.OnnxRuntime.Tensors; using System; using System.Collections.Generic; class Program { static void Main() { // 加载本地ONNX Phi - 4模型 var sessionOptions = new SessionOptions(); var session = new InferenceSession("path/to/your/phi - 4.onnx", sessionOptions); // 准备输入数据 var inputTensor = new DenseTensor<float>(new float[] { 1.0f, 2.0f, 3.0f }, new int[] { 3 }); var inputs = new List<NamedOnnxValue> { NamedOnnxValue.CreateFromTensor("input_name", inputTensor) }; // 进行推理 using (var outputs = session.Run(inputs)) { // 处理输出 foreach (var output in outputs) { var outputTensor = output.AsTensor<float>(); Console.WriteLine($"Output: {outputTensor[0]}"); } } } } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值