墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
700+累计阅读
763平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
本文是LLM系列文章，针对《Phi-4 Technical Report》的翻译。
我们介绍了phi-4，这是一个140亿参数的语言模型，使用集中关注数据质量的训练配方开发。与大多数语言模型不同，在大多数语言模型中，预训练主要基于网络内容或代码等有机数据源，而phi-4在整个训练过程中战略性地整合了合成数据。虽然Phi家族的先前模型在很大程度上提取了教师模型（特别是GPT-4）的能力，但Phi-4在以STEM为重点的质量保证能力方面大大超越了教师模型，这证明了我们的数据生成和训练后技术超越了蒸馏。尽管phi-3架构的变化很小，但由于改进了数据、训练课程和训练后方案的创新，phi-4相对于其规模实现了强大的性能，特别是在以推理为中心的基准测试中。
Technical Report
当前文章被收录于：
Technical Report
该部分主要是整理技术报告相关内容，摘要和结论是首先呈现的，报告完整的内容会不定期更新完成。如果需要，请私信催更！！！
Phi-4-Mini Technical Report: Compact yet Powerful Multimodal Language Models via Mixture-of-LoRAs
我们推出了Phi-4-Mini和Phi-4-Multimodal，这两款模型小巧但功能强大，分别是语言模型和多模态模型。Phi-4-Mini是一个拥有38亿参数的语言模型，在高质量的网页数据和合成数据上进行训练。它在性能上显著超越了近期类似规模的开源模型，在需要复杂推理的数学和编码任务上，表现与参数规模为其两倍的模型相当。这一成果得益于精心策划的合成数据方案，该方案着重采用了高质量的数学和编码数据集。
Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
我们介绍了phi-3-mini，这是一个在3.3万亿个token上训练的38亿参数语言模型，其总体性能，通过学术基准和内部测试来衡量，可以与Mixtral 8x7B和GPT-3.5等模型相媲美（例如，phi-3-mini在MMLU上实现69%，在MT平台上实现8.38），尽管它足够小，可以部署在手机上。创新完全在于我们的训练数据集，这是phi-2所用数据集的放大版，由经过严格过滤的网络数据和合成数据组成。该模型还进一步调整了稳健性、安全性和聊天格式。
Textbooks Are All You Need II: phi-1.5 technical report
我们继续调查TinyStories发起的基于Transformer的较小语言模型的威力，TinyStoris是一个1000万参数的模型，可以生成连贯的英语，phi-1是一个13亿参数的模型。后一项工作建议使用现有的大型语言模型（LLM）来生成“教科书质量”的数据，作为与传统网络数据相比增强学习过程的一种方式。
[小语言模型-代码生成]Textbooks Are All You Need II: phi-1.5 technical report
这篇文章的研究背景是近年来大型语言模型（LLMs）在自然语言处理领域的显著进步，特别是像GPT-4这样的最新一代模型展示了前所未有的能力。然而，这些模型的规模也带来了巨大的经济成本和能源消耗问题。
VLM 系列——phi3.5-Vision——论文解读
是一系列大型语言模型（LLM） & 多模态大型语言模型（MLLM）。其中LLM包括phi-3-mini 3.8B、phi-3-small 7B、phi-3-medium 14B，phi-3-mini可以轻松地在现代手机上本地进行推理；多模态模型包括phi-3-vision（基于phi-3-mini & CLIP ViT-L/14） 4.2B。本文重点介绍多模态的phi-3-mini模型，该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、高清
FPGA新手必看：Quartus生成jic文件全流程详解（附AS/JTAG模式选择指南）
本文详细解析了在Quartus中生成JIC文件以固化FPGA程序到Flash的全流程。核心在于理解JIC文件作为连接JTAG调试与AS固化的桥梁作用，并重点阐述了Convert Programming Files工具的关键配置步骤、AS与JTAG模式的选择逻辑，以及烧录过程中的常见问题排查指南，帮助开发者实现程序断电不丢失。
【iOS开发】dyld: Symbol not found: ___chkstk_darwin 问题解决
【iOS开发】dyld: Symbol not found: ___chkstk_darwin 问题解决 Xcode 13.2.1 运行到iOS12.x版本上崩溃报错如下：dyld: Symbol not found: ___chkstk_darwin dyld: Symbol not found: ___chkstk_darwin Referenced from: /private/var/containers/Bundle/Application/A424CEFD-51DB-450E-9D62-B8
基于三轴加速度计的塑料水管泄漏振动检测技术全解析
在流体力学与结构动力学领域，管道振动分析是评估系统健康状态的关键技术。其基本原理在于，当管道内流体状态发生异常（如泄漏）时，会引发管壁产生特定的机械振动信号。这项技术的核心价值在于实现了对管道系统的非侵入式、在线监测，能够提前预警潜在故障，避免资源浪费与次生灾害。在智慧城市与智能水务等应用场景中，它对于保障供水管网安全、提升运维效率具有重要意义。本文聚焦于如何利用高精度的三轴加速度计，精准捕捉塑料水管因泄漏产生的微弱振动，并通过信号处理与机器学习算法，构建一套从数据采集到泄漏识别与定位的完整工程解决方案。
Flotherm XT学习历程
大家好，通过半年的热仿真软件学习使用，最终发现最好用，最好上手的软件就是Flotherm XT，对新手非常友好，但由于软件近几年才发布，网上教程非常少，后面我将在这里持续分析软件使用心得，和大家一起学习。
Yolo11改进：Block改进|MixDehazeNet，用于图像去雾网络的混合结构块|即插即用|附代码
https://arxiv.org/pdf/2305.17654 图像去雾是低级视觉领域中的一项典型任务。先前的研究验证了大型卷积核和注意力机制在去雾中的有效性。然而，存在两个缺点：引入大型卷积核时容易忽略图像的多尺度特性，而注意力模块的标准串联方式没有充分考虑雾分布的不均匀性。在本文中，我们提出了一种名为混合结构图像去雾网络（MixDehazeNet）的新型框架，该框架解决了上述两个问题。具体而言，它主要由两部分组成：多尺度并行大型卷积核模块和增强并行注意力模块。与单个大型卷积核相比，多尺度的并行大型卷积
相机标定（六）—— 张正友标定法
相机标定一、相机标定的目的1. 相机的成像过程2. 相机标定的目的3. 畸变与畸变矫正二、张正友标定法简介三、标定相机内外参1. 求解内参和外参的积2. 求解内参矩阵3. 求解外参矩阵四、标定相机的畸变参数五、L-M算法参数优化六、相机标定的步骤七、源代码 一、相机标定的目的 1. 相机的成像过程 2. 相机标定的目的 3. 畸变与畸变矫正 二、张正友标定法简介 三、标定相机内外参 1. 求解内参和外参的积 2. 求解内参矩阵 3. 求解外参矩阵 四、标定相机的畸变参数 五、L-M算法参数优化 六、相机
elevation mapping算法3之使用D435i相机离线或在线订阅点云和tf关系生成高程图
本文主要学习使用D435i相机发出的点云作为高程图的点云输入，如何离线输入点云生成高程图，进一步学习如何在线订阅点云生成高程图。
AI在电商中的搜索优化
自拟标题 《AI技术助力电商搜索优化：深度解析一线大厂面试题及算法编程实践》 概述 随着人工智能技术的不断发展，AI在电商搜索优化中的应用日益广泛。本文将围绕“AI在电商中的搜索优化”这一主题，介绍国内头部一线大厂如阿里巴巴、百度、腾讯、字节跳动等在面试中常见的AI相关面试题和算法编程题，并提供详尽的答案解
数学建模模型总结
这是本人在两年内准备参加数学建模竞赛搜集到的模型资料，已经经过了本人的筛选和整理，希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助！
NTscan扫描工具
ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。
汉书HE8，好用的汇编代码编写工具
汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大
复分析 阿尔福斯(Ahlfors) 第三版答案 英文
答案分为十章，有部分习题没有答案，全英文复分析阿尔福斯(Ahlfors) 第三版答案
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
超级会员免费看
订阅专栏 解锁全文
278
扫一扫
