Tina: Tiny Reasoning Models via LoRA

于 2025-05-17 08:30:00 发布
阅读量129 收藏
点赞数 4
分类专栏： LLM Daily LLM Training Causal and Reasoning 文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/147781986
版权

在这里插入图片描述

主要内容

  1. 研究背景与问题：语言模型在多种任务中表现出色，但实现强大的多步推理能力仍是挑战。通过监督微调增强推理存在依赖专家演示、可能导致浅层模仿等问题；强化学习虽能让模型灵活学习，但资源消耗大。本文聚焦于如何通过高效的强化学习在语言模型中经济高效地赋予推理能力。
  2. 相关工作：介绍了开源推理模型的发展，如STILL、Sky - T1等旨在复制或超越先进推理模型能力；阐述了强化学习在推理任务中的应用，包括引入辅助奖励模型、基于规则的验证等方法；还介绍了低秩适应（LoRA）技术，其可在较少参数更新下修改模型行为。
  3. Tina模型：利用LoRA在强化学习阶段对15亿参数的DeepSeek - R1 - Distill - Qwen - 1.5B基础模型进行后训练得到Tina模型系列。训练过程使用公开数据集和开源代码，采用GRPO - 风格算法，在仅使用两个NVIDIA L40S GPU的低成本硬件配置下进行，总训练和评估成本低。
  4. 实验评估：重新评估基线模型，使用统一方法在多个推理基
了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习论文: MCUNet: Tiny Deep Learning on IoT Devices及其PyTorch实现
mingo_敏
03-08 7943
深度学习论文: MCUNet: Tiny Deep Learning on IoT Devices及其PyTorch实现 MCUNet: Tiny Deep Learning on IoT Devices PDF: https://arxiv.org/pdf/2007.10319.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorch代码: https://github.com/shanglianlm0525/PyTorch-N
【ICPR 2021】遥感图中的密集小目标检测：Tiny Object Detection in Aerial Images
梁瑛平的博客
06-22 3398
为了建立一个在航空图像中的微小物体检测的基准，作者还在AI-TOD数据集上评估了最先进的目标检测器。 实验结果表明，将这些方法直接应用于AI-TOD会产生次优目标检测结果，因此需要设计新的微型目标检测器。 因此，作者提出了一种基于多中心点的学习网络（M-CenterNet）来提高小目标检测的定位性能，实验结果表明，该性能提高显著。...
你敢信！LoRA也能训练出强大的推理模型——Tina让小模型“智商爆表“
AI生成曾小健3
04-24 655
结果显示，Tina模型在各个任务上的表现与对应的全参数训练的基线模型相比，不仅具有竞争力，而且在某些情况下还超过了基线模型。然而，一项名为Tina（Tiny Reasoning Models via LoRA）的研究颠覆了这一观念：通过巧妙运用LoRA技术，研究团队用不到10美元的训练成本，让一个仅有1.5B参数的小模型在推理能力上媲美甚至超越了同类全参数训练的最先进模型！分析LoRA基于RL的训练过程，探究其高效性的原因，研究者观察了训练过程中的准确率奖励、格式奖励、完成长度等指标的变化。
Tiny Reasoning模型：LoRA+RL=9美元训练费，性能碾压同行
zenRRan的博客
04-27 369
传统方法要么依赖昂贵的人工标注数据，要么需要全参数训练（相当于给模型换全身器官），成本极高。比如数学题需要分步骤推导，LoRA调整模型输出结构，而保留原有知识库，相当于教会学生“先写解，再分步计算”的应试技巧。当前大语言模型动辄千亿参数，训练成本高达数百万美元，但Tina团队反其道而行——用1.5B参数的“迷你”模型，搭配创新方法，实现低成本高效推理。传统训练要修改所有参数（相当于换全身衣服），而LoRA只需在关键层叠加两个小矩阵（外套），训练成本骤降。LoRA+强化学习，给模型“穿轻便外套”
51单片机多线程神器：Tiny-51操作系统
嵌入式学习记录站点
03-26 1万+
给STC89C52RC单片机移植RTX-Tiny操作系统，简单到爆，B格拉满了，好吧？
编译原理：TINY语言的语法、词法单元与文法的最全总结
乔卿的博客
06-21 7249
下面是一段YINY语言源代码： { Sample program in TINY language - computes factorial } read x; { input an integer } if 0 < x then { don't compute if x <= 0 } fact := 1; repeat fact := fact * x; x := x - 1 until x = 0; write fact { output fac
C++卷积神经网络实例：tiny_cnn代码详解（1）——开篇
热门推荐
陈俊岭的程序员之路（公众号求关注，方便交流）
03-09 2万+
　　在之前完成了《C++开发人脸性别识别教程》系列博客的编写之后，我开始将工作重点转移到与我的研究生课题关联更为密切的深度学习上来。深度学习编程有几个经典的框架，首屈一指的当属Caffe，然后还有Matlab环境下的MatConvNet工具箱。有关这两个深度学习框架的资料网络上有很多，这里不再过多介绍。而我这里选择用github上的另外一个简洁的纯C++深度学习框架——Tiny_cnn。　　首先将...
C++:tinyxml的使用
WYYwyy1111的博客
09-18 7240
1. 简介 TinyXML2(最新版本)是一个开源的功能齐全的XML解析库 For C++ 2. 开始使用 首先从Github上获得源码，是一个完整的演示工程，我们只需要其中的tinyxml2.cpp和tinyxml2.h，将这两个文件拷贝到新建的工程目录下。在下面连接中下载tinyxml。 https://github.com/leethomason/tinyxml2 3. 写...
TencentOS tiny 定制开发板直接操作LoRa模组
IoT小能手
04-28 4896
有的时候想灵活的操作模组进行一些自定义的频点和数据发送操作，这时候编写代码肯定是不方便的，一款得心应手的串口AT模组将会大大提升我们的效率。 这篇文章将使用 TencentOS tiny 定制开发板直接操作板载E53接口的LoRa模组，通过对其AT命令操作来实现一些自定义操作。
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
vscode-tinypng:TinyPNG VSCode扩展
04-10
TinyPNG API VSCode扩展 此扩展使用提供的API直接在VSCode内部压缩JP（E）G和PNG图像！ 特征 压缩单个文件 在文件资源管理器中，使用上下文菜单中的条目来压缩单个文件。 压缩文件夹 除了压缩单个文件外，您还可以...
:shortcake:Tiny Tiny的可爱主题RSS-JavaScript开发
05-26
ttrss-theme-rsshub:shortcake:Tiny Tiny RSS的可爱主题屏幕快照用法安装将CSS文件下载到tt-rss根wget下的themes.local目录中https：//raw.g ttrss-theme-rsshub:shortcake:Tiny Tiny RSS的可爱主题RSS截图用法安装...
gulp-tinypng-compress：TinyPNG API包装器，用于压缩PNG和JPG图像
02-03
gulp-tinypng-压缩 API包装器，用于压缩PNG和JPG图像 积极维护和开发。 与gulp-tinypng的主要区别： 文件签名检查（为尽量减少不必要的API调用，可选） 在压缩图像下载上没有创建临时文件/文件夹-直接从tinypng...
Adafruit_CircuitPython_TinyLoRa:Adafruit Tiny LoRa
05-04
介绍 LoRaWAN /物联网，用于CircuitPython。 依存关系 该驱动程序取决于： 请确保在CircuitPython文件系统上所有依赖项均可用。 通过下载可以轻松实现这一点。 从PyPI安装 在Raspberry Pi等受支持的GNU / Linux系统...
联想推出擎天AI适配中心，智能体部署开启“交钥匙”新模式
最新发布
weixin_43735236的博客
05-16 337
根据中研普华产业研究院的《2025-2030年中国AI大模型行业竞争格局分析与未来趋势预测报告》分析，2025年中国AI大模型市场规模预计将突破495亿元，大模型技术正在全行业快速演进，其中智能体成为企业AI落地的重要形式，特别是在政务、金融、医疗等对数据可控性要求极高的行业，本地化部署几乎已成共识。面对快速演进的市场环境，ISV常常陷入部署难、适配难、交付慢等难题——擎天AI适配中心的推出，正是为了解决这些关键痛点，帮助开发者在智能体的部署过程中，跳过复杂的搭建过程，专注于业务模型开发与客户交付。
ApiHug 咋变成国外AI工具了呢？
程序员超级伴侣-ApiHug
05-16 680
摘要：ApiHug是一个专注于API设计和开发的平台，提供高度描述性、模块化和可视化的体验。它集成了API资产的分发、监控和管理功能，支持全语言在IDEA中的智能自动补全、linting和语法高亮等。ApiHug通过标准化的API设计元语言，旨在提高API开发效率和团队协作。其主要功能包括API设计、代码生成、模块共享、版本控制和统一IDE支持。目标受众为API开发者和团队，使用场景涵盖API设计、性能监控和智能提示。用户可通过官网注册、安装插件并开始使用ApiHug的各类功能。
[模型部署] 1. 模型导出
ayiya_Oese的博客
05-16 808
本文详细介绍了如何将深度学习模型导出为不同部署格式，包括ONNX、TorchScript等，并对比了各种格式的优缺点及适用场景。
【datawhale组队学习】coze-ai-assistant TASK01
m0_52024881的博客
05-13 966
通过扣子开发的 AI 应用有明确的输入和输出，可以根据既定的业务逻辑和流程完成一系列简单或复杂的任务，例如 AI 搜索、翻译工具、饮食记录等。工作流具备了： 大量的重复性任务 （如内容创作、编辑、发布）和 固定的业务流程 （如策划、创作、审核、发布）。的 AI 项目，它通过对话方式接收用户的输入，由大模型自动调用插件或工作流等方式执行用户指定的业务流程，并生成最终的回复。教程：Coze / 扣子（飞书文档）10. 教程：Coze / 扣子。4万字教程-COZE/扣子与智能体入门（飞书文档）
RiDoc：高效文档扫描与图像处理工具，助力高效办公
2501_90839605的博客
05-15 989
高效压缩算法：在保证图像质量的同时显著减小文件体积，适合存储和传输需求。多格式兼容：支持主流图像格式（BMP/JPEG/PNG/TIFF）及PDF、Word文档的导入与导出。OCR功能强大：内置多语言OCR识别，可直接提取扫描文档中的文字并编辑，无需手动输入。操作便捷：界面简洁直观，拖拽式操作降低学习成本，支持一键扫描、批量处理。安全性高：提供水印添加、加密传输等保护措施，防止文档泄露或篡改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值